佛祖让我来巡山

2020年5月10日

摘要： # 进城之间数据隔离 # 进程之间通信(IPC) Inter Process communication # 基于文件 :同一台机器上的多个进程之间通信 # Queue 队列 # 基于socket的文件级别的通信来完成数据传递的 # 基于网络 :同一台机器或者多台机器上的多进程间通信 # 第三方工具阅读全文

posted @ 2020-05-10 13:37 佛祖让我来巡山阅读(436) 评论(0) 推荐(0)

进程锁（互斥锁）（Python）

摘要： 3：# 抢票示例 import json import time from multiprocessing import Process,Lock def search(i): with open('ticket',encoding='utf-8') as f: ticket = json.load 阅读全文

posted @ 2020-05-10 12:20 佛祖让我来巡山阅读(477) 评论(0) 推荐(0)

守护进程（Python）

摘要： #__author__:Kelvin #date:2020/5/10 11:37 import time from multiprocessing import Process def son1(): while True: print('--> in son1') time.sleep(1) de 阅读全文

posted @ 2020-05-10 11:41 佛祖让我来巡山阅读(256) 评论(0) 推荐(0)

2020年5月9日

多进程实现socket通信（Python）

摘要：服务器端： #__author__:Kelvin #date:2020/5/9 11:35 import socket from multiprocessing import Process def talk(conn): while True: msg = conn.recv(1024).deco 阅读全文

posted @ 2020-05-09 11:52 佛祖让我来巡山阅读(1118) 评论(0) 推荐(0)

2020年5月8日

Scrapy数据解析和持久化

摘要： Scrapy框架的使用 - pySpider - 什么是框架？ - 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） - scrapy集成好的功能： - 高性能的数据解析操作（xpath） - 高性能的数据下载 - 高性能的持久化存储 - 中间件 - 全栈数据爬取操作 - 阅读全文

posted @ 2020-05-08 11:59 佛祖让我来巡山阅读(305) 评论(0) 推荐(0)

梨视频网站视频下载

摘要： # 抓取梨视频网站的短视频 from lxml import etree import os import requests import re dirName="./videoLibs" if not os.path.exists(dirName): os.mkdir(dirName) url=" 阅读全文

posted @ 2020-05-08 00:06 佛祖让我来巡山阅读(207) 评论(0) 推荐(0)

selenium

摘要： - selenium模块在爬虫中的使用 - 概念：是一个基于浏览器自动化的模块。 - 爬虫之间的关联： - 便捷的捕获到动态加载到的数据。（可见即可得） - 实现模拟登陆 - 环境安装：pip install selenium - 基本使用： - 准备好某一款浏览器的驱动程序：http://chro 阅读全文

posted @ 2020-05-08 00:04 佛祖让我来巡山阅读(172) 评论(0) 推荐(0)

2020年5月7日

图解Java原理

摘要： 1：强制类型转换数据溢出 2：顺序结构的流程图 3：单if语句的流程图 4：标准if-else语句的流程图 5：扩展if-else语句的流程图 6：for循环流程图阅读全文

posted @ 2020-05-07 17:33 佛祖让我来巡山阅读(421) 评论(0) 推荐(0)

2020年5月5日

requests模块的高级应用

摘要： requests抓取数据报错 - HttpConnectinPool: - 原因： - 1.短时间内发起了高频的请求导致ip被禁 - 2.http连接池中的连接资源被耗尽 - 解决： - 1.代理 - 2.headers中加入Conection：“close” 代理服务器 - 代理：代理服务器，可以阅读全文

posted @ 2020-05-05 22:48 佛祖让我来巡山阅读(463) 评论(0) 推荐(0)

数据解析的方式

摘要：数据解析 - 数据解析 - 数据解析的作用： - 可以帮助我们实现聚焦爬虫 - 数据解析的实现方式： - 正则 - bs4 - xpath - pyquery - 数据解析的通用原理 - 问题1:聚焦爬虫爬取的数据是存储在哪里的？ - 都被存储在了相关的标签之中and相关标签的属性中 - 1.定位标阅读全文

posted @ 2020-05-05 12:25 佛祖让我来巡山阅读(335) 评论(0) 推荐(0)

佛祖让我来巡山

碰撞只相信实力，不相信眼泪

公告