12 2020 档案

Python 多进程代码统计工具（带图形界面）
摘要：实现方法 find_all_file(queue, path, file_type=None)：统计文件个数。 all_file_code_count(queue, path, file_type=None)：使用多进程来统计队列中的代码总行数。 single_file_code_count(que 阅读全文
posted @ 2020-12-28 01:14 Juno3550 阅读(259) 评论(0) 推荐(0)
Scrapy 爬虫项目框架
摘要：1. Scrapy 简介 2. Scrapy 项目开发介绍 3. Scrapy 项目代码示例 3.1 setting.py：爬虫基本配置 3.2 items.py：定义您想抓取的数据 3.3 spider目录下的sohu.py：编写提取数据的Spider 3.4 pipelines.py：将爬取后的 阅读全文
posted @ 2020-12-19 00:53 Juno3550 阅读(306) 评论(0) 推荐(0)
Python 多任务之间的效率比较
摘要：1. 多进程访问 1000 个 url 2. 多线程访问 1000 个 url 3. 协程访问 1000 个 url 4. 多进程+协程访问 1000 个 url 5. 多线程+协程访问 1000 个 url 6. 总结 代码下载：https://github.com/juno3550/Multit 阅读全文
posted @ 2020-12-18 00:42 Juno3550 阅读(147) 评论(0) 推荐(1)
防反爬虫机制
摘要：许多网站针对爬虫的访问都设置了一定的障碍，这里介绍防反爬虫机制的 3 大技巧。 1）设定程序休止时间 2）设定代理 3）设定 User-Agent 1）设定程序休止时间 1 import time 2 3 time.sleep(n) 2）设定代理 代理服务器的存在，可以应对网站禁止某个 IP 访问的 阅读全文
posted @ 2020-12-06 23:13 Juno3550 阅读(476) 评论(0) 推荐(0)
网页解析：Xpath 与 BeautifulSoup
摘要：1. Xpath 1.1 Xpath 简介 1.2 Xpath 使用案例 2. BeautifulSoup 2.1 BeautifulSoup 简介 2.2 BeautifulSoup 使用案例 1）爬取“NATIONAL WEATHER”的天气数据 2）爬取豆瓣电影 TOP 250 的电影名与链接 阅读全文
posted @ 2020-12-06 23:03 Juno3550 阅读(2691) 评论(0) 推荐(0)
爬虫简介、requests 基础用法、urlretrieve()
摘要：1. 爬虫简介 2. requests 基础用法 3. urlretrieve() 1. 爬虫简介 爬虫的定义 网络爬虫（又被称为网页蜘蛛、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 爬虫有什么用 市场分析：电商分析、商圈分析、一二级市场分析等 市场监控：电商、新闻、房 阅读全文
posted @ 2020-12-06 20:24 Juno3550 阅读(1037) 评论(0) 推荐(0)