摘要：juyper 和抓包工具filder使用的都是 8888端口,所以这两个软件不能同时使用,可以修改filder的端口 不过修改之后虽然能上网了,但是filder的抓包却有问题了,尽量不要同时使用这两个软件了 阅读全文

摘要：原网址:https://blog.csdn.net/c406495762/article/details/58716886 使用User Agent和代理IP隐藏身份 User Agent存放于Headers中，保存中访问设备的信息,服务器就是通过查看Headers中的User Agent来判断是谁 阅读全文

摘要：scrapy框架 具有高性能异步下载，队列，分布式，解析，持久化等具有很强通用性的项目模板 安装 a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录，执行 pip3 install Twisted-17.1.0-cp36-cp36m-... 阅读全文

摘要：beautifulSoup模块的基本用法 单进程和并发爬取网站比较 requests模块 beautiful soup 基本用法 爬虫使用并发提高效率 1.同步调用,不使用并发 2.使用多进程(线程) 3.使用进程池(线程池) 4.使用asyncio模块，可以帮我们检测IO（只能是网络IO），实现应 阅读全文