随笔分类 -  爬虫轮子

django | 连接mysql数据库
摘要：django 2.1 + mysql 5.6 1.在setting中设置 2.下载mysqlclit 阅读全文
posted @ 2019-03-15 21:37 404NooFound 阅读(123) 评论(0) 推荐(0)
今日头条 url （as,cp,_signature）模拟js文件
摘要：转自： https://blog.csdn.net/weixin_39416561/article/details/82111455 思路：通过search找到js文件，然后模仿js文件，通过python编译js代码，获得url参数。 as,cp _signature 1 navigator = { 阅读全文
posted @ 2019-02-21 15:19 404NooFound 阅读(1063) 评论(0) 推荐(0)
数据库轮子
摘要：1.MONGODB 2.MYSQL 提前建好表文件 阅读全文
posted @ 2019-02-15 20:46 404NooFound 阅读(318) 评论(0) 推荐(0)
分布式爬虫scrapy_redis
摘要：1. 2.打开redis服务 3.修改配置文件 4.在cmd窗口切换到redis目录下 如果　REDIS_START_URLS_AS_SET = False 命令为 redis-cli lpush 项目名:start_urls 启动链接 如果　REDIS_START_URLS_AS_SET = Tr 阅读全文
posted @ 2019-02-12 23:28 404NooFound 阅读(164) 评论(0) 推荐(0)