李·狗嗨

摘要：突然发现自己被耽误了好多，万恶的社会生活。阅读全文

posted @ 2017-08-30 10:24 李·狗嗨阅读(401) 评论(0) 推荐(0)

摘要： Scrapy框架下将爬取数据的item对象放入pipelin中再连接MySQL存入数据库的过程~ 阅读全文

posted @ 2017-08-21 12:58 李·狗嗨阅读(298) 评论(0) 推荐(0)

摘要：想装phpmayadmin，发现得先装Apache，费了老大劲才终于装上了阅读全文

posted @ 2017-08-20 21:41 李·狗嗨阅读(272) 评论(0) 推荐(0)

摘要：由于该网站为旧版网站，应该已没有人维护，所以不用绕过反爬机制，大概能达到 30万条数据/小时的速度~ 阅读全文

posted @ 2017-08-20 15:10 李·狗嗨阅读(308) 评论(0) 推荐(0)

摘要： Scrapy抓取数据输出到CSV文件，使其按照items.py中定义的字段的顺序排列输出。阅读全文

posted @ 2017-08-19 23:20 李·狗嗨阅读(940) 评论(0) 推荐(0)

摘要：使用http.cookiejar带cookie信息登录爬取下载信息方法，需要使用network抓包获取动态加载信息阅读全文

posted @ 2017-08-18 21:46 李·狗嗨阅读(1679) 评论(0) 推荐(0)

摘要：根据爬取的豆瓣《杀破狼》影评制作简单词云，还有许多地方仍可改进，增强视图效果~ 加油吧阅读全文

posted @ 2017-08-18 10:30 李·狗嗨阅读(282) 评论(0) 推荐(0)

摘要： socket加threading模块即可用Python制作一个简单聊天室，可以让你抱着DOS玩一下午~ 阅读全文

posted @ 2017-08-18 10:16 李·狗嗨阅读(394) 评论(1) 推荐(0)

摘要：单线程运行速度相对较慢时，我们可以使用threading模块将其变为多线程并发以节约时间~ 阅读全文

posted @ 2017-08-17 14:35 李·狗嗨阅读(217) 评论(0) 推荐(0)

摘要： Scrapy采集数据时为每个请求随机分配user-agent，故记录下常用的User-Agent-List ~ 阅读全文

posted @ 2017-08-17 13:55 李·狗嗨阅读(326) 评论(0) 推荐(0)