上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 27 下一页
摘要: ```python import pymongo import re client = pymongo.MongoClient('127.0.0.1', 27017) db_name = 'Trade' db = client[db_name] filter1 = {'$or':[{"phone": {'$ne':""}}, {"cell_phone": {'$ne':""}}]} fil... 阅读全文
posted @ 2018-09-03 19:08 Rocin 阅读(2737) 评论(0) 推荐(0) 编辑
摘要: 1. 要管理的不是时间,而是自己。 2. 摸着石头渐行渐远,最终也能过河。 朱敏 赛伯乐(中国)投资公司 董事长 3. 一切都靠积累,一切都可提前准备,越早醒悟越好。人的一生是奋斗的一生,但是有的人一生过得很伟大,有的人一生过得很琐碎。如果我们有一个伟大的理想,一颗善良的心,我们一定能把很多琐碎的日 阅读全文
posted @ 2018-09-03 12:51 Rocin 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 定时功能通过module time + 死循环实现,因为time.sleep()会自动阻塞 get_ip_pool.py read_ip_pool.py 阅读全文
posted @ 2018-09-01 18:04 Rocin 阅读(804) 评论(0) 推荐(0) 编辑
摘要: 例如一个IP代理池,这是个字符串,有多行 120.236.137.65:8060 193.112.208.216:8118 121.8.98.198:80 121.8.98.197:80 121.8.98.196:80 120.236.168.19:8060 123.207.6.117:80 阅读全文
posted @ 2018-08-29 23:56 Rocin 阅读(5426) 评论(0) 推荐(0) 编辑
摘要: 前提:看Scrapy架构图 不管什么Middlewares,都写在middlewares.py里面。 然后在settings.py里的DOWNLOADER_MIDDLEWARES或者SPIDER_MIDDLEWARES里面再设置中间件,这样中间件才细分为下载器中间件还是爬取中间件。 阅读全文
posted @ 2018-08-29 10:17 Rocin 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 基本思路 Based on Selenium(模拟浏览器动作) 1. 模拟点击验证按钮 2. 识别滑动缺口的位置 3. 模拟拖动模块。 对于3 反爬虫策略:机器学习轨迹识别。只有模拟人的移动轨迹才可以,先快后慢 阅读全文
posted @ 2018-08-26 16:00 Rocin 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 用OCR来识别 直接识别效果不好,因为验证码内的多余线条干扰了图片的识别。先转为灰度图像,再二值化。经实践证明,该方法不是100%正确。 python 获取图片 curl X GET http://my.cnki.net/elibregister/CheckCode.aspx import tess 阅读全文
posted @ 2018-08-26 15:00 Rocin 阅读(272) 评论(0) 推荐(0) 编辑
摘要: Form里面嵌套了一个Meta类 Django是怎么处理的? 在models.py中 看这个源码得知,用反射获取class Meta,然后用type()去创建新的表单类。type()用了两次,第一次用来创建base form, 第二次用base form来创建带有新增属性的form。 为什么type 阅读全文
posted @ 2018-08-25 08:55 Rocin 阅读(758) 评论(0) 推荐(0) 编辑
摘要: 1. 目录结构 一般情况下,Django很系统、统一。Flask项目目录风格不同一,即使用上了蓝图。 2. 数据库迁移 Flask要用第三方extensions,而Django自带,这个很方便。 3. 模块化 Flask是用蓝图。Django可以自动生成 ,并在Django的项目的settings那 阅读全文
posted @ 2018-08-23 11:48 Rocin 阅读(4175) 评论(0) 推荐(0) 编辑
摘要: ![](https://images2018.cnblogs.com/blog/1310818/201808/1310818-20180816103749515-1089449130.png) 阅读全文
posted @ 2018-08-16 10:14 Rocin 阅读(293) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 27 下一页