骑骡子赶猪  

2020年4月26日

摘要: 参考:https://www.cnblogs.com/qingsheng/p/9594200.html 简介:js2py安装库现在写爬虫很多的网站都开始用js 加密技术了,所以这个库必须要学的,不然你就没法玩了使用教程js2py 执行单个语句js2py 执行函数总结:现在写爬虫很多的网站都开始用js 阅读全文
posted @ 2020-04-26 16:06 骑骡子赶猪 阅读(173) 评论(0) 推荐(0) 编辑

2019年12月13日

摘要: 打开file——settings——plugings,在右侧的文本框中输入想要查看的插件名称,在下方就会罗列出已安装的相关的插件: 1.英语翻译 . 可以看源码注释 2.statistic statistic是一个项目统计插件,简单来说就是可以给出一个项目的统计信息,包括文件和代码量等,关于统计信的 阅读全文
posted @ 2019-12-13 10:55 骑骡子赶猪 阅读(2772) 评论(0) 推荐(0) 编辑

2019年11月20日

摘要: scrapy_代理使用 参考:https://www.cnblogs.com/clbao/p/11898630.html Redis 1.使用scrapy-proxy随机IP代理插件: 安装: pip install scrapy_proxies 设置settings.py # Retry many 阅读全文
posted @ 2019-11-20 17:40 骑骡子赶猪 阅读(255) 评论(0) 推荐(0) 编辑

2019年11月11日

摘要: requests小技巧 转载:https://www.cnblogs.com/clbao/p/11837266.html 问题: 抓取一网站,同一个账号需要同一个ip才能抓取,不然被封。所以做了简单的账户对应ip的类去使用 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出 阅读全文
posted @ 2019-11-11 18:21 骑骡子赶猪 阅读(225) 评论(0) 推荐(0) 编辑

2019年10月28日

摘要: 按名字分组,按时间排序 select * FROM (select row_number() over (partition by NAME order by DAT desc) rn ,name,dat FROM QWER ) tn where tn.rn=1; 或 SELECT a.* from 阅读全文
posted @ 2019-10-28 14:42 骑骡子赶猪 阅读(120) 评论(0) 推荐(0) 编辑

2019年10月22日

摘要: 1 cmd不能很好地兼容utf8,而IDLE就可以,甚至在IDLE下运行,连“改变标准输出的默认编码”都不用,因为它默认就是utf8。如果一定要在cmd下运行,那就改一下编码,比如我换成“gb18030”,就能正常显示了: 2. 强制更改编码格式 pag = requests.get(url=url 阅读全文
posted @ 2019-10-22 14:06 骑骡子赶猪 阅读(118) 评论(0) 推荐(0) 编辑
 
摘要: 简介:现在的歌都是需要VIP,但作为平民窟的一员,怎么会花钱冲VIP呢?以下几个网站可以帮助我们免费下载音乐!1.疯狂音乐搜索http://music.ifkdy.com/网站里面涵盖了超多平台的音乐资源,而且都是可以在线或者下载都可以, ... 现在的歌都是需要VIP,但作为平民窟的一员,怎么会花 阅读全文
posted @ 2019-10-22 09:26 骑骡子赶猪 阅读(305) 评论(0) 推荐(0) 编辑

2019年10月17日

摘要: python 统计list中各个元素出现的次数利用Python字典统计利用Python的collection包下Counter的类统计利用Python的pandas包下的value_counts的类统计利用字典dict来完成统计举例: a = [1, 2, 3, 1, 1, 2]dict = {}f 阅读全文
posted @ 2019-10-17 15:04 骑骡子赶猪 阅读(4757) 评论(0) 推荐(0) 编辑

2019年10月14日

摘要: 邮件二次验证 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 import smtplib from email.mime.text import MIME 阅读全文
posted @ 2019-10-14 13:35 骑骡子赶猪 阅读(143) 评论(0) 推荐(0) 编辑
 
摘要: # 定义图像拼接函数def image_compose(): IMAGES_PATH = r'D:\xdl_work\jianyou\central_spider\国资委下属企业名单\\' # 图片集地址 IMAGES_FORMAT = ['.jpg'] # 图片格式 IMAGE_SIZE = 256 # 每张小图片的大小 IMAGE_ROW = 13 #... 阅读全文
posted @ 2019-10-14 10:34 骑骡子赶猪 阅读(977) 评论(0) 推荐(0) 编辑