摘要：
爬虫的具体介绍就不说了，这里想对自己多年的爬虫中遇到的情况进行一个总结 1.模拟浏览器 2.Ip 3.登录 4.验证码 5.各种信息加密 6.请求频率 1.模拟浏览器 目前度娘一搜一大把，最集中的就是ua了，搭建一个随机ua池，不断的变化ua，很普遍的方法... 阅读全文
posted @ 2019-01-26 14:57
数据民工
阅读(29)
评论(0)
推荐(0)
摘要：
elasticsearch-rtf 是elasticsearch的一个中文发行版，目前它最新版本是5.1.1(很久没有跟新版本了) 一、 elasticsearch-rtf 的安装 1.github 搜索 elasticsearch-rtf 2.将它克隆或者直... 阅读全文
posted @ 2018-11-28 15:07
数据民工
阅读(15)
评论(0)
推荐(0)
摘要：
使用Iframe时出现了这个错误,网上找了半天,都只是说将file://这个改为localhost....然并卵 后来想到,会不会是本地服务器问题,就通过vscode下了一个live server, 然后右击,运行,搞定 如果不是用来测试的话,应该使用Ngi... 阅读全文
posted @ 2018-11-22 21:08
数据民工
阅读(40)
评论(0)
推荐(0)
摘要：
首先看PHP代码 system('PATH\python.exe PATH\xxx.py ' (PARAMS)); 一般我们执行python文件的方法是 python xxx.py, 那么，对于PHP来执行的话，同样是python xxx.py 但是PHP不... 阅读全文
posted @ 2018-11-10 08:47
数据民工
阅读(23)
评论(0)
推荐(0)
摘要：
在一次爬取图片链接过程中，发现图片路径不完整 度娘了好半天，对URL路径拼接的方案有两种： 1.urllib.parse.urljoin() 2.进行字符串的拼接 但是我的爬虫继承的事crawlspider,无法重写parse(重写就用不了它的方法了) 然后... 阅读全文
posted @ 2018-11-01 10:06
数据民工
阅读(9)
评论(0)
推荐(0)
摘要：
因为设备原因,没有使用虚拟机进行项目开展,但是项目很多,就需要搭建不同的虚拟环境,下面给大家介绍一下如何像操作Linux一样简单快捷使用虚拟环境 1.安装虚拟环境管理包 pip install virtualenvwrapper# 如果觉得慢,可以添加国内的安... 阅读全文
posted @ 2018-09-12 20:56
数据民工
阅读(17)
评论(0)
推荐(0)
摘要：
话不多说,直接开干 import pandas as pdimport matplotlib.pyplot as plt# 这里测试数据为200天的一组股票stock_day = pd.read_csv("stock_day.csv")# 简单移动平均线sto... 阅读全文
posted @ 2018-09-12 20:30
数据民工
阅读(15)
评论(0)
推荐(0)
摘要：
错误的代码: class XXSpider(scrapy.Spider): name = 'xxspider' allowed_domains = ['https://www.xx.com'] start_urls = ['https://w... 阅读全文
posted @ 2018-08-11 18:42
数据民工
阅读(10)
评论(0)
推荐(0)
摘要：
如果运行数据库迁移命令后发现数据表有问题,或者因为某种操作不小心将数据表删除了,就需要再次进行数据库迁移,下面就是重新进行数据库迁移的方法: 第一步: 找到需要进行迁移命令的migrations文件,将除了_... 阅读全文
posted @ 2018-07-16 13:42
数据民工
阅读(15)
评论(0)
推荐(0)
摘要：
五个扩展类:1)ListModelMixin 案例: 2)CreateModelMixin 3)RetrieveModelMixin案例: 4)UpdateModelMixin5)DestroyModelMixin案例... 阅读全文
posted @ 2018-07-10 15:02
数据民工
阅读(5)
评论(0)
推荐(0)
浙公网安备 33010602011771号