五杀摇滚小拉夫

摘要： 首先 1.登录阿布云官网注册账号 https://www.abuyun.com/ 2.注册完账号向客服申请代理服务器，就能查看自己申请的试用版 3.接下来客服会给官方接口文档（参考） 4.根据接口文档类型将代理服务器配置到自己的代码中去 5.下面是我自己测试的编写的request代码： 阅读全文

摘要： 部署scrapy爬虫项目到6800上 启动scrapyd 出现问题 1： scrapyd-deloy -l 未找到相关命令 scrapyd-deploy -l 可以看到当前部署的爬虫项目，但是当我输入这段命令的时候显示这个命令不存在或者有错误、不合法之类的。 解决办法： 添加配置文件 scrapy. 阅读全文

摘要： 1.创建爬虫项目： scrapy startproject tutorial 2.创建 spider cd tutorial scrapy genspider quotes quotes.toscrape.com 如下图： 3. quotes.py _________________________ 阅读全文

摘要： （为编写完善能拿下来数据） 企查查代码数据如下： 阅读全文

摘要： #这里数字转换主要是为了解决网站返回虚假数据的问题，但写完才发现网站的数字是有自己的一套机制的，而不是固定的，因此不好解决，那就当回顾一下re匹配知识吧。 1 str="1332-31-15" 2 3 4 # print(str[:-5]) 5 # print(str1[:-5]) 6 7 8 import re 9 10 11 # print(A) 12 # pr... 阅读全文

摘要： ！！！！本节就是解决天眼查爬虫问题：！！！！（看完有建议和想法的话记得交流一下） 主要思路 绕过验证，使用代理ip，间接的通过手机端mbaidu.com 通过字符串拼接的方式获取搜索天眼查网页数据。 重点： 1.这里我采用的是python3+selenium+chromedriver写的代码，主要问 阅读全文

摘要： 1.extract()：提取数据 2./text() :获取节点内容文本 3./@href :获取节点href属性 4. @ :获取属性名称 需要注意问题： 用定义的规则那所有符合要求的节点获取下来，返回的类型是列表类型。 但是如果节点只有一个就会出现错误: 大多数情况下，想要的是第一个元素的内容， 阅读全文

摘要： Selector是一个独立的模块。 Selector主要是与scrapy结合使用的。 开启Scrapy shell: 1.打开命令行cmd 2.scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html 进入 阅读全文

摘要： 目标：创建scrapy项目 创建一个spider来抓取站点和处理数据 通过命令行将抓取内容导出 1.创建项目 scrapy startproject tutorial 2.创建spider cd tutorial scrapy genspider quotes quotes.toscrape.com 阅读全文

摘要： 导入包 from pymysql import* 1. 创建 Connection 连接 conn=conne（host='192.168.13.130',port=3306 ,database='',user='root',password='qwer',charset='utf8'） 2. 获得 阅读全文