会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
cuzz
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
3
4
5
6
7
2017年10月6日
爬取二重网页
摘要: 1.用 scrapy 新建一个 sun0769 项目 scrapy startproject sun0769 2.在 items.py 中确定要爬去的内容 3.快速创建 CrawlSpider模板 scrapy genspider -t crawl dongguan wz.sun0769.com 注
阅读全文
posted @ 2017-10-06 00:10 cuzz_z
阅读(209)
评论(0)
推荐(0)
2017年10月5日
CrawlSpiders
摘要: 1.用 scrapy 新建一个 tencent 项目 2.在 items.py 中确定要爬去的内容 3.快速创建 CrawlSpider模板 scrapy genspider -t crawl tencent_spider tencent.com 注意 此时中的名称不能与项目名相同 4.打开tenc
阅读全文
posted @ 2017-10-05 13:39 cuzz_z
阅读(266)
评论(1)
推荐(0)
2017年10月4日
个人微信接入图灵机器人(基于Python)
摘要: 编程语言:Python2.7 1.在图灵机器人官网(http://www.tuling123.com)注册账号, 创建机器人, 如果只是学习的话,可以使用2免费版 , 一个账号最多可以创建5个机器人 , 一个机器人日调用接口数5000次 2.安装 itchat 和 pillow : sudo pip
阅读全文
posted @ 2017-10-04 21:44 cuzz_z
阅读(3536)
评论(1)
推荐(0)
2017年10月3日
Tencent社会招聘scrapy爬虫 --- 已经解决
摘要: 1.用 scrapy 新建一个 tencent 项目 2.在 items.py 中确定要爬去的内容 1 # -*- coding: utf-8 -*- 2 3 # Define here the models for your scraped items 4 # 5 # See documentat
阅读全文
posted @ 2017-10-03 16:17 cuzz_z
阅读(860)
评论(0)
推荐(0)
关于scrapy的piplines
摘要: 1.进入setting中把ITEM_piplines文件注销去掉 2.在piplines中写好代码 3.注意 在主文件中不用return, 用yield.
阅读全文
posted @ 2017-10-03 15:02 cuzz_z
阅读(1058)
评论(0)
推荐(0)
pycharm运行scrapy
摘要: 1.打开pycharm, 点击File>Open找到mySpider项目导入 . 2.打开File>Settings>Project 点击Project Interpreter 右边有个Scrapy, 选中确定. 3.在spiders文件下新建一个启动文件,我命名为start.py 4.选择conf
阅读全文
posted @ 2017-10-03 13:48 cuzz_z
阅读(4762)
评论(0)
推荐(0)
上一页
1
···
3
4
5
6
7
公告