.Tang

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2021年3月31日

摘要:与下载图片类似: 1.item中需要有固定的字段 file_urls = scrapy.Field() files = scrapy.Field() 2.获取到文件的url,通过item["file_urls"]传送到 pipelines def parse_item(self, response) 阅读全文
posted @ 2021-03-31 10:53 .Tang 阅读(54) 评论(0) 推荐(0) 编辑

2021年3月29日

摘要:ptt = r"http[s]*://[a-zA-Z0-9-./]+(?:jpg|jpeg|png)" 先是爬取到 图片url -> yeild url到piplines中 定义图片下载的专属piplines,类中的3个函数名固定的,是从写方法,注意图片命名 class DownloadImages 阅读全文
posted @ 2021-03-29 17:31 .Tang 阅读(49) 评论(0) 推荐(0) 编辑

摘要:1.创建一个scrapy项目 scrapy startproject SpiderAnything 2.生成一个爬虫 itcash爬虫名字, itcash.cn爬虫范围 scrapy genspider tb 'taobao.com' # 启动爬虫 or 创建py启动文件 ps:windows可通过 阅读全文
posted @ 2021-03-29 15:17 .Tang 阅读(24) 评论(0) 推荐(0) 编辑

2019年6月21日

摘要:数据库三大范式 和 五种约束 第一范式(1NF):数据表中每一列(字段)必须是不可拆分的最小单元(每列的原子性要求) 第二范式(2NF):表中所有列都必须依赖主键 第三范式(3NF):每一列只与主键直接相关而不是间接相关 主键,外键,唯一键,非空约束,default约束,普通约束 阅读全文
posted @ 2019-06-21 09:28 .Tang 阅读(343) 评论(0) 推荐(0) 编辑

2019年6月20日

摘要:完美教程: https://blog.csdn.net/sinat_41898105/article/details/80760572 阅读全文
posted @ 2019-06-20 15:44 .Tang 阅读(102) 评论(0) 推荐(0) 编辑

2019年6月13日

摘要:<Directory "D:/app_install/wamp/www/"> # # Possible values for the Options directive are "None", "All", # or any combination of: # Indexes Includes Fo 阅读全文
posted @ 2019-06-13 22:53 .Tang 阅读(70) 评论(0) 推荐(0) 编辑

2019年5月10日

摘要:CrawlSpider 阅读全文
posted @ 2019-05-10 16:36 .Tang 阅读(82) 评论(0) 推荐(0) 编辑

摘要:爬去当当书籍信息 多台机器同时爬取,共用一个redis记录 scrapy_redis 带爬取的request对象储存在redis中,每台机器读取request对象并删除记录,经行爬取。实现分布式爬虫 阅读全文
posted @ 2019-05-10 16:27 .Tang 阅读(88) 评论(0) 推荐(0) 编辑

2019年5月7日

摘要:1.django-admin startproject helloword 创建项目helloword 2.开始一个app,写一个hello worldpython manage.py startapp hello 4.settings db 4.view 5. 1.html 6.url路由 阅读全文
posted @ 2019-05-07 15:23 .Tang 阅读(97) 评论(0) 推荐(0) 编辑

2019年4月28日

摘要:# -*- coding: utf-8 -*- import scrapy import urllib import json from copy import deepcopy class JdSpider(scrapy.Spider): name = 'jd' allowed_domains = ['jd.com', 'p.3.cn'] start_urls ... 阅读全文
posted @ 2019-04-28 22:26 .Tang 阅读(243) 评论(0) 推荐(0) 编辑