2020年3月25日
requests 爬虫
摘要： 一个简单爬虫案例 from bs4 import BeautifulSoup import os import requests response = requests.get("http://www.90xiaohua.com/") response.encoding = "utf-8" # pr 阅读全文
posted @ 2020-03-25 10:18 hbfengj 阅读(117) 评论(0) 推荐(0)
scrapy爬虫案例
摘要： 一个简单的爬虫案例 from scrapy_redis.spiders import RedisSpider import os,urllib.request,time class XiaohuaSpider(scrapy.Spider): name = 'xiaohua' allowed_doma 阅读全文
posted @ 2020-03-25 10:15 hbfengj 阅读(160) 评论(0) 推荐(0)
信号
摘要： 1. Django例如：在Django中，执行数据库的增删改查，执行命令前后加日志2. flask例如：在执行before_request 之前，定义信号，执行函数3. scrapy例如：爬虫刚开始，爬虫快要结束定制函数 阅读全文
posted @ 2020-03-25 10:08 hbfengj 阅读(82) 评论(0) 推荐(0)
scrap框架
摘要： 1. scrapy框架：大而全的爬虫组件。 2. 安装：注意：scrapy依赖Twisted - Win:下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedpip3 install wheel pip install Twisted-19.10 阅读全文
posted @ 2020-03-25 10:06 hbfengj 阅读(179) 评论(0) 推荐(0)