突突突突突突

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  爬虫Spider

Scrapy框架的使用
摘要：Scrapy框架的安装 pip install pywin32 下载 Twisted 包 pip install Twisted包的路径 pip insatll scrapy Scrapy的基本使用 切换到开始项目的目录 scrapy startproject my_first_spider 命令创 阅读全文
posted @ 2019-03-01 17:28 徐建0304 阅读(188) 评论(0) 推荐(0)

爬虫之lxml - etree - xpath的使用
摘要：下面上几个小案例: import requests from lxml import etree url = 'https://bj.58.com/ershoufang/?utm_source=sem-sales-baidu-pc&spm=85077276202.21974091622&utm_ca 阅读全文
posted @ 2019-02-27 16:18 徐建0304 阅读(1877) 评论(0) 推荐(1)

化妆品监管信息爬取
摘要：import requests base_url = '125.35.6.84:81/xk' # GG index_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' detail_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do... 阅读全文
posted @ 2019-02-26 17:12 徐建0304 阅读(758) 评论(0) 推荐(0)

爬虫之Beautifulsoup的基本实用
摘要：基本方法如下: 简单案例: 下载诗词名句网的三国演义文章 阅读全文
posted @ 2019-02-26 17:11 徐建0304 阅读(221) 评论(0) 推荐(0)