Python-爬虫 - 随笔分类 - RongT

摘要：Selenium Python 官网安装 Selenium 转载自：莫凡Python 高级爬虫: 让 Selenium 控制你的浏览器帮你爬 driver 要操控浏览器, 你就要有浏览器的 driver. Selenium 针对几个主流的浏览器都有 driver. 针对 Linux 和 MacOS 阅读全文

posted @ 2018-11-28 20:25 RongT 阅读(273) 评论(0) 推荐(0)

Scrapy-redis 安装配置使用

摘要：settings.py代码需要更改的： bludv.py需要更改的：阅读全文

posted @ 2018-11-16 00:34 RongT 阅读(2095) 评论(0) 推荐(0)

CSS选择器 + Xpath + 正则表达式整理（有空再整理）

摘要：http://www.w3school.com.cn/cssref/css_selectors.asp CSS选择器记录一个问题：当连续使用css选择器时，出现这种错误：AttributeError: 'str' object has no attribute 'css' 例如这个程序：错误就阅读全文

posted @ 2018-11-09 21:12 RongT 阅读(1657) 评论(0) 推荐(0)

Python 动态加载并下载"梨视频"短视频

摘要：下载链接：http://www.pearvideo.com/category_1 F12打开开发者工具 -> NetWork -> 找到动态加载html项（category_loading开头）-> Headers -> Request URL 阅读全文

posted @ 2018-07-23 08:57 RongT 阅读(802) 评论(0) 推荐(0)

Python 豆瓣mv爬取

摘要：爬取网址：https://www.dbmeinv.com/ 豆瓣mv（现已更名）注：自制力不好的同学，先去准备营养快线！阅读全文

posted @ 2018-07-21 11:26 RongT 阅读(437) 评论(0) 推荐(2)

Scrapy爬虫笔记 - 爬取知乎

摘要：cookie是一种本地存储机制，cookie是存储在本地的 session其实就是将用户信息用户名、密码等）加密成一串字符串，返回给浏览器，以后浏览器每次请求都带着这个sessionId 状态码一般是服务器自己定义，也可以框架定义，也可以自己定义 F12 NetWork 下可以看到每个请求的状态码阅读全文

posted @ 2018-03-03 16:30 RongT 阅读(541) 评论(0) 推荐(0)

scrapy爬虫笔记 - 爬取伯乐在线

该文被密码保护。

posted @ 2018-03-03 16:25 RongT 阅读(2) 评论(0) 推荐(0)

Scrapy爬虫学习笔记 - 爬虫基础知识

摘要：一、正则表达式二、深度和广度优先三、爬虫去重策略阅读全文

posted @ 2018-03-03 16:06 RongT 阅读(176) 评论(0) 推荐(2)

Scrapy爬虫学习笔记 - windows \ linux下搭建开发环境2

摘要：四、虚拟环境的安装和配置 virtualenv可以搭建虚拟且独立的python运行环境, 使得单个项目的运行环境与其它项目独立起来. virtualenv本质上是个python包虚拟环境可以将开发环境相互隔离，互不影响比如有的项目是用python2开发，有的是用python3开发的 Pip ：阅读全文

posted @ 2018-03-03 15:56 RongT 阅读(177) 评论(0) 推荐(0)

Scrapy爬虫学习笔记 - windows \ linux下搭建开发环境1

摘要：一、pycharm的安装和简单使用二、mysql和navicat的安装和使用三、windows和linux下安装python2和python3 阅读全文

posted @ 2018-03-03 15:30 RongT 阅读(341) 评论(0) 推荐(1)

各种浏览器下的页面元素xpath获取方法

摘要：参考链接： http://blog.sina.com.cn/s/blog_654c6ec70100v1i2.html 阅读全文

posted @ 2018-01-15 10:16 RongT 阅读(423) 评论(0) 推荐(3)

Scrapy项目结构分析和工作流程

摘要：新建的空Scrapy项目： scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实阅读全文

posted @ 2018-01-11 16:37 RongT 阅读(511) 评论(0) 推荐(4)

Python 手动新建 Scrapy项目

摘要：# 创建项目 scrapy startproject 工程名 # 创建爬虫 scrapy genspider example example.com 阅读全文

posted @ 2018-01-11 10:44 RongT 阅读(156) 评论(0) 推荐(3)

RongT

随笔分类 - Python-爬虫

公告