摘要：
编辑本随笔 urllib模块 python中自带的一个基于爬虫的模块。 作用 可以使用代码模拟浏览器发起请求 子模块 request parse 使用流程 尝试用urllib获取指定url代码： url编码处理 UA身份伪装 反爬机制： 反反爬机制： User-Agent：请求载体的身份标识 POS 阅读全文
posted @ 2019-01-23 13:44
丫丫625202
阅读(138)
评论(0)
推荐(0)
摘要：
编辑本随笔 简介： 以网页形式打开的代码编辑器，可以用于全过程的编码开发，文档编写、运行代码和展示结果 Anaconda包含了Jupyter notebook 启动：jupyter notebook，命令在那个目录下执行，则打开的主目录就在那个目录 快捷键： b：向下插入一个cell a：向上插入要 阅读全文
posted @ 2019-01-23 11:34
丫丫625202
阅读(176)
评论(0)
推荐(0)
摘要：
编辑本随笔 爬虫分类： 通用爬虫：将互联网上得网页下载到本地，形成一个互联网得备份。 聚焦爬虫：根据指定需求抓取网络上指定数据，而不是获取整张页面中所有得数据。 robots.txt协议 不想让爬虫爬取，可以写一个robots.txt协议，可参考淘宝的robots.txt协议(www.taobao. 阅读全文
posted @ 2019-01-23 11:31
丫丫625202
阅读(124)
评论(0)
推荐(0)
摘要：
Luf Book连接 编辑本随笔 添加新随笔 爬虫相关源码 爬虫介绍 编辑 Jupyter Notebook 编辑 urllib模块 编辑 request模块 编辑 requests模块高级使用 编辑 打码平台 编辑 数据解析 编辑 selenuim(模拟浏览器) 编辑 scrapy基础使用 编辑 阅读全文
posted @ 2019-01-23 11:16
丫丫625202
阅读(160)
评论(0)
推荐(0)
浙公网安备 33010602011771号