随笔分类 -  python爬虫

github爬虫100项目
摘要：为了更好的巩固所学,在github上开始100爬虫项目,记录学习过程,也希望对他人的学习有帮助,目前还在持续更新中,有兴趣可以看看 地址: https://github.com/mapyJJJ/100- 阅读全文
posted @ 2018-09-19 20:13 金牛小子 阅读(798) 评论(0) 推荐(0)
python爬虫 ----文章爬虫（合理处理字符串中的\n\t\r........）
摘要：写了一个爬学校新闻网的爬虫， 主要涉及 re正则 urllib.request 文件的写入 在爬取文章时通常会返回很多影响美感的代码 如下： 优化： 两次正则 替换 over！ 阅读全文
posted @ 2017-08-12 18:07 金牛小子 阅读(4062) 评论(0) 推荐(0)
爬取笔下wenxue小说
摘要：保存到txt文件中 2017-05-28 22:58:35 阅读全文
posted @ 2017-05-28 22:59 金牛小子 阅读(516) 评论(0) 推荐(0)
python 爬取qidian某一页全部小说
摘要：本文纯粹用于技术练习，请勿用作非法途径 结果图： 学习ing!!! 加油 阅读全文
posted @ 2017-05-25 12:21 金牛小子 阅读(1062) 评论(0) 推荐(0)
python 爬qidian小说
摘要：下一篇，将结合该篇写一个爬取某一页所有小说的爬虫 （本文仅供技术参考，请勿用作非法途径） 阅读全文
posted @ 2017-05-24 21:07 金牛小子 阅读(504) 评论(0) 推荐(1)
python 爬起点目录
摘要：实现 阅读全文
posted @ 2017-05-23 22:37 金牛小子 阅读(369) 评论(0) 推荐(0)
python ip代理
摘要：注意的是要验证代理ip是否可用 大家可以参考这个网站 http://www.66ip.cn/yz/ 阅读全文
posted @ 2017-05-20 19:54 金牛小子 阅读(297) 评论(0) 推荐(0)
python 翻译爬虫
摘要：这是form Data中的内容 i: 你好 from: AUTO to: AUTO smartresult: dict client: fanyideskweb salt: 1497075070071 sign: fbdf42a5b8f48f0defc722823ef1be6b doctype: j 阅读全文
posted @ 2017-05-17 20:30 金牛小子 阅读(651) 评论(0) 推荐(0)
python 使用for循环简单爬取图片（1）
摘要：现在的网站大多做了反爬处理，找一个能爬的网站还真不容易。 下面开始一步步实现： 1.简单爬录目图片 2.爬图集 这里仅仅是爬取了录目上的图片，还没有涉及到for循环遍历，针对我们的目标，我们要尽可能仔细观察它的规律。 这里我们随便点进去一个图片集，如图： 打开后看到该图片集一共是6张， 分析一下它的 阅读全文
posted @ 2017-04-13 20:40 金牛小子 阅读(4470) 评论(0) 推荐(0)
python 爬取html页面
摘要：有些网站的页面无法全部爬取（笔记） 阅读全文
posted @ 2017-04-13 14:30 金牛小子 阅读(4861) 评论(0) 推荐(0)
python 爬取文章
摘要：这里我们利用强大的python爬虫来爬取一篇文章。仅仅做一个示范，更高级的用法还要大家自己实践。 好了，这里就不啰嗦了，找到一篇文章的url地址：http://www.duanwenxue.com/article/673911.html （注意，有一些网站会做一些反爬处理，关于这些网站的爬取会在近期 阅读全文
posted @ 2017-04-11 23:03 金牛小子 阅读(4604) 评论(1) 推荐(0)