2019年1月3日
爬虫：利用cookies跳过登陆验证码
摘要： <! flowchart 箭头图标 勿删 前言 在爬取某些网页时，登陆界面时经常遇到的一个坎，而现在大多数的网站在登陆时都会要求用户填写验证码。当然，我们可以设计一套机器学习的算法去破解验证码，然而，验证码的形式多种多样，稍微变一下（有些甚至是手机短信验证），整套算法可能就完全无效了，所以去强行破解 阅读全文
posted @ 2019-01-03 10:07 Mr_almost 阅读(3014) 评论(0) 推荐(0)
爬虫 解决网页ip限制的问题的八种方法
摘要： <! flowchart 箭头图标 勿删 方法1. 之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 经验如下： 1.IP必须需要，像@alswl 说的非常正确，ADSL。如果有条件，其实可以跟机房多申请外网IP。 2.在有外网IP的机器上，部署代理服务器。 3.你的程序，使 阅读全文
posted @ 2019-01-03 09:53 Mr_almost 阅读(2199) 评论(0) 推荐(0)
2019年1月2日
Python爬虫scrapy-redis分布式思想
摘要： 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_30175203/article/details/76921230         爬虫技术，无论是在学术领域，还是在工程领域 阅读全文
posted @ 2019-01-02 17:18 Mr_almost 阅读(211) 评论(0) 推荐(0)
Python爬虫框架Scrapy实例（一）
摘要： 目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。 一、创建Scrapy项目 scrapy startproject Tencent 命令执行后，会创建一个Tencent文件夹，结构如下 二、编写item文件，根据需要爬取的内容定义爬取字 阅读全文
posted @ 2019-01-02 14:56 Mr_almost 阅读(306) 评论(0) 推荐(0)
Python爬虫框架Scrapy实例（二）
摘要： 目标任务：使用Scrapy框架爬取新浪网导航页所有大类、小类、小类里的子链接、以及子链接页面的新闻内容，最后保存到本地。 大类小类如下图所示： 点击国内这个小类，进入页面后效果如下图（部分截图）： 查看页面元素，得到小类里的子链接如下图所示： 有子链接就可以发送请求来访问对应新闻的内容了。 &nbs 阅读全文
posted @ 2019-01-02 14:56 Mr_almost 阅读(253) 评论(0) 推荐(0)
Python爬虫scrapy-redis分布式实例（一）
摘要： 目标任务：将之前新浪网的Scrapy爬虫项目，修改为基于RedisSpider类的scrapy redis分布式爬虫项目，将数据存入redis数据库。   一、item文件，和之前项目一样不需要改变 coding: utf 8 import scrapy import sys reload 阅读全文
posted @ 2019-01-02 14:53 Mr_almost 阅读(1050) 评论(0) 推荐(0)
linux每日命令(4)：pwd命令
摘要： 阅读目录(Content)1．命令格式：2. 命令功能：3. 常用参数：4. 常用示例1. 查看pwd命令2. 显示当前目录所在路径.3. 多层连接文件时，显示所有连接文件最终指向的文件全路径Linux中用 pwd 命令来查看”当前工作目录“的完整路径。 简单得说，每当你在终端进行操作时，你都会有一 阅读全文
posted @ 2019-01-02 08:39 Mr_almost 阅读(880) 评论(0) 推荐(0)
linux每日命令(3)：ln命令
摘要： 阅读目录(Content)1．命令格式：2．命令功能：软链接：硬链接:注意：3. 命令参数：4. 常用示例1. 给2018.log创建一个名为link2018的软链接2. 为2018.log 创建一个硬链接ln20183. 接上面两实例，链接完毕后，删除和重建链接原文件4. 将文件链接到目录中5：给 阅读全文
posted @ 2019-01-02 00:10 Mr_almost 阅读(239) 评论(0) 推荐(0)
linux每日命令(2)：cd命令
摘要： 阅读目录(Content)1.命令格式：2.命令功能3. 常用范例1.进入系统根目录2. 返回父级目录3.进入当前目录的父目录的父目录4. 进入当前用户主目录5. 跳转到指定目录6.返回进入此目录之前所在的目录7. 把上个命令的参数作为cd参数使用回到顶部(go to top)1.命令格式： cd 阅读全文
posted @ 2019-01-02 00:04 Mr_almost 阅读(416) 评论(0) 推荐(0)
2018年12月28日
linux每日命令(1)：ls命令
摘要： 阅读目录(Content)1.命令格式：2.命令功能3.常用选项参数4.常见范例1：列出/home/hc文件夹下的所有文件和目录的详细资料2：列出当前目录中所有以“t”开头的目录的详细内容，可以使用如下命令：3：只列出文件下的子目录列出 /home/hc/PycharmProjects 文件下面的子 阅读全文
posted @ 2018-12-28 10:55 Mr_almost 阅读(407) 评论(0) 推荐(0)