随笔分类 -  其他

Gerapy 使用
摘要：Gerapy 使用 Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd Client、Scrapy Redis、Scrapyd API、Scrapy Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助 阅读全文
posted @ 2019-12-26 16:54 sasmen 阅读(1740) 评论(0) 推荐(0)
Python虚拟环境的安装和配置-virtualenv
摘要：Python虚拟环境的安装和配置 virtualenv 一 虚拟环境 virtual environment 它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机docker来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”，在这个容器中，我们可以只安装我们需要的 阅读全文
posted @ 2019-12-26 09:53 sasmen 阅读(639) 评论(0) 推荐(0)
管理node.js的nvm
摘要：我们坑同时在运行2个项目。而2个不同的项目所使用的node版本又不一样，或者是要用更新的node版本进行试验或学习。这种情况下，对于维护多个版本的node将会是一键非常麻烦的事情，而nvm就是为了解决这个问题而产生的，他可以方便的在同一台设备上进行多个node版本之间的切换，而这个正是nvm的价值所 阅读全文
posted @ 2019-12-20 16:29 sasmen 阅读(361) 评论(0) 推荐(0)
Scrapy的中间件（一）
摘要：中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同 阅读全文
posted @ 2019-12-20 10:54 sasmen 阅读(193) 评论(0) 推荐(0)
Scrapy的中间件（二）
摘要：爬虫中间件 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就是写在spiders文件夹下面的各个文件。它们的关系，在Scrapy的数据流图上可以很好地区分开来，如下图所示。 阅读全文
posted @ 2019-12-20 10:51 sasmen 阅读(144) 评论(0) 推荐(0)
一个项目中使用kafka
摘要：一个简单的需求 假设我们需要写一个微博爬虫，老板给的需求如下： 开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了： 接下来开始做报警功能，逻辑也非常简单： 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓取量。 这个功 阅读全文
posted @ 2019-12-20 10:48 sasmen
requirements 操作
摘要：requirements作用描述： 很多 Python 项目中经常会包含一个 requirements.txt 文件，里面内容是项目的依赖包及其对应版本号的信息列表， 即项目依赖关系清单，其作用是用来重新构建项目所需要的运行环境依赖， 比如你从 GitHub 上 clone 了一个 Python 项 阅读全文
posted @ 2019-12-19 15:37 sasmen 阅读(318) 评论(0) 推荐(0)
Cron表达式
摘要：Cron表达式范例： ：每隔5秒执行一次 ：每隔1分钟执行一次 ：每天23点执行一次 ：每天凌晨1点执行一次： ：每月1号凌晨1点执行一次 ： 每月最后一天23点执行一次 ：每周星期天凌晨1点实行一次 ： 在26分、29分、33分执行一次 ： 每天的0点、13点、18点、21点都执行一次 Cron 阅读全文
posted @ 2019-12-19 11:46 sasmen 阅读(4539) 评论(0) 推荐(0)
ubuntu及Cenos国内镜像下载
摘要：打开：https://man.linuxde.net/download/ CentOS 7提供了三种ISO镜像文件的下载： DVD ISO 标准安装版，一般下载这个就可以了（推荐） Everything ISO 对完整版安装盘的软件进行补充，集成所有软件。（包含centos7的一套完整的软件包，可以 阅读全文
posted @ 2019-12-09 13:09 sasmen 阅读(1357) 评论(0) 推荐(0)