干it的小张

摘要： Scrapy框架的使用 - pySpider- 什么是框架？ - 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中）- scrapy集成好的功能： - 高性能的数据解析操作（xpath） - 高性能的数据下载 - 高性能的持久化存储 - 中间件 - 全栈数据爬取操作 - 分布 阅读全文

摘要： 如何保持环境一致？ pip3 freeze > requerment.txt pip install -r requerment.txt 1.环境不一致 2.配置文件不一致 3.技术水平不一致，导致部署环境快慢不一致 docker 一处编译，到处运行 对系统的消耗不是特别的多 可以快速启动 维护简单 阅读全文

摘要： 发布订阅 subscribe 订阅一个或者多个频道 publish 给指定的频道发送消息 psubscribe 订阅指定模式的频道，*代表所有 pubsub channels 查看当前活跃的频道 pubsub numsub channels 查看当前频道的订阅人数 redis的配置文件 bind 1 阅读全文

摘要： nosql not only sql 用户画像： 热点数据：经常被使用的数据 mysql 安装 可以使用yum 安装，要先配置epel源 yum install -y redis 可以编译安装 wget http://download.redis.io/releases/redis-5.0.5.ta 阅读全文

摘要： nginx的日志 #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" 阅读全文