2019 年 6月随笔档案 - 周零开

xpath笔记整理

摘要：基本语法表达式描述nodename选取此节点的的所有子节点/从根节点选取//匹配所有节点，不考虑位置.选取当前节点..选取当前节点的父节点（类似linux）@选取属性使用chrome插件选择标签时候，选中时，选中的标签会添加属... 阅读全文

posted @ 2019-06-30 16:51 周零开阅读(29) 评论(0) 推荐(0)

摘要：scrapy 爬虫流程 scrapy 爬虫流程和一般的爬虫流程基本一样，发送url，响应提取url和数据，数据存储，url重新放到url队列中 Scrapy Engine（引擎）总指挥：负责数据和信号在不同模块之间传递scrapy实现Scheduler(调度... 阅读全文

posted @ 2019-06-30 15:06 周零开阅读(22) 评论(0) 推荐(0)

摘要：mongo用户创建创建admin用户 use admin db.createUser({user:"admin",pwd:"admin",roles:[{role:"userAdminAnyDatabase",db:"admin"}]}) ... 阅读全文

posted @ 2019-06-26 22:16 周零开阅读(33) 评论(0) 推荐(0)

摘要：概述: redis是key-value的数据结构，每条数据都是⼀个键值对键的类型是字符串注意：键不能重复值得类型有五种:string(字符串)，list(列表),hash(字典),set(集合),zset(有序的集合) 数据操作保存修改获取删除命令文章... 阅读全文

posted @ 2019-06-20 07:31 周零开阅读(24) 评论(0) 推荐(0)

摘要：python C 解释器有一个叫GIL 的东西作用: 每个线程在执行的过程都需要先获取GIL，保证同一时刻只有一个线程可以执行代码。所以在python中，如果对于CPU密集型任务，多线程是没有用的，因为一个线程不会释放GIL；但是对于IO密集型任务，多线程... 阅读全文

posted @ 2019-06-18 23:12 周零开阅读(33) 评论(0) 推荐(0)

摘要：下载安装 # wget http://download.redis.io/releases/redis-3.2.8.tar.gz# tar -zxvf redis-3.2.8.tar.gz # mv ./redis-3.2.8 /usr/local/redis... 阅读全文

posted @ 2019-06-16 19:39 周零开阅读(17) 评论(0) 推荐(0)

摘要：1.Flask app对象创建参数初始化 # 创建flask的应用对象 # __name__表示当前的模块名字 # 模块名，flask以这个模块所在的目录为总目录，默认这个目录中的static为静态目录，templates为模板目录 ... 阅读全文

posted @ 2019-06-15 12:49 周零开阅读(31) 评论(0) 推荐(0)

摘要：nginx 错误日志报错 upstream sent too big header while reading response header from upstream 在nginx.conf 内相对应位置添加如下3行 server { ... 阅读全文

posted @ 2019-06-11 22:33 周零开阅读(26) 评论(0) 推荐(0)

mongodb 索引

摘要：索引：以提升查询速度测试：插入10万条数据到数据库中 > for(i=0;i db.t1.find({name:"test10000"}) >db.t1.find({name:'test10000'}).explain('executionStats')... 阅读全文

posted @ 2019-06-11 20:24 周零开阅读(22) 评论(0) 推荐(0)

摘要：# chkconfig --add xxxservice xxx does not support chkconfig 需要在该启动脚本里添加如下文件信息 # chkconfig: 2345 50 90 # description: test mic se... 阅读全文

posted @ 2019-06-10 20:43 周零开阅读(12) 评论(0) 推荐(0)

摘要：聚合 aggregate 聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg()聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，... 阅读全文

posted @ 2019-06-09 20:48 周零开阅读(61) 评论(0) 推荐(0)

摘要：服务启动服务启动 mongod --config /usr/local/etc/mongod.conf 客户端启动 mongo 客户端退出 exit control+C 数据库相关操作查看当前的数据库：db 查看所有的数据库：show... 阅读全文

posted @ 2019-06-09 10:18 周零开阅读(19) 评论(0) 推荐(0)

06 2019 档案