该文被密码保护。 阅读全文
posted @ 2021-11-24 15:47 myvic 阅读(2) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2021-11-24 15:29 myvic 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 1.es 架构 2. es 工作原理 3. 命令: ## es scroll 游标查询全部数据POST product/doc/_search?scroll=1m { "query": { "match_all": {} }, "size": 2 } POST _search/scroll { "s 阅读全文
posted @ 2020-03-18 22:15 myvic 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 1. 安装:pip install scrapydweb 2. 启动:scrapydweb 第一次执行,当前目录会生产配置文件:scrapydweb_settings_v8.py 配置账户和密码: 配置文件: 3. 界面:功能强大、还支持移动端 参考资料:https://github.com/my8 阅读全文
posted @ 2019-08-02 15:53 myvic 阅读(4687) 评论(0) 推荐(0) 编辑
摘要: 1. 安装服务器: pip install scrapyd 启动: scrapyd 访问:127.0.0.1:6800 2. 安装客户端 pip install scrapyd-client 3. 进入爬虫项目根目录:找到 scrapy.cfg 文件 修改如下 4. 发布项目 scrapyd-dep 阅读全文
posted @ 2019-08-01 18:06 myvic 阅读(851) 评论(0) 推荐(0) 编辑
摘要: 1.CGI 是服务器与后台语言交互的协议,有了这个协议,开发者可以使用任何语言处理服务器转发过来的请求,动态地生成内容, 保证了传递过来的数据是标准格式的(规定了以什么样的格式传哪些数据(URL、查询字符串、POST数据、HTTP header等等)),方便了开发者。 2.fastCGI 首先,Fa 阅读全文
posted @ 2019-07-11 18:32 myvic 阅读(8948) 评论(0) 推荐(0) 编辑
摘要: 1.删除git文件 当我们需要删除暂存区或分支上的文件, 同时工作区也不需要这个文件了, 可以使用 当我们需要删除暂存区或分支上的文件, 但本地又需要使用, 只是不希望这个文件被版本控制, 可以使用 阅读全文
posted @ 2019-07-10 11:01 myvic 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 1.nginx的配置文件 nginx 配置文件的整体结构 upstream cszhi.com{ ip_hash; server 192.168.8.11:80; server 192.168.8.12:80 down; server 192.168.8.13:8009 max_fails=3 fa 阅读全文
posted @ 2019-07-09 19:05 myvic 阅读(2938) 评论(0) 推荐(0) 编辑
摘要: 1.按日期衰变 参考资料:https://blog.csdn.net/weixin_40341116/article/details/81003513 https://www.scienjus.com/elasticsearch-function-score-query/ 阅读全文
posted @ 2019-07-08 14:15 myvic 阅读(2054) 评论(0) 推荐(0) 编辑
摘要: 1.下载镜像:docker search ubuntu docker pull ubuntu 2. 创建容器 docker run --name spider_frame -p 8888:8888 -p 10023:22 -it -d python:3.7 /bin/bash 3.进入容器docke 阅读全文
posted @ 2019-04-17 15:36 myvic 阅读(1291) 评论(0) 推荐(0) 编辑