05 2020 档案

安装nginx
摘要：1， 安装依赖包 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel 2. 下载解压文件 wget http://nginx.org/download/nginx-1.9.9.tar.gz tar -xvzf ngi 阅读全文
posted @ 2020-05-29 11:34 sunshine_5 阅读(94) 评论(0) 推荐(0)
django markdown格式化变量
摘要：注意：{% endfor %}要换行，否则数据就会显示为一行，不会换行 | 项目名称 | 有效数据 || : : | : : |{% for key,value in detail.items %}|{{ key }}|{{ value }}|{% endfor %} 阅读全文
posted @ 2020-05-22 16:43 sunshine_5 阅读(141) 评论(0) 推荐(0)
安装python3.8
摘要：1.下载 wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz并解压tar -xzvf Python-3.8.0.tgz 2. 安装依赖 yum -y install zlib-devel bzip2-devel openssl- 阅读全文
posted @ 2020-05-22 14:12 sunshine_5 阅读(997) 评论(1) 推荐(1)
安装 docker
摘要：参考：https://juejin.im/post/5dac14c0f265da5b8c03cabe 安装一些必要的系统工具： yum install -y yum-utils device-mapper-persistent-data lvm2 添加软件源信息： yum-config-manage 阅读全文
posted @ 2020-05-22 11:47 sunshine_5 阅读(143) 评论(0) 推荐(0)
Centos7 安装selenium webdriver环境
摘要：最重要的是：webdriver及chrome-browser版本一致，否则启动失败 1. 安装selenium pip3 install selenium 2. 安装chrome-browser wget https://dl.google.com/linux/direct/google-chrom 阅读全文
posted @ 2020-05-19 16:56 sunshine_5 阅读(2914) 评论(0) 推荐(1)
收集网页数据方法
摘要：Puppeteer/Pyppeteer、Selenium 阅读全文
posted @ 2020-05-19 11:00 sunshine_5 阅读(263) 评论(0) 推荐(0)
logstash 6.3.2下载地址
摘要：https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz 阅读全文
posted @ 2020-05-14 10:15 sunshine_5 阅读(440) 评论(0) 推荐(0)
部署kafka
摘要：1. 下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.5.0/kafka_2.12-2.5.0.tgz 2. 解压tar -xzvf kafka_2.12-2.5.0.tgz 3. 启动zookeeper ./bin/zookeeper- 阅读全文
posted @ 2020-05-13 17:48 sunshine_5 阅读(127) 评论(0) 推荐(0)
python格式化字符串 转义%
摘要：格式化字符串时，如果字符中包含%，需要用%对%进行转义，即%% >>> a= "%%%s%%"%("abc")>>> a'%abc%' 阅读全文
posted @ 2020-05-13 17:20 sunshine_5 阅读(3030) 评论(0) 推荐(0)
爬虫踩坑总结
摘要：1. 抓不到接口，不要着急提取页面信息，先搜索下网络资源，没准就有人分享对应的接口信息。 2 抓取页面信息，一定先用导出curl 相关命令，一般情况下能正常返回页面信息，尽量不要selenium启动页面抓取 3. url中包含#，要去掉 4. requests请求一定要带着user-agent，否则 阅读全文
posted @ 2020-05-12 23:04 sunshine_5 阅读(149) 评论(0) 推荐(0)
chrome中console验证xpath及css
摘要：验证css：$$('title') 验证xpath： $x('//h2') 阅读全文
posted @ 2020-05-12 17:15 sunshine_5 阅读(326) 评论(0) 推荐(0)
rsync 同步日志服务端，客户端配置
摘要：服务端修改： 1. 服务端/etc/rsyncd.conf port = 3380pid file = /var/run/rsyncd.pidlog file = /var/log/rsyncd.loguid = rootgid = rootuse chroot = nomax connection 阅读全文
posted @ 2020-05-12 14:33 sunshine_5 阅读(590) 评论(0) 推荐(0)