摘要: 负责搭建公司日志分析,一直想把CDN日志也放入到日志分析,前些日志终于达成所愿,现在贴出具体做法: 1、收集日志 腾讯云CDN日志一般一小时刷新一次,也就是说当前只能下载一小时之前的日志数据,但据本人观察,有时前一小时的并下载不到,所以为了保险起见,可以下载两小时之前的日志数据。下载日志可以通过腾讯 阅读全文
posted @ 2017-02-27 19:01 hexm 阅读(3362) 评论(0) 推荐(1) 编辑
摘要: Alembic简介: SQLAlchemy是一款非常优秀的ORM框架,但是本身没有带数据库版本控制功能,这很不方便,进行开发过程中难免修改数据模型,添加一个表,修改一个字段,都需要手动修改的话就比较费事了,还不如不用SQLAlchemy呢。 在这里介绍一款SQLAlchemy作者写的数据库版本控制工 阅读全文
posted @ 2017-03-29 20:27 hexm 阅读(8305) 评论(0) 推荐(1) 编辑
摘要: 需求: 1、所有要检测的资源url放到一个单独文件中 2、检测cdn节点资源大小与源站文件大小是否一致 3、随机抽查几个资源,检查md5sum是否一致 4、使用多线程,可配置线程数 代码目录: README.TXT conf/url.txt check.py #!/usr/bin/env pytho 阅读全文
posted @ 2017-03-27 14:58 hexm 阅读(489) 评论(0) 推荐(0) 编辑
摘要: 网页特殊符号HTML代码大全 HTML特殊字符编码大全:往网页中输入特殊字符,需在html代码中加入以&开头的字母组合或以&#开头的数字。下面就是以字母或数字表示的特殊符号大全。 ´ ´ © © > > µ µ ® ® & & ° ° 阅读全文
posted @ 2017-03-15 18:04 hexm 阅读(2240) 评论(0) 推荐(0) 编辑
摘要: 收到报警,某一域名报警404状态码五分钟超过2000条,通过日志分析平台可以快速定位故障。 可以看到主要是宁波的一个IP访问错误的url。如:xxx.51.com//Files/Image/diaosi.asp/lpnpl73757.jpg 解决办法: 1、限制访问频率,可参考ngx_http_li 阅读全文
posted @ 2017-03-04 14:43 hexm 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 删除空行 阅读全文
posted @ 2017-03-02 12:42 hexm 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 使用指定的http代理,配合md5sum 对于检查源站与cdn节点资源是否一致很有效 爬取整个网站: 阅读全文
posted @ 2017-02-21 09:28 hexm 阅读(249) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python #coding=utf-8 import paramiko, getpass,sys,traceback class ssh_utils(): def login_by_passwd(self, ip, port, username, passwd): self.ip = ip self.port = p... 阅读全文
posted @ 2017-02-16 09:37 hexm 阅读(1135) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python # coding=utf-8 # hexm@2016-02-14 import time import requests import paramiko import subprocess import requests HOST = ( "10.88.2.182:22", "10.88.2.183:22", "... 阅读全文
posted @ 2017-02-14 21:04 hexm 阅读(659) 评论(0) 推荐(0) 编辑
摘要: # cat global.sh 阅读全文
posted @ 2017-02-08 14:11 hexm 阅读(1664) 评论(0) 推荐(0) 编辑
联系我:xiaoming.unix@gmail.com