摘要: http://www.scrapyd.cn/doc/156.html 入门中文教程 spiderkeeper是一款开源的spider管理工具,可以方便的进行爬虫的启动,暂停,定时,同时可以查看分布式情况下所有爬虫日志,查看爬虫执行情况等功能。 安装安装环境 ubuntu16.04 python3.5 阅读全文
posted @ 2018-11-01 19:23 小强找BUG 阅读(599) 评论(0) 推荐(0)
摘要: http://www.open-open.com/lib/view/open1388289601875.html 重读William Stallings的Operating System的个人总结,未涉及安全和分布式部分(这部分在英文版中被阉割了)。上一张完成的大图,然后再慢慢画起(在每个图后面加链 阅读全文
posted @ 2018-11-01 18:42 小强找BUG 阅读(2124) 评论(1) 推荐(0)
摘要: 访问日志主要记录客户端访问Nginx的每一个请求,格式可以自定义。通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。 Nginx中访问日志相关指令主要有两条,一条是log_format,用来设置日志的格式,另外一条是access_log,用来指定日志文职的存放路径 阅读全文
posted @ 2018-11-01 17:58 小强找BUG 阅读(189) 评论(0) 推荐(0)
摘要: #运行用户 user nobody; #启动进程,通常设置成和cpu的数量相等 worker_processes 1; #全局错误日志及PID文件 #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs 阅读全文
posted @ 2018-11-01 17:45 小强找BUG 阅读(120) 评论(0) 推荐(0)
摘要: /******************************************************************************************* 版权声明* 本文为本人原创,本人拥有此文的版权。鉴于本人持续受益于开源软件社区,* 本人声明:任何个人及团体均可不 阅读全文
posted @ 2018-11-01 16:10 小强找BUG 阅读(991) 评论(0) 推荐(0)
摘要: 1 起因# 前段时间,一直在调线上的一个问题:线上应用接受POST请求,请求body中的参数获取不全,存在丢失的状况。这个问题是偶发性的,大概发生的几率为5%-10%左右,这个概率已经相当高了。在排查问题的过程中使用到了tcpdump和Wireshark进行抓包分析。感觉这两个工具搭配起来干活,非常 阅读全文
posted @ 2018-11-01 14:14 小强找BUG 阅读(1312) 评论(0) 推荐(0)
摘要: 一、TCP连接建立(三次握手) 过程 客户端A,服务器B,初始序号seq,确认号ack 初始状态:B处于监听状态,A处于打开状态 A -> B : seq = x (A向B发送连接请求报文段,A进入同步发送状态SYN-SENT) B -> A : ack = x + 1,seq = y (B收到报文 阅读全文
posted @ 2018-11-01 14:13 小强找BUG 阅读(397) 评论(0) 推荐(0)
摘要: grep 同时满足多个关键字和满足任意关键字 grep 同时满足多个关键字和满足任意关键字 ① grep -E "word1|word2|word3" file.txt 满足任意条件(word1、word2和word3之一)将匹配。 ② grep word1 file.txt | grep word 阅读全文
posted @ 2018-11-01 12:26 小强找BUG 阅读(310) 评论(0) 推荐(0)
摘要: 监听器模型涉及以下三个对象,模型图如下: (1)事件:用户对组件的一个操作,称之为一个事件(2)事件源:发生事件的组件就是事件源(3)事件监听器(处理器):监听并负责处理事件的方法 执行顺序如下: 1、给事件源注册监听器2、组件接受外部作用,也就是事件被触发3、组件产生一个相应的事件对象,并把此对象 阅读全文
posted @ 2018-11-01 10:23 小强找BUG 阅读(1341) 评论(0) 推荐(0)