摘要: 目的:顺序执行进程 在Bash里面类似 a.sh && b.sh && c.sh先来说下Popen这个函数classsubprocess.Popen(args,bufsize=0,executable=None,stdin=None,stdout=None,stderr=None,preexec_f... 阅读全文
posted @ 2014-11-05 11:15 hugeshi 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 图解TCP-IP协议本文通过两个图来梳理TCP-IP协议相关知识。TCP通信过程包括三个步骤:建立TCP连接通道,传输数据,断开TCP连接通道。如图1所示,给出了TCP通信过程的示意图。图1 TCP 三次握手四次挥手图1主要包括三部分:建立连接、传输数据、断开连接。1)建立TCP连接很简单,通过三次... 阅读全文
posted @ 2014-09-24 18:13 hugeshi 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 文中首先解释了加密解密的一些基础知识和概念,然后通过一个加密通信过程的例子说明了加密算法的作用,以及数字证书的出现所起的作用。接着对数字证书做一个详细的解释,并讨论一下windows中数字证书的管理,最后演示使用makecert生成数字证书。如果发现文中有错误的地方,或者有什么地方说得不够清楚,欢迎... 阅读全文
posted @ 2014-09-24 17:44 hugeshi 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 有幸能参加大牛的培训,学到了很多东西,下面总结一下:1.总的思想是每一门语言都有好有坏,我们要通过好的代码规范和其他一些方式去避免使用糟糠的那一部分。JS有很多缺点,但是也有很多优点,我们就用他的优点就够了,不要去把他的缺点的部分加到你的代码里2.每一个Object 就是一个动态属性的集合。Obje... 阅读全文
posted @ 2014-09-17 17:41 hugeshi 阅读(136) 评论(0) 推荐(0) 编辑
摘要: background:项目中的一个小工具,是一个Cron Job ,每天去搜集下服务器Hadoop Job的运行状态,并生成一份报告发送给整个Team,生产报告的同时把相关的日志文件保存到固定的一台机子上,方便以后查看和分析,因为生产环境上的Log只保存7天。问题:日志是保存上固定的目录下面,而且是... 阅读全文
posted @ 2014-08-06 14:26 hugeshi 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 最近项目中遇到了存储在HDFS上的数据格式不对,是由于数据中带有\r\n的字符,程序处理的时候没有考虑到这些情况。历史数据大概有一年的时间,需要把错误的数据或者重复的数据给删除了,保留正确的数据,项目中使用Pig来进行数据处理,所以我写了一个UDF的JAVA类去过滤那些错误的数据,把错误的数据和正确... 阅读全文
posted @ 2014-07-18 13:18 hugeshi 阅读(437) 评论(0) 推荐(0) 编辑
摘要: Stepsuppose you need to develop a feature,when you finish the feature ,you need to release the jar to Nexus,and other projects will depend on your jar... 阅读全文
posted @ 2014-07-18 13:01 hugeshi 阅读(216) 评论(1) 推荐(0) 编辑