摘要：大家都知道，hive -f 后面指定的是一个文件，然后文件里面直接写sql，就可以运行hive的sql，hive -e 后面是直接用双引号拼接hivesql，然后就可以执行命令。 但是，有这么一个东西，我的sql当中有一个split切割，暂且先不管这个分割的业务逻辑是什么，但是当中有一段是用小数点（ 阅读全文

摘要：对hive中的表进行批量处理，如下是一个简单的脚本 阅读全文

摘要：通过socket建立简单的聊天工具 server.py client.py 阅读全文

摘要：本文代码转自廖雪峰老师的python教程 网络编程底层其实就是一个socket，代表两台机器之间的一个连接。 提供服务的一方是服务端，服务端程序需要绑定(s.bind())一个端口，然后长期监听（s.listen()）这个端口，收到消息(s.accept())后给予相应反馈。 反馈消息是通过新启动一 阅读全文

摘要：本文代码转载廖雪峰老师的python3教程 分布式编程的难点在于： 1.服务器之间的通信，主节点如何了解从节点的执行进度，并在从节点之间进行负载均衡和任务调度； 2.如何让多个服务器上的进程访问同一资源的不同部分进行执行 第一部分涉及到网络编程的底层细节 第二个问题让我联想到hdfs的一些功能。 首 阅读全文

摘要：之前的文章依赖是1对1或1多对的，但每个任务的前置任务都只有1个。 本文的核心在于一个任务依赖于多个任务的执行完成，如上图所示，这个任务就是fact,只有new和dviduser两个任务都完成的情况下，fact才能继续执行。 init_pipe.sh work.sh 阅读全文

摘要：工作中往往遇到这种情况，有许多任务，依次执行比较浪费时间，由于任务之间有依赖关系，简单的并发执行又不行。 就如同下面这种情况，任务new和dvidUser是可以并发执行的，fact任务依赖于new任务，fact执行完之后last和stat才能执行； dvidUser执行完之后dvid和User两个任 阅读全文