文艺的程序员

摘要： 系统环境：ubuntu14.04 server cloudera CDH 5.10 共计28个节点。单节点内存128G。有6台机器是24核，22台机器是32核。有10台机器磁盘容量是1.8T 18台机器磁盘容量是12.8T。 resourceManager,namenode 在同一节点上，且该节点不 阅读全文

摘要： 最近在hive上处理电网数据，需要将型如 的数据处理成如下格式的数据 原始数据是每个pointid在每天有96个采样记录，即 每天每15分钟一行记录 处理后的数据是每个pointid 只有一行记录，每行表示每天的96个采样值 经过review发现，可以使用hive的udf 与python相结合的方式 阅读全文