摘要: 1.elasticsearch.yml关键配置说明(无权限配置) cluster.name 集群名称,以此作为是否是同一集群的判断条件 node.name 节点名称,以此作为集群中不同节点的区分条件 network.host/http.port 网络地址和端口,用于http 和 ttransport 阅读全文
posted @ 2019-09-18 17:50 cherishDouble 阅读(256) 评论(0) 推荐(0)
摘要: Mapreduce基础编程模型:将一个大任务拆分成一个个小任务,再进行汇总。 MapReduce是分两个阶段:map阶段:拆;reduce阶段:聚合。 hadoop环境安装 安装: 1、解压 : tar zxvf hadoop 2.4.1.tar.gz C /root/training/ 2、设置环 阅读全文
posted @ 2019-09-18 09:24 cherishDouble 阅读(1179) 评论(1) 推荐(0)
摘要: 1.使用Runnable异步处理Rest服务 @RequestMapping("/order") public Callable order() { logger.info("主线程开始"); Callable result = new Callable() { @Override public S 阅读全文
posted @ 2019-08-31 18:03 cherishDouble 阅读(714) 评论(0) 推荐(0)
摘要: UDAF class odps.udf.BaseUDAF 继承此类实现Python UDAF。 BaseUDAF.new_buffer() 实现此方法返回聚合函数的中间值的buffer。buffer必须是mutable object(比如list, dict),并且buffer的大小不应该随数据量递 阅读全文
posted @ 2019-08-29 17:43 cherishDouble 阅读(1349) 评论(0) 推荐(1)
摘要: 一、zookeeper(3.5.5) (https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/)经尝试发现3.5..0及以上版本将zookeep.out文件变成了zookeeper username server hostname.out,例如z 阅读全文
posted @ 2019-07-30 15:53 cherishDouble 阅读(159) 评论(0) 推荐(0)