随笔分类 -  大数据

摘要:什么是Flume? Apache Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各种数据源发送给指定的数据接收方;同时Flume还提供简单的数据处理的方法。 Flume的三大组成 (1)source 完成数据的收集,分成<!--?xml version="1.0" enco 阅读全文
posted @ 2018-02-09 17:36 星星满天 阅读(273) 评论(0) 推荐(0)
摘要:Linux中的命令NetCat有“瑞士军刀”的美誉。我们可以通过nc命令查看Zookeeper的一行属性数据。在Zookeeper中有很多四字命令,汇总如下: 1、echo conf | nc 10.9.3.253 2181 2、echo cons | nc 10.9.3.253 2181 3、ec 阅读全文
posted @ 2018-02-06 11:49 星星满天 阅读(2660) 评论(0) 推荐(0)
摘要:一、安装mahout 1、下载mahout(mahout-distribution-0.9.tar.gz) http://pan.baidu.com/s/1kUtOMQb 2、解压至指定目录 我平时都存放在opt下面; 创建存放目录:root@master:/opt# mkdir mahout 进入 阅读全文
posted @ 2016-01-24 14:25 星星满天 阅读(759) 评论(0) 推荐(0)
摘要:解决方法: hadoop fs -mkdir -p testdata 阅读全文
posted @ 2016-01-24 14:05 星星满天 阅读(628) 评论(0) 推荐(0)