沙漏哟   计算机的未来在于联结

摘要： 一、环境搭建 1. 下载 mahout-0.9-cdh5.3.6.tar.gz 2. 解压 3. mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job hdfs dfs -ls /output 转换成普通文本 hdfs dfs 阅读全文

摘要： 一、环境搭建 1. 编译spark 1.3.0 1）安装apache-maven-3.0.5 2）下载并解压 spark-1.3.0.tgz 3）修改make-distribution.sh 4）替换maven仓库jar包 5）打包编译 （1）MAVEN编译 （2）使用CDH5.3.6版本的hado 阅读全文

摘要： 一、Storm项目 1. 架构 javasdk -> nginx -> 日志文件 -> flume agent(collector) -> hdfs -> kafka -> storm -> hbased kafka吞吐量达，可以被不同的消费者重复消费 2. 项目需求 电商 用户提交订单并且成功支付 阅读全文

摘要： http://www.cnblogs.com/lujinhong2/p/4686512.html http://blog.csdn.net/paul_wei2008/article/details/20830329 http://shiyanjun.cn/archives/1472.html 一、t 阅读全文

摘要： 一、环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz 2. 解压 3. 修改配置 1）创建目录 2）修改storm_env.ini 3）修改storm. 阅读全文

摘要： 一、HBase性能调优 1. JVM内存调优 MemStore内存空间，设置合理大小 memstore.flush.size 刷写大小 134217728 = 128M memstore.mslab.enabled preclose.flush.size JVM堆内存 初生代内存空间：数据停留时间较 阅读全文

摘要： 一、案例 微博： 微博内容： 关注用户和粉丝用户： 添加或移除关注用户 查看关注用户的微博内容 微博数据存储： 响应时间 秒级 无延迟 （1）mysql分布式 （2）hbase数据库 使用HBase数据库实现微博系统数据的存储 表的设计： 命名空间：weibo 1. 微博内容表 TableName： 阅读全文

摘要： 一、HBase整合MapReduce环境搭建 1. 搭建步骤1）在etc/hadoop目录中创建hbase-site.xml的软连接。在真正的集群环境中的时候，hadoop运行mapreduce会通过该文件查找具体的hbase环境信息。 2）将hbase需要的jar包添加到hadoop运行环境中，其 阅读全文

摘要： 一、MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf mongodb-linux-x86_64-3.0.6.tgz -C /opt/modules 3. 阅读全文

摘要： 一、环境搭建 1. 下载安装配置 《OD大数据实战》Hadoop伪分布式环境搭建 2. Hadoop配置信息 1）${HADOOP_HOME}/libexec：存储hadoop的默认环境变量信息 （1）hadoop-config.sh （2）hdfs-config.sh （3）mapred-conf 阅读全文