随笔分类 -  大数据实战

上一页 1 2
大数据相关实战案例
《OD大数据实战》Storm环境搭建
摘要：参考文档： http://my.oschina.net/292672967/blog/209139 http://hitina.lofter.com/post/a8c5e_136579# http://blog.csdn.net/xiaolang85/article/details/38492277 阅读全文
posted @ 2016-08-10 10:18 沙漏哟 阅读(168) 评论(0) 推荐(0)
《OD大数据实战》Oozie环境搭建
摘要：一、Oozie环境搭建 1. 下载oozie-4.0.0-cdh5.3.6.tar.gz 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压 tar -zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/ 阅读全文
posted @ 2016-08-09 10:41 沙漏哟 阅读(1095) 评论(0) 推荐(0)
《OD大数据实战》Kafka入门实例
摘要：官网： 参考文档： Kafka入门经典教程 Kafka工作原理详解 一、安装zookeeper 1. 下载zookeeper-3.4.5-cdh5.3.6.tar.gz 下载地址为： http://archive.cloudera.com/cdh5/cdh/5/ 2. 解压到/opt/modules 阅读全文
posted @ 2016-08-09 10:04 沙漏哟 阅读(1126) 评论(1) 推荐(0)
《OD大数据实战》Flume入门实例
摘要：一、netcat source + memory channel + logger sink 1. 修改配置 1）修改$FLUME_HOME/conf下的flume-env.sh文件，修改内容如下 2）在$FLUME_HOME/conf目录下，创建agent子目录，新建netcat-memory-l 阅读全文
posted @ 2016-08-07 14:07 沙漏哟 阅读(534) 评论(0) 推荐(0)
《OD大数据实战》Hive入门实例
摘要：官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 一、命令行和客户端 1. 命令窗口 1）进入命令窗口 2）在hive cli命令窗口查看hdfs文件系统： 3）在hive cli命令窗口如何查看本地文件系统 阅读全文
posted @ 2016-08-05 17:22 沙漏哟 阅读(442) 评论(0) 推荐(0)
《OD大数据实战》Flume环境搭建
摘要：一、CentOS 6.4安装Nginx http://shiyanjun.cn/archives/72.html 二、安装Flume 1. 下载flume-ng-1.5.0-cdh5.3.6.tar.gz 下载地址http://archive.cloudera.com/cdh5/cdh/5/ 2. 阅读全文
posted @ 2016-08-05 16:24 沙漏哟 阅读(208) 评论(0) 推荐(0)
《OD大数据实战》MapReduce实战
摘要：一、github使用手册 1. 我也用github（2）——关联本地工程到github 2. Git错误non-fast-forward后的冲突解决 3. Git中从远程的分支获取最新的版本到本地 4. Git教程 二、案例：倒排索引 1. 完成功能： 统计一系列文本文件中的每个单词构成的倒排索引。 阅读全文
posted @ 2016-08-03 09:53 沙漏哟 阅读(304) 评论(0) 推荐(0)
《OD大数据实战》Hive环境搭建
摘要：一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、Hive环境搭建 1. 准备安装文件 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1）修改 阅读全文
posted @ 2016-08-01 19:16 沙漏哟 阅读(875) 评论(0) 推荐(0)
《OD大数据实战》Hadoop伪分布式环境搭建
摘要：一、安装并配置Linux 8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 最终效果如下： 二、安装并配置JDK 1. 安装文件 jdk-7u67-linux-x64.tar.gz 2. 解压 3. 配置jdk 1）使用sudo配置/etc 阅读全文
posted @ 2016-08-01 16:40 沙漏哟 阅读(1964) 评论(0) 推荐(0)

上一页 1 2