好记性不如烂笔头！

摘要： 为什么会提出这个问题呢？ 答：因为啊，比如我们在大数据集群搭建的时候，经常会需要配置环境变量，如/etc/profile。那么，问题来了，每次必须得都切换到root用户才能，但是呢，如何可以在普通用户比如，在hadoop用户或spark用户，就可以了呢？ 解决办法 方式一：得先配置visudo 进入 阅读全文

摘要： 无论是hadoop、spark还是storm。搭建各子项目需要配置环境变量，这里列举我所尝试过的各种版本。 因修改/etc/environment，导致Linux无法登陆 /etc/environment是设置整个系统的环境。而/etc/profile是设置所有用户的环境，前者与登录用户无关，后者与 阅读全文

摘要： 分为 （1）分别去3或5节点上去启动Zookeeper进程 （2）自己写个脚本，直接在主节点上去启动Zookeeper进程。 （1）分别去3或5节点上去启动Zookeeper进程 第一步： [hadoop@HadoopMaster zookeeper-3.4.6]$ pwd/home/hadoop/ 阅读全文

摘要： IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的，但功能较少，旗舰版提供了较多的功能，是收费的，可以试用30天。 强烈推荐，新手刚入门，可以去用社区版，但是，立马 阅读全文

摘要： 关于IDEA里如何多种方式打jar包，然后上传到集群的问题？ 前期准备，就是在，IDEA里，maven来创建项目。这里不多赘述。 1）用maven项目来打包，我推荐这个。 （强烈推荐，简单又快速） Spark编程环境搭建（基于Intellij IDEA的Ultimate版本） 而且，还可以改名。比如 阅读全文

摘要： 1节点 1 week110的zookeeper的安装 + zookeeper提供少量数据的存储 3节点 hadoop-2.6.0.tar.gz的集群搭建（3节点） hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建 5节点 hadoop-2.6.0.tar.gz的集群 阅读全文

摘要： Hive总结（七）Hive四种数据导入方式 （强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看） 把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入 把MySQL的导出数据导入到HDFS的最简单方法就是 阅读全文

摘要： 前言 说明的是，本博文，是在以下的博文基础上，立足于它们，致力于我的大数据领域！ http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http:// 阅读全文

摘要： select count(*)的思考 原文：MYSQL性能调优与架构设计 举例： 这里我们就拿一个看上去很简单的功能来分析一下。 需求：一个论坛帖子总量的统计 附加要求：实时更新 在很多人看来，这个功能非常容易实现，不就是执行一条SELECT COUNT(*)的Query 就可以得到结果了么？是的， 阅读全文

摘要： 用Hadoop构建电影推荐系统 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, O 阅读全文