chaplinthink

摘要： —更新2017年3月1日19:38:49—- 以下是Nat 网络设置，如果你想要同一局域网内的主机可以远程连接上你的集群环境，建议使用桥接模式，具体原因可看文末三种网络连接模式的区别。 由于之前设置集群的网络连接方式是NAT ,而IP是动态的。我采用的是自己的电脑搭建的环境，换了个连接网络的地方，i 阅读全文

摘要： 在网上找的hadoop for eclipse 插件都不能用，决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop，如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等。Hadoop版本：h... 阅读全文

摘要： 昨晚听了下Hulu大数据基础架构组负责人–董西成的关于大数据学习方法的直播，挺有收获的，下面截取一些PPT的关键内容，希望对正在学习大数据的人有帮助。 现状是目前存在的问题，比如找百度、查书这种学习方法，百度和书籍上面有很多知识已经过时，那么正确的学习办法是什么?后面有讲。 技术框架每层对应的技术： 阅读全文

摘要： 最近做项目，数据层使用的是MyBatis框架，在使用过程中，犯了一些错误: resultMap和resultType书写错误导致问题 resultMap和resultType二者用法不一样： resultType: <select id="count" parameterType="AreaDto" 阅读全文

摘要： 搭建此环境主要用来hadoop的学习，因此我们的操作直接在root用户下，不涉及HA。 Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sqoop-1.4.6-cdh5.5.2 JDK1.7.0_79 集群信息： 一个主节点，2个从节点。 阅读全文

摘要： Joins: Inner joins: hive> SELECT * FROM sales; Joe 2 Hank 4 Ali 0 Eve 3 Hank 2 hive> SELECT * FROM things; 2 Tie 4 Coat 3 Hat 1 Scarf 两个表Inner joins: 阅读全文

摘要： 分区和桶： 分区:可以提高查询的效率，只扫描固定范围数据，不用全部扫描 CREATE TABLE logs (ts BIGINT, lineSTRING) PARTITIONED BY (dt STRING, country STRING); 通过关键字PARTITIONED BY 定义分区表 LO 阅读全文

摘要： Hive建表： CREATE TABLE records (year STRING,temperature INT, quality INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 每行三列数据通过tab分隔，数据如果是以tab分隔的可被hi 阅读全文

摘要： 最近学习接触HBase的东西，看了《Habase in Action》，但里面关于HBase接口都是过时的接口，以下为HBase新的客户端接口： package com.n10k; import org.apache.hadoop.conf.Configured; import org.apache 阅读全文

摘要： NameNode存储文件系统的变化作为log追加在本地的一个文件里：这个文件是edits。当一个NameNode启动时，它从一个映像文件：FsImage，读取HDFS的状态，使用来自edits日志文件的 edits。然后它将写入新的HDFS状态到FsImage并开始平常操作，此时edits是一个空文 阅读全文