mephisto’blog

二人行,也有吾师!
Fork me on GitHub

随笔分类 -  01.Hadoop

摘要:上一篇,我们介绍Impala的相关操作。    下面我们开始继续进一步的了解Impala的相关操作。 阅读全文
posted @ 2017-10-26 09:43 sinodzh 阅读(1654) 评论(0) 推荐(2) 编辑
摘要:上一篇,我们介绍Impala的介绍及安装。    下面我们开始继续进一步的了解Impala的相关操作。 阅读全文
posted @ 2017-07-31 10:10 sinodzh 阅读(2189) 评论(2) 推荐(2) 编辑
摘要:上一篇,我们讲述了HBase的协处理器。    下面我们开始介绍Impala的介绍及安装。 阅读全文
posted @ 2017-05-31 10:42 sinodzh 阅读(1635) 评论(4) 推荐(3) 编辑
摘要:在cdh集成的solr cloud中,我们可以通过solr管理界面进行查询,也可以通过java的api进行查询,但查询过程中,如果是时间类型的,可能会存在两者在界面上看上去不一致的问题,两者时间刚好相差本地的时区。 阅读全文
posted @ 2017-02-16 10:06 sinodzh 阅读(1509) 评论(0) 推荐(0) 编辑
摘要:从0.92版本开始,HBase加入了协处理器(coprocessors),利用协处理器,用户可以编写运行在 HBase Server 端的代码。可以实现“二级索引”,求和、计数、排序、过滤等server端操作。 阅读全文
posted @ 2016-12-14 14:36 sinodzh 阅读(1611) 评论(3) 推荐(3) 编辑
摘要:上一篇,我们讲述了HBase的数据模型相关操作的上部分。    下面我们开始介绍HBase的数据模型相关操作的下部分。 阅读全文
posted @ 2016-10-20 13:58 sinodzh 阅读(1179) 评论(4) 推荐(2) 编辑
摘要:上一篇,我们讲述了HBase的介绍及安装,从列图和引用的方式,列举的HBase能做什么及一些特点,也截图了HBase的安装过程。   下面我们开始介绍HBase的数据模型相关操作,该部分内容较多,分成两个部分。 阅读全文
posted @ 2016-09-27 14:01 sinodzh 阅读(1212) 评论(1) 推荐(1) 编辑
摘要:上一篇,我们讲述了Hive的CLI和JDBC,从编程和使用的角度进入了Hadoop生态。这里就介绍下Hadoop DataBase,简称HBase。   下面我们开始介绍HBase的介绍及安装。 阅读全文
posted @ 2016-09-20 10:07 sinodzh 阅读(1204) 评论(0) 推荐(1) 编辑
摘要:有时候,在装Linux的时候,看到默认的HostName就像改掉,那能不能随意的改掉了?在一次随意的改动中,体会到这个的痛楚。 下面就这种场景进行描述。 阅读全文
posted @ 2016-05-16 10:42 sinodzh 阅读(2926) 评论(0) 推荐(2) 编辑
摘要:在实际部署过程中,Hadoop中服务器节点之间需要时间同步,但Hadoop集群可能需要和其他业务系统的时间进行同步,那么就会存在其他偶尔发生的问题。 下面就这种场景进行描述。 阅读全文
posted @ 2016-04-21 13:08 sinodzh 阅读(1852) 评论(0) 推荐(0) 编辑
摘要:在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一个hdfs目录权限的问题。 下面就这个权限问题进行阐述。 阅读全文
posted @ 2016-02-29 10:29 sinodzh 阅读(2892) 评论(5) 推荐(1) 编辑
摘要:该文章主要作为Hadoop技巧系列文章的索引,方便大家阅览。 阅读全文
posted @ 2016-02-26 10:37 sinodzh 阅读(1687) 评论(0) 推荐(0) 编辑
摘要:上一篇,我们对hive的数据导出,以及集群Hive数据的迁移进行描述。了解到了基本的hive导出操作。这里,我们将对hive的CLI及JDBC这些实用性很强的两个方便进行简要的介绍。 下面我们开始介绍hive的CLI和JDBC。 阅读全文
posted @ 2016-02-04 08:42 sinodzh 阅读(3407) 评论(0) 推荐(4) 编辑
摘要:上一篇,我们介绍了Hive的数据多种方式导入,这样我们的Hive就有了数据来源了,但有时候我们可能需要纯粹的导出,或者集群Hive数据的迁移(不同集群,不同版本),我们就可以通过这两章的知识来实现。   下面我们开始介绍hive的数据导出,以及集群Hive数据的迁移进行描述。 阅读全文
posted @ 2016-01-19 13:25 sinodzh 阅读(8564) 评论(0) 推荐(2) 编辑
摘要:上一篇,我们介绍了Hive的表操作做了简单的描述和实践。在实际使用中,可能会存在数据的导入导出,虽然可以使用sqoop等工具进行关系型数据导入导出操作,但有的时候只需要很简便的方式进行导入导出即可   下面我们开始介绍hive的数据导入,导出,以及集群的数据迁移进行描述。 阅读全文
posted @ 2016-01-08 10:06 sinodzh 阅读(4332) 评论(0) 推荐(2) 编辑
摘要:上一篇,我们介绍了Hive和对其进行了安装,下面我们就初步的使用hive进行讲解。   下面我们开始介绍hive的创建表,修改表,删除表等。 阅读全文
posted @ 2015-12-08 06:52 sinodzh 阅读(2469) 评论(4) 推荐(2) 编辑
摘要:本系列已经有一个多月没更新了,期间涉及到找相关对应的工作,所幸的事,得到了几个offer,后来综合考虑来到了目前这家工作。希望在接下来的时间里,能融入整个社区中去,做出自己略微的贡献。 上一篇,我们列举了hadoop常用的命令,本应该给大家实战下命令的使用的,后来还是想大家自己下去试验试验,接下来开始初略介绍hadoop生态圈中的hive。   下面我们开始介绍hive的介绍及安装。 阅读全文
posted @ 2015-12-07 10:36 sinodzh 阅读(2364) 评论(1) 推荐(4) 编辑
摘要:上一篇,我们对Hadoop命令中的HDFS Commands进行了简略的列举,下面我们就MapReduce Commands和Yarn Commands进行简略的列举,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅。   下面,我们就开始对Hadoop命令下进行讲解。 阅读全文
posted @ 2015-10-14 09:26 sinodzh 阅读(1922) 评论(0) 推荐(4) 编辑
摘要:上一篇,我们对Hadoop命令进行了简略的列举,但是Hadoop命令特多,还有一部分没有列举完,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅。   下面,我们就开始对Hadoop命令中进行讲解。 阅读全文
posted @ 2015-10-13 08:42 sinodzh 阅读(2329) 评论(0) 推荐(7) 编辑
摘要:上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传,删除等,下面我们熟悉下Hadoop命令,从而更能直接,强力的对Hadoop进行操作。   下面,我们就开始对Hadoop命令进行粗略的解析。本文有些地方是自己翻译的,翻译的不好望见谅。本章节内容较多,还是分为上下两部分。 阅读全文
posted @ 2015-10-12 09:38 sinodzh 阅读(4793) 评论(1) 推荐(9) 编辑