文章分类 -  hadoop

摘要：Kettle版本：pdi-ce-8.2.0.0-342.zip Hive版本：apache-hive-2.3.0-bin.tar.gz Hadoop版本：hadoop-2.7.3.tar.gz Kettle关于Hadoop生态圈组件连接配置基本都在data-integration\plugins\p 阅读全文

摘要：https://blog.csdn.net/dec_sun/article/details/90274755（hive数据仓库的学习笔记） 最近工作中使用到了Hive, 并对Hive 的数据库，表完成创建。 创建的表为分区表，也涉及到了分区表 的按天动态增加分区。 代码组织结构： 创建数据库： cr 阅读全文

摘要：在搭建hadoop开发环境的时，配置的参数非常多，要怎么设定才能达到最好的效能是一件令人头痛的事，通过本文的分析使读者能对hadoop的参数配置有一个详细的了解，初步学会如何进行hadoop参数配置。 一、配置文件介绍 在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xm 阅读全文

摘要：hive 这里简单说明一下，好对大家配置hive有点帮助。hive是建立在hadoop上的，当然，你如果只搭建hive也没用什么错。说简单一点，hadoop中的mapreduce调用如果面向DBA的时候，那么问题也就显现了，因为不是每个DBA都能明白mapreduce的工作原理，如果为了管理数据而需 阅读全文

摘要：完全分布式模式： 前面已经说了本地模式和伪分布模式，这两种在hadoop的应用中并不用于实际，因为几乎没人会将整个hadoop集群搭建在一台服务器上（hadoop主要是围绕：分布式计算和分布式存储，如果以一台服务器做，那就完全违背了hadoop的核心方法）。简单说，本地模式是hadoop的安装，伪分 阅读全文

摘要：伪分布式模式： 这篇为大家带来hadoop的伪分布模式： 从最简单的方面来说，伪分布模式就是在本地模式上修改配置文件： core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4 思路简介 |——————————| | ①：ssh免密登陆 | 阅读全文

摘要：本地模式： 思路走向 |————————————————————| | ①：配置Java环境 | | ②：安装hadoop | | 1：解压hadoop | | 2：配置hadoop的环境 | | 3：修改hadoop-env.sh | | ③：hadoop的本地模式 | |———————————— 阅读全文