摘要：标签（空格分隔）： Hadoop Hive hwi 1.Hive简介   之前我一直在Maxcompute上进行大数据开发，所以对数仓这块还算比较了解，在接受Hive的时候基本上没什么大的障碍。所以，有需求用到hive的同学，应该对数据仓库相关概念以及数仓设计模型有了大致的了解了 阅读全文

摘要：MapReduce几个小应用 上篇文章已经介绍了怎么去写一个简单的MR并且将其跑起来，学习一个东西动手还是很有必要的，接下来我们就举几个小demo来体验一下跑起来的快感。 demo链接请参照附件：http://files.cnblogs.com/files/wangkeustc/demo.tar.g 阅读全文

摘要：前言 好几天没有更新了，本来是应该先写HDFS的相关内容，但是考虑到HDFS是我们后面所有学习的基础，而我只是简单的了解了一下而已，后面准备好好整理HDFS再写这块。所以大家在阅读这篇文章之前，请先了解HDFS的相关基本概念。 本次搭建是手动在三台机器上搭建的，后续会尝试用docker或者apach 阅读全文

摘要：mapreduce是一种计算模型，是google的一篇论文向全世界介绍了MapReduce。MapReduce其实可以可以用多种语言编写Map或Reduce程序，因为hadoop是java写的，所以通常情况下我们都是选择java编程语言。其实mr的编写格式或者说语法要求很简单，其实复杂的是我们要学会 阅读全文

摘要：前言 本人是由java后端转型大数据方向，目前也有近一年半时间了，不过我平时的开发平台是阿里云的Maxcompute，通过这么长时间的开发，对数据仓库也有了一定的理解，ETL这些经验还算比较丰富。但是由于Maxcompute是一个更简单的大数据开发平台，导致个人在分布式计算的底层一些知识比较薄弱，所 阅读全文