沙漏哟   计算机的未来在于联结

摘要： 一、hive的压缩 1. hadoop的压缩 1）为什么需要压缩 MapReduce的性能瓶颈：网络IO、磁盘IO 数据量：对于MapReduce的优化，最主要、根本就是要能够减少数据量 Combiner：减少跨网络传输的数据量 压缩：将数据量减少，但是需要消耗CPU计算功能 2）哪些地方可以压缩 阅读全文

摘要： 一、Hive的JDBC连接 日志分析结果数据，存储在hive中 hive.server2.thrift.bind.host 如果需要远程连接，则改成主机名beifeng-hadoop-02,或者0.0.0.2（表示任何主机都可以连接） hiveserver2进程的启动:nohup hiveserve 阅读全文

摘要： 一、 第二阶段课程回顾 hadoop 2.x HDFS YARN MapReduce Zookeeper Hive 二、大数据协作框架 对日志类型的海量数据进行分析 hdfs mapreduce/hive 1. 数据来源 （1）RDBMS（Oracle、MySQL、DB2...） -> sqoop（ 阅读全文

摘要： https://cwiki.apache.org/confluence/display/Hive/LanguageManual 一、创建表 二、函数 show functions; describe function extended upper; select id, upper(name) fr 阅读全文

摘要： 一、Hive基本概念、安装部署与初步使用 1. 后续课程 Hive 项目：hadoop hive sqoop flume hbase 电商离线数据分析 CDH Storm：分布式实时计算框架 Spark： 2. 如何学习大数据技术 上课时候，认真听，勤做笔记； 遇到难理解的概念，马上记录下来； 课后 阅读全文

摘要： 7.16 一、回顾 二、HDFS Federation（联盟） Hadoop 2.2.0发布新特性 很多的大公司都在使用：BAT HDFS Federation + HDFS HA架构 互相隔开，但是数据存储共用 1、新特性介绍 ViewFs Guide 视图文件系统 HDFS Snapshots 阅读全文

摘要： 一、配置Linux （1）cat /etc/networks （2）cat /etc/sysconfig/network （3）vi /etc/udev/rules.d/70-persistent-net.rules eth1 改为eth0 （4）vi /etc/sysconfig/network- 阅读全文

摘要： 一、分布式集群安装1. Hadoop模式本地模式、伪分布模式、集群模式datanode 使用的机器上的磁盘，存储空间nodemanager使用的机器上的内存和CPU(计算和分析数据) 2. 搭建环境准备工作（1）克隆虚拟机，达到3台机器，分布式的架构即可重新搭建一个hadoop环境（2）克隆完成后， 阅读全文

摘要： 一、MapReduce编程模型1. 中心思想： 分而治之2. map(映射)3. 分布式计算模型，处理海量数据4. 一个简单的MR程序需要制定map()、reduce()、input、output5. 处理的数据放在input中、处理的结果放在output中6. MR程序>八股文7. MR在处理数据 阅读全文

摘要： 1. Hadoop 64位centos 下编译 hadoop 2.6.0 源码 2. 学习问题汇总 hadoop多次格式化后，导致datanode启动不了 3. HDFS Hadoop中NameNode存储的元数据记录和NameNode的启动过程 存储在HDFS上的文件，存储机制及数据安全性如何保证 阅读全文