哦心有

摘要： 之前没有系统了解过hive，今天了解一些hive知识 Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而 STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据 类型允许任意 阅读全文

摘要： 今天学习mapreduce 编程规范： 1．Mapper阶段 （1）用户自定义的Mapper要继承自己的父类 （2）Mapper的输入数据是KV对的形式（KV的类型可自定义） （3）Mapper中的业务逻辑写在map()方法中 （4）Mapper的输出数据是KV对的形式（KV的类型可自定义） （5） 阅读全文

摘要： 描述： 样表（sales_sample_20170310）字段说明： day_id 日期编号； sale_nbr 卖出方代码； buy_nbr 买入方代码； cnt 数量 round 金额 卖出方和买入方又分为 3 种类型： 以'C'开头的表示类型为 C，代表“航空公司”，只可以卖出，不可以买入； 阅读全文

摘要： Hadoop和HDFS基础测试： 测试题目1： Hadoop操作 使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop” 接着在HDFS的目录“/user/ha 阅读全文

摘要： 今天学习MapReduce 核心思想： （1）分布式的运算程序往往需要分成至少 2 个阶段。 （2）第一个阶段的 MapTask 并发实例，完全并行运行，互不相干。 （3）第二个阶段的 ReduceTask 并发实例互不相干，但是他们的数据依赖于上一个阶段 的所有 MapTask 并发实例的输出。 阅读全文

摘要： 今天学习MapReduce的一些基础 .1 MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一 阅读全文

摘要： 今天学习hdfs DataNode 节点保证数据完整性的方法。 （1）当 DataNode 读取 Block 的时候，它会计算 CheckSum。 （2）如果计算后的 CheckSum，与 Block 创建时值不一样，说明 Block 已经损坏。 （3）Client 读取其他 DataNode 上的 阅读全文

摘要： 今天熟悉HBASE使用 使用hbaseapi 代码： package test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase 阅读全文

摘要： 今天进行HDFSAPI操作文件 代码： package com.zhao.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import 阅读全文

摘要： 今天学习HDFS [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH 阅读全文