剑来

摘要： 客户端连接hive [root@bigdata-02 bin]# ./beeline Beeline version 1.2.1 by Apache Hive beeline> ! connect jdbc:hive2://bigdata-01:10000 Connecting to jdbc:hive2://bigdata-01:10000 Enter username for jdbc... 阅读全文

摘要： 简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供类 SQL 查询功能。 本质是将 SQL 转换为 MapReduce 程序。 主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高。Hive 利用 HDFS 存储数据，利用 阅读全文

摘要： MapReduce的序列化 序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。 当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要 阅读全文

摘要： 简介 Hadoop MapReduce是一个分布式运算编程框架，基于该框架能够容易地编写应用程序，进而处理海量数据的计算。 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想；Map 负责"分"，即把复杂的任 阅读全文

摘要： HDFS的JAVA API操作 HDFS 在生产应用中主要是客户端的开发，其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS 上的文件。 创建 Maven工程，引入 pom依赖： 配置Windows平台的Hadoop环境 在 阅读全文

摘要： HDFS 基本 原理 1，为什么选择 HDFS 存储数据 之所以选择 HDFS 存储数据，因为 HDFS 具有以下优点： 1、高容错性 数据自动保存多个副本。它通过增加副本的形式，提高容错性。 某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。 数据自动保存多个副本 阅读全文

摘要： 1 ． HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机 阅读全文

摘要： 简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它的核心组件有HDFS（分布式文件系统）解决海量数据存储、YARN（作业调度和集群资源管理框架）解决资源任 阅读全文

摘要： 概述： 代理模式（Proxy Pattern），23种常用的面向对象软件的设计模式之一。为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。 组成： 抽象角色，一般是接口，声明具体业务方法 代理角色 阅读全文

摘要： 概述： 装饰模式（Decorator Pattern） 又叫装饰者模式；装饰模式指的是在不必改变原类文件和使用继承的情况下，动态地扩展一个对象的功能。它是通过创建一个包装对象，也就是装饰来包裹真实的对象。 重点（参与者） ： Component 被装饰对象的基类 ConcreteComponent 阅读全文