私人小院

摘要： 1. 触发报错 1. 连接beeline 执行命令 : Connecting to jdbc:hive2://node1:10000/default 2. 报错信息 [root@gaocun bin]# beeline -u jdbc:hive2://gaocun:10000/default -n 阅读全文

摘要： 1. 触发报错 1. hive 启动 2. 初始化元数据库(derby) bin/schematool -dbType derby -initSchema 2. 报错信息 Exception in thread "main" java.lang.NoSuchMethodError: com.goog 阅读全文

摘要： 1. 什么是三范式-- 设计关系型数据库表时,要想设计一个好的关系,必须使关系满足 一定的约束条件,这些约束条件就是 范式2.为什么设计数据库要遵循 范式 -- 1. 使数据库简洁、结构明晰 -- 2. 不会发生插入、删除、更新操作带来的异常 -- 3. 避免数据冗余3. 范式的种类 -- 第一范式 阅读全文

摘要： ps 1. 什么进程 程序(例如 二进制文件-binary file)被触发后 执行者的权限 与 属性、程序的代码及所需要的数据都会被加载到内存中 操作系统会给予这个内存单元一个标识符(PID) 可以说进程就是真正运行的程序 当我们执行一个程序时,对于操作系统来讲就是创建了一个进程,在这个过程中,伴 阅读全文

摘要： 1. 输入数据接口 ：InputFormat 1. 默认使用的实现类 ：TextInputFormat 一次读取一行文本,该行的起始偏移量为key,行内容为value 2. CombineTextInputFormat 可以将多个小文件合并成一个切片处理,提高处理效率 3. 博客连接 https:/ 阅读全文

摘要： package MapFilterPk { import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path} import org.apache. 阅读全文

摘要： 1. 需求描述 订单数据表 : t_order表 id 订单id pid 产品id amount 产品数量 id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 商品信息表 : t_product表 pid 阅读全文

摘要： 1. MapTask 工作机制 1. 流程图 2. 流程说明 源码 2. 流程说明 1. Read阶段 2. Map阶段 3. Collect收集阶段 4. Split阶段(溢写阶段) 5. Merge阶段 MapTask 通过 InputFormat 获取 RecodeReader 并从 输入的切 阅读全文

摘要： 1. 说明 2. 常用实现类 3. 使用 自定义 OutputFormat类 步骤1 自定义 FileOutputFormat类 继承 FileOutputFormat 重写 getRecordWriter方法 步骤2 自定义 RecordWriter类 继承 RecordWriter 1. 创建 阅读全文

摘要： 1. 说明 2. 指定 合并器 // 指定 合并器 public void setCombinerClass(Class<? extends Reducer> cls ) throws IllegalStateException { ensureState(JobState.DEFINE); // 阅读全文