06 2021 档案

sqoop工具使用办法
摘要：sqoop底层没有reducer 只有n个mapper --显示sqoop连接到的数据库列表sqoop list-databases --connect jdbc:mysql://Ava01:3306 -username root -password 123456--sqoop import dat 阅读全文
posted @ 2021-06-30 16:15 超级无敌小剑 阅读(203) 评论(0) 推荐(0)
kafka简单数据流
摘要： 阅读全文
posted @ 2021-06-29 22:50 超级无敌小剑 阅读(35) 评论(0) 推荐(0)
Hbase笔记
摘要：Hbase操作: --namespace --修改或者增加属性 hbase> alter_namespace 'ns1', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'} --删除属性 alter_namespace 'ns1', {ME 阅读全文
posted @ 2021-06-29 22:40 超级无敌小剑 阅读(159) 评论(0) 推荐(0)
Flume简单的数据流V2
摘要：Flume数据流: 阅读全文
posted @ 2021-06-24 11:52 超级无敌小剑 阅读(60) 评论(0) 推荐(0)
Flume笔记
摘要：Flume文档:Flume 1.9.0 用户指南 — Apache Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume包含四个组件Agent --JVM进程 包含下面三个Source -- 读取 阅读全文
posted @ 2021-06-23 19:57 超级无敌小剑 阅读(143) 评论(0) 推荐(0)
大数据组件报错集合
摘要：Error while making broker the follower for partition Topic: __consumer_offsets; kafka Malformed line in checkpoint file kafka集群第二台机器没起来 原因是突然断电没有缓存好of 阅读全文
posted @ 2021-06-23 18:51 超级无敌小剑 阅读(163) 评论(0) 推荐(0)
maven的pom.xml
摘要：<!--简单一个父类的pom笔记--> <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch 阅读全文
posted @ 2021-06-21 19:39 超级无敌小剑 阅读(80) 评论(0) 推荐(0)
简单梳理一下Hive笔记
摘要：1.Hive 简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。HIve本质就是将HQL转换成MapReduce程序,也有其他的上级替代引擎比如spark和Tez 2. 阅读全文
posted @ 2021-06-21 19:38 超级无敌小剑 阅读(205) 评论(0) 推荐(0)