摘要：1. 创建数据库，切换数据库 2. 创建管理表 3. 创建外部表 创建外部表时直接指定表位置 上传数据文件到指定路径 在hive中创建数据表指定location 4. 创建分区表 注：分区字段不能与表中其他字段重复，否则报错 FAILED: SemanticException [Error 1003 阅读全文

摘要：Flume基本操作 1.把Telnet产生的内容写入到控制台显示 a.conf内容如下： 2.把hive中产生的log写入到hdfs flume-hive.conf内容如下： 如果是HA架构需要把HA的core-site.xml与hdfs-site.xml放入到/opt/modules/cdh/fl 阅读全文

摘要：案例： 1. 把原始log数据加载到表beifenglog中； 2. 建立子表beifenglog_hour_visit，存贮常用字段，并从原表中提取数据到子表中； 3. 提取原表数据过程中，使用UDF处理字段信息，存储到子表中； 1. 把原始log数据加载到表beifenglog中； 加载原表数据 阅读全文

摘要：sqoop基本操作 1. 查询mysql中的数据库 2. import从mysql中导入数据到hdfs 注：--direct不能同时与 --as-sequencefile --as-avrodatafile --as-parquetfile连用 Parameters --as-sequencefil 阅读全文