2018 年 4月 26 日随笔档案 - J'KYO

2018年4月26日

摘要： sqoop导出到mysql中文乱码问题总结、utf8、gbk 今天使用sqoop1.4.5版本的（hadoop使用cdh5.4）因为乱码问题很是头痛半天。下面进行一一总结命令： [root@sdzn-cdh01 etc]# sqoop export --connect "jdbc:mysql:// 阅读全文

posted @ 2018-04-26 18:00 J'KYO 阅读(1393) 评论(0) 推荐(0)

Hive 的查询结果直接导入到 MySQL 中的方法

摘要：步骤一： hive> add jar /setup/hive/lib/mysql-connector-java-5.1.25-bin.jar; hive> add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; 步骤二： hive> CR 阅读全文

posted @ 2018-04-26 17:25 J'KYO 阅读(3890) 评论(0) 推荐(0)

测试Linux端口的连通性的四种方法

摘要： Linux系统有时候需要测试某个端口的连通性，用户可以参考如下方法来测试。方法一、telnet法 telnet为用户提供了在本地计算机上完成远程主机工作的能力，因此可以通过telnet来测试端口的连通性，具体用法格式： telnet ip port 说明： ip：是测试主机的ip地址 port：是阅读全文

posted @ 2018-04-26 17:01 J'KYO 阅读(2617) 评论(0) 推荐(0)

将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式

摘要： https://blog.csdn.net/niityzu/article/details/45190787 交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果阅读全文

posted @ 2018-04-26 16:39 J'KYO 阅读(18716) 评论(0) 推荐(0)

hive基本结构与数据存储

摘要：一、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。还可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 HQL。使用hive的优点是学习成本低，可阅读全文

posted @ 2018-04-26 16:37 J'KYO 阅读(5550) 评论(0) 推荐(0)

使用sqoop从Oracle或mysql抽取数据到HDFS遇到的报错及解决

摘要：一、参考文档： 1、https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2、http://www.cnblogs.com/bjt 阅读全文

posted @ 2018-04-26 16:22 J'KYO 阅读(3823) 评论(0) 推荐(0)

Sqoop导入关系数据库到Hive

摘要：参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hive 参考：segmentfault.com：Sqoop导入关系数据库到Hiv 阅读全文

posted @ 2018-04-26 14:38 J'KYO 阅读(795) 评论(0) 推荐(0)

Hive常见问题汇总

摘要：参考资料： Hive常见问题汇总啟動hive出錯，提示沒有權限啟動hive出錯，提示沒有權限 2015年04月02日 09:58:49 阅读数：31769 2015年04月02日 09:58:49 阅读数：31769 阅读数：31769 这里小编汇集，使用Hive时遇到的常见问题。 1，执行#h 阅读全文

posted @ 2018-04-26 14:32 J'KYO 阅读(808) 评论(0) 推荐(0)