01 2021 档案

导出mysql数据库表中的部分字段
摘要：【思路】先把要导出的字段建立一张新表，然后将就表中要到处的字段数据复制到新表中，最后将新表中的字段全量导出即可。 1、将要导出的字段建立一个新表e_inv_investment_new ，如要导出字段 eid、inv_eid、inv、subconam 建表： 2、利用sql将旧表 e_inv_inv 阅读全文
posted @ 2021-01-14 15:51 大数据程序员 阅读(1208) 评论(0) 推荐(0)
mySQL--left join、right join和join的区别
摘要：left join、join、right join和inner join等等各种join的区别如下： 真的是一张图道清所有join的区别啊，可惜我还是看不懂，可能人比较懒，然后基本一个left join给我就是够用的了，所以就没怎么去仔细研究了，但是现实还是逼我去搞清楚，索性自己动手，总算理解图中的 阅读全文
posted @ 2021-01-14 11:03 大数据程序员 阅读(593) 评论(0) 推荐(0)
mysql--使用COALESCE()函数实现在多个值中选择一个值
摘要：COALESCE()函数 主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下： COALESCE ( expression,value1,value2……,valuen) COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个 阅读全文
posted @ 2021-01-13 19:21 大数据程序员 阅读(445) 评论(0) 推荐(0)
将mysql中数据导入到hive中，并用HQL验证是否导入成功
摘要：【上传的前提条件是启动集群的高可用、启动mysql、启动Hive】 1、在hive中建表（尽量与mysql字段对应） 2、将mysql中的表导出 txt格式 3、将导出的文件先放到虚拟机上，然后从虚拟机上再上传到HDFS上 3.1 将文件放到虚拟机上 3.2 将文件从虚拟机上再上传到HDFS 查看是 阅读全文
posted @ 2021-01-12 15:01 大数据程序员 阅读(387) 评论(0) 推荐(0)
mysql到hive数据类型转换
摘要：1.类型映射关系 mysql和hive中的数据类型存在差异，在mysql集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和mysql结构一致的表。 mysql到hive数据类型映射参考如下： 2.问题注意 1.问题： 用公司的大数据平台（DataX）导数 阅读全文
posted @ 2021-01-12 10:18 大数据程序员 阅读(4566) 评论(0) 推荐(0)
Hadoop中连接hive的步骤
摘要：Hadoop中连接hive的步骤 1、启动，连接mysql 先执行 service mysqld start ，再执行 mysql -uroot -p ，输入数据库密码 2、启动 hive 服务端程序 进入/opt/hive-1.2.1/conf/，执行hive --service metastor 阅读全文
posted @ 2021-01-11 20:12 大数据程序员 阅读(1467) 评论(0) 推荐(0)
Hadoop--连接mysql报错
摘要：【报错信息】 【报错原因】连接之前没有开启mysql服务 【解决方案】先执行 service mysqld start ，再执行 mysql -uroot -p ，输入数据库密码 连接成功！ 查看数据库： 阅读全文
posted @ 2021-01-11 18:50 大数据程序员 阅读(433) 评论(0) 推荐(0)
MapReduce中，启动主类时，user用户出现乱码
摘要：MapReduce中，启动主类时，user用户出现乱码： org . apache . hadoop . security . AccessControLException: Permission denied: user=Euo", access=WRITE, inode=" /data/rela 阅读全文
posted @ 2021-01-11 17:21 大数据程序员 阅读(138) 评论(0) 推荐(0)