2018年11月27日

利用sqoop指定列指定条件的方式将数据从mysql中增量导入hive表中

摘要: 1、sqoop增量(指定列指定条件的方式增量导入hive表中)导入hive脚本 #!/bin/bash #Set the RDBMS connection params rdbms_ip=$1 rdbms_connect="jdbc:mysql://${rdbms_ip}:**/*******?us 阅读全文

posted @ 2018-11-27 15:18 小诺宝宝 阅读(2173) 评论(0) 推荐(0)

记录几个sqoop任务执行中遇到的错误

摘要: sqoop报错 1. sqoop将mysql中的数据导入到hive中 报错:Hive does not support the SQL type for column ssl_cipher 原因:报这个错是因为hive不支持mysql表中某些字段的类型 解决:--map-column-hive ss 阅读全文

posted @ 2018-11-27 15:09 小诺宝宝 阅读(3819) 评论(0) 推荐(0)

2018年10月31日

卿卿佳人

摘要: 卿卿佳人 王之子 卿卿佳人,遇在春晚;邂逅黄昏,情谊嫣然; 同游西湖,多情画面;蓦然莞尔,我心微颤; 卿卿佳人,别时秋寒;爱无端起,梦醒凭栏; 我自无知,惹卿心寒;此生无分,空留遗憾; 卿卿佳人,来生未远;执卿之手,时光荏苒; 愿卿安好,莫忘终言;百年光景,再续前缘。 阅读全文

posted @ 2018-10-31 17:20 小诺宝宝 阅读(675) 评论(0) 推荐(0)

2018年10月23日

贴一个idea的破解教程,绝对可用,亲测

摘要: 自行下载ideaIU-2017.3.2.win.zip安装包 先附上所需要的jar包文件下载地址: 链接:https://pan.baidu.com/s/1r3tqvqFCai3xCGIjbZvDXw 提取码:jwyi 破解步骤如下: 1. 解压idea安装包,把下载好的 JetbrainsCrac 阅读全文

posted @ 2018-10-23 16:51 小诺宝宝 阅读(664) 评论(0) 推荐(0)

2018年10月12日

利用sqoop1实现大数据平台与关系型数据库之间数据交互,一些简单的例子

摘要: 前提安装好sqoop1,并配置好环境变量 下边贴一点简单的例子: 1.sqoop从hdfs 中导出数据到mysql sqoop export \ --connect "jdbc:mysql://192.168.1.148:3306/sqoop?useUnicode=true&characterEnc 阅读全文

posted @ 2018-10-12 14:04 小诺宝宝 阅读(745) 评论(0) 推荐(0)

开启Hadoop集群组件等一些常用命令(自己备用)

摘要: #开启hdfs和yarn cd /opt/modules/hadoop-2.6.0-cdh5.9.0/sbin ./start-all.sh #开启zookeeper cd /opt/modules/zookeeper-3.4.5-cdh5.9.0/bin ./zkServer.sh start # 阅读全文

posted @ 2018-10-12 13:38 小诺宝宝 阅读(345) 评论(0) 推荐(0)

新入坑,贴一点自己学git的笔记,多多指教

摘要: 刚入坑,刚接触git,自己搜搜,总结了一下,总算能把代码拉下来了! 贴一点自己的总结(拉取上传代码及一些其他指令),望指正: 如何拉取代码到本地目录: 前提是安装好Git,在GitHub上注册一下账号 在本地创建好文件夹,右击Git Bash here: 然后在bash命令行输入指令: git cl 阅读全文

posted @ 2018-10-12 11:24 小诺宝宝 阅读(212) 评论(0) 推荐(0)

导航