nohert

摘要： Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel 阅读全文

摘要： 进入myql 执行 show variables like 'character%'; 看到如下： 乱码原因，databases编码格式不一致导致的乱码，解决方法如下： 方法一： 执行如下两个命令即可： set character_set_database=utf8; set character_s 阅读全文

摘要： hive-site.xml添加以下参数： <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> < 阅读全文

摘要： 发展： hive-cli（hive） 是hive连接hivesever的命令行工具，从hive出生就一直存在，但随着hive功能的增强、bug的修复、版本升级，hive-cli结构的局限性跟不上hive的发展，如果强行更改就不能满足向下兼容，就出现了全新的beeline命令行结构，即就是hive-c 阅读全文

摘要： Sqoop常用参数： sqoop help： codegen 生成代码 create-hive-table 导入一个表的结构到hive，就是根据mysql中的表定义在hive中建一个同结构的表 eval 测试一个sql语句并展示查询结果 export 将一个hdfs目录中的数据导出到一个mysql的 阅读全文

摘要： ssh免密登录： 原理： 通过密钥认证登录，首先在自己的服务器上生成公钥和私钥，其次将公钥上传到远程服务中，在于远程服务器建立连接通信时，远程服务器首先会验证该服务器上是否包含请求服务器的公钥，若不包含则需要远程登录的用户输入密码。 步骤： mkdir ～/.ssh 1.如果没有~/.ssh文件夹， 阅读全文

摘要： 1.打开idea，选择new project,跳转至如下界面： 2.单击next 下一步，输入项目名称，单击finish完成 3.在项目main项目下新建scala目录，并新建文件，文件名称为 hello.scala 4.新建文件之后，进入helllo.scala文件，会弹出添加sdk，添加自己版本 阅读全文

摘要： Ctrl+Shift + Enter，语句完成 “！”，否定完成，输入表达式时按 “！”键 Ctrl+E，最近的文件 Ctrl+Shift+E，最近更改的文件 Shift+Click，可以关闭文件 Ctrl+[ OR ]，可以跑到大括号的开头与结尾 Ctrl+F12，可以显示当前文件的结构 Ctrl 阅读全文

摘要： 本次代码主要侧重为flink stream流解析cannal-json，经过多次实验，发现还是阿里的fastjson较为好用，故在此做记录 将依赖引入 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifact 阅读全文

摘要： 配置三台服务器时间同步 三台服务器地址如下： 192.168.10.10 做服务器时间 192.168.10.20 同步10 192.168.10.30 同步10 1. 在192.168.10.10机器上修改 ntp.conf文件， vim /etc/ntp.conf 在文件中添加 ： ##允许19 阅读全文