RICH-ATONE

spark连接mysql的几种方式

摘要： import java.util.Properties import org.apache.spark.sql.{DataFrameReader, SparkSession} object testMysql2 { def main(args: Array[String]): Unit = { // 阅读全文

posted @ 2020-10-27 14:58 RICH-ATONE 阅读(736) 评论(0) 推荐(0)

保存Hive查询结果到指定文件

摘要：一.保存结果到本地 1.这个方法最为常见,sql的查询结果将直接保存到/tmp/out.txt中 $ hive -e "select user, login_timestamp from user_login" > /tmp/out.txt 2.当sql脚本过多时，也可以使用 -f sql文件名，阅读全文

posted @ 2020-10-26 15:03 RICH-ATONE 阅读(2712) 评论(0) 推荐(0)

hive使用spark引擎的几种情况

摘要： https://www.cnblogs.com/lyy-blog/p/9598433.html 阅读全文

posted @ 2020-10-21 18:32 RICH-ATONE 阅读(214) 评论(0) 推荐(0)

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

摘要： mysql -hXXXX 后面的ipXXX地址换成机器别名试试阅读全文

posted @ 2020-10-21 16:31 RICH-ATONE 阅读(156) 评论(0) 推荐(0)

Hive的元数据库Mysql方式安装配置

摘要： https://cloud.tencent.com/developer/article/1010824 阅读全文

posted @ 2020-10-21 16:27 RICH-ATONE 阅读(147) 评论(0) 推荐(0)

Linux中软连接的使用

摘要：创建软链接 ln -s [源文件或目录] [目标文件或目录] 例如：当前路径创建test 引向/var/www/test 文件夹 ln –s /var/www/test test 创建/var/test 引向/var/www/test 文件夹 ln –s /var/www/test /var/te 阅读全文

posted @ 2020-10-19 17:03 RICH-ATONE 阅读(342) 评论(0) 推荐(0)

hive UDTF开发参考

摘要： https://daniel.blog.csdn.net/article/details/104020499?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_p 阅读全文

posted @ 2020-10-19 15:25 RICH-ATONE 阅读(167) 评论(0) 推荐(0)

hive中case when的两种使用方法

摘要：如下两种的表达效果是一样方法一： select tm ,count(tm) as times from (select case when single_times = '1' then 'one_time' when single_times = '2' then 'two_time' when 阅读全文

posted @ 2020-10-13 18:59 RICH-ATONE 阅读(15611) 评论(0) 推荐(0)

查看linux硬盘是否为固态硬盘

摘要： https://blog.csdn.net/qq_42303254/article/details/89317618 阅读全文

posted @ 2020-09-28 14:19 RICH-ATONE 阅读(445) 评论(0) 推荐(0)

集群监控

摘要： https://github.com/linkedin/dr-elephant 阅读全文

posted @ 2020-09-24 19:01 RICH-ATONE 阅读(175) 评论(0) 推荐(0)