2020年9月1日
rsync命令 -- 虚拟机之间文件传输
摘要： [root@centos00 ~]# rsync -auvzr -e "ssh " install.log 192.168.255.255:/root/ The authenticity of host '192.168.255.255 (192.168.255.255)' can't be est 阅读全文
posted @ 2020-09-01 10:39 初入门径 阅读(409) 评论(0) 推荐(0)
2020年8月27日
Spark读取parquet文件
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-08-27 19:51 初入门径 阅读(2907) 评论(0) 推荐(1)
Spark -- UDF
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-08-27 13:26 初入门径 阅读(199) 评论(0) 推荐(0)
2020年8月19日
SparkSQL--内置函数--groupBy()-agg()
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-08-19 14:38 初入门径 阅读(3983) 评论(0) 推荐(0)
2020年8月17日
SparkSQL--内置函数-日期函数
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-08-17 22:58 初入门径 阅读(1690) 评论(0) 推荐(0)
2020年8月14日
case class和case object的区别
摘要： Microsoft Windows [版本 10.0.17763.1282] (c) 2018 Microsoft Corporation。保留所有权利。 c:\desktop>scala Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server 阅读全文
posted @ 2020-08-14 22:50 初入门径 阅读(572) 评论(0) 推荐(0)
Dataset操作--去重
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-08-14 22:14 初入门径 阅读(404) 评论(0) 推荐(0)
2020年7月28日
查询MySQL表中重复的记录
摘要： SELECT * FROM (SELECT id, name, age, count(*) sum FROM person GROUP BY id, name, age) WHERE sum > 1; 阅读全文
posted @ 2020-07-28 21:14 初入门径 阅读(164) 评论(0) 推荐(0)
2020年7月27日
SCP命令
摘要： ##从服务器下载文件至本地 C:\Users\>scp -r author@192.162.125.8:/home/author/data/sample.txt C:\Users\Desktop\ ##从本地上传文件至服务器 C:\Users\>scp -r C:\Users\Desktop\sam 阅读全文
posted @ 2020-07-27 19:25 初入门径 阅读(237) 评论(0) 推荐(0)
Notepad++结合正则表达式操作文本
摘要： 换行符 \r\n ↲ <回车><换行> Windows \r ← <回车>(光标到行首) Mac \n ↓ <换行> Unix Notepad++查找快捷键 CTRL+F Notepad++替换快捷键 CTRL+H 1.删除空白行 ^[\r\n]+ 2.删除行尾空格和空白行 \s+$ 3.删除行首空 阅读全文
posted @ 2020-07-27 18:32 初入门径 阅读(298) 评论(0) 推荐(1)