2020年9月17日
行转列
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-17 19:53 初入门径 阅读(156) 评论(0) 推荐(0)
正则表达式
摘要： ①不包含~ 匹配不包含字符串「abc」的行 ^(?!.*abc).*$ ②不包含~或者~ 匹配不包含字符串「abc」或者「efg」的行 ^(?!.*(abc|efg)).*$ ③不以~为开始 匹配不以字符串「abc」为开始的行 ^(?!abc).*$ ④不以~为结束 匹配不以字符串「abc」为结束的 阅读全文
posted @ 2020-09-17 18:48 初入门径 阅读(166) 评论(0) 推荐(0)
2020年9月14日
SparkSQL内置函数 -- countDistinct
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-14 12:02 初入门径 阅读(2653) 评论(0) 推荐(0)
SparkSQL内置函数 -- when otherwise
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-14 11:48 初入门径 阅读(2476) 评论(0) 推荐(0)
2020年9月13日
Spark读取avro格式数据
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/spark-2.2.1-cdh5.14.2/jars [root@centos00 jars]$ pwd /opt/cdh5.14.2/spark-2.2.1-cdh5.14.2/jars [root@centos00 jar 阅读全文
posted @ 2020-09-13 15:49 初入门径 阅读(1281) 评论(0) 推荐(1)
2020年9月8日
Spark集成Kudu(Spark shell)
摘要： [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start datan 阅读全文
posted @ 2020-09-08 12:09 初入门径 阅读(442) 评论(0) 推荐(0)
2020年9月7日
Spark集成Kudu(IntelliJ IDEA)
摘要： package spark.demo import org.apache.spark.sql.{DataFrame, SparkSession} import org.apache.kudu.spark.kudu._ /** * <dependency> * <groupId>org.apache. 阅读全文
posted @ 2020-09-07 21:49 初入门径 阅读(333) 评论(0) 推荐(0)
2020年9月6日
通过Impala创建Kudu表
摘要： # cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ # sbin/hadoop-daemon.sh start namenode # sbin/hadoop-daemon.sh start datanode # sbin/yarn-daemon.sh start 阅读全文
posted @ 2020-09-06 10:30 初入门径 阅读(1374) 评论(0) 推荐(0)
2020年9月2日
String类型的时间戳转化为Timestamp类型的时间戳
摘要： package spark.demo import java.sql.Timestamp object Transaction{ def main(args: Array[String]): Unit = { val s: String = "2020-09-02 15:00:00" val t: 阅读全文
posted @ 2020-09-02 13:33 初入门径 阅读(4389) 评论(0) 推荐(0)
2020年9月1日
SparkSQL -- 内置函数 - max, min, filter, orderBy
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos 阅读全文
posted @ 2020-09-01 15:01 初入门径 阅读(2565) 评论(0) 推荐(0)