2020年9月18日
【Scala】Scala中指定参数类型为函数的方法 -- 高阶函数
摘要： 高阶函数的基本构成 def 方法名(函数名: (函数的参数类型) => 函数的返回值类型) { 处理的具体内容 } 案例 package com.spark.demo object HigherOrderFunction { def main(args: Array[String]): Unit = 阅读全文
posted @ 2020-09-18 16:47 初入门径 阅读(531) 评论(0) 推荐(0)
行转列
摘要： /* Navicat MySQL Data Transfer Source Server : localhost Source Server Version : 50527 Source Host : localhost:3306 Source Database : mydb Target Serv 阅读全文
posted @ 2020-09-18 10:15 初入门径 阅读(433) 评论(0) 推荐(0)
2020年9月17日
行转列(二)
摘要： scala> val df = Seq(1.to(5).mkString(",")).toDF("number") df: org.apache.spark.sql.DataFrame = [number: string] scala> df.show(false) + + |number | + 阅读全文
posted @ 2020-09-17 21:56 初入门径 阅读(109) 评论(0) 推荐(0)
行转列
摘要： /* Navicat MySQL Data Transfer Source Server : localhost Source Server Version : 50527 Source Host : localhost:3306 Source Database : mydb Target Serv 阅读全文
posted @ 2020-09-17 21:53 初入门径 阅读(153) 评论(0) 推荐(0)
行转列
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-17 19:53 初入门径 阅读(174) 评论(0) 推荐(0)
正则表达式
摘要： ①不包含~ 匹配不包含字符串「abc」的行 ^(?!.*abc).*$ ②不包含~或者~ 匹配不包含字符串「abc」或者「efg」的行 ^(?!.*(abc|efg)).*$ ③不以~为开始 匹配不以字符串「abc」为开始的行 ^(?!abc).*$ ④不以~为结束 匹配不以字符串「abc」为结束的 阅读全文
posted @ 2020-09-17 18:48 初入门径 阅读(185) 评论(0) 推荐(0)
2020年9月14日
SparkSQL内置函数 -- countDistinct
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-14 12:02 初入门径 阅读(2676) 评论(0) 推荐(0)
SparkSQL内置函数 -- when otherwise
摘要： [root@centos00 ~]$ cd hadoop-2.6.0-cdh5.14.2/ [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0 阅读全文
posted @ 2020-09-14 11:48 初入门径 阅读(2492) 评论(0) 推荐(0)
2020年9月13日
Spark读取avro格式数据
摘要： [root@centos00 ~]$ cd /opt/cdh5.14.2/spark-2.2.1-cdh5.14.2/jars [root@centos00 jars]$ pwd /opt/cdh5.14.2/spark-2.2.1-cdh5.14.2/jars [root@centos00 jar 阅读全文
posted @ 2020-09-13 15:49 初入门径 阅读(1299) 评论(0) 推荐(1)
2020年9月8日
Spark集成Kudu(Spark shell)
摘要： [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start namenode [root@centos00 hadoop-2.6.0-cdh5.14.2]$ sbin/hadoop-daemon.sh start datan 阅读全文
posted @ 2020-09-08 12:09 初入门径 阅读(452) 评论(0) 推荐(0)