spark连接mysql
摘要：
pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs 阅读全文
posted @ 2020-03-19 22:45 床上小老虎 阅读(344) 评论(0) 推荐(0)
spark累加器
摘要：
出现的原因： 因为在spark中每一个task都会分到不同的节点去计算运行，如果需要将多个节点的数据累加到同一个变量中，则使用累加器 数字累加器 import org.apache.spark.{SparkConf, SparkContext} /** * @Author: 唐松怀 * @Date: 阅读全文
posted @ 2020-03-15 16:56 床上小老虎 阅读(251) 评论(0) 推荐(0)
java操作excel数据写入map集合并按照value排序
摘要：
/** * @Author: 唐 * @Date: 2020/2/26 14:40 */import java.io.File;import java.io.IOException;import java.util.*;import org.apache.poi.openxml4j.exceptio 阅读全文
posted @ 2020-03-02 01:19 床上小老虎 阅读(735) 评论(0) 推荐(0)
java 读取excel
摘要：
1 /** 2 * @Author: 唐松怀 3 * @Date: 2020/2/26 14:40 4 */ 5 import java.io.File; 6 import java.io.IOException; 7 8 import org.apache.poi.openxml4j.except 阅读全文
posted @ 2020-02-26 16:29 床上小老虎 阅读(376) 评论(0) 推荐(0)
spark模式匹配问题点
摘要：
import org.apache.spark.{SparkConf, SparkContext} object hello { def main(args: Array[String]): Unit = { val conf = new SparkConf() .setAppName("WordF 阅读全文
posted @ 2019-12-08 15:08 床上小老虎 阅读(473) 评论(0) 推荐(0)
spark 操作 JSON数据demo
摘要：
import org.apache.spark.{SparkConf, SparkContext} import scala.util.parsing.json.JSON /** * Created with IntelliJ IDEA. * User: @别慌 * Date: 2019-11-24 阅读全文
posted @ 2019-12-07 17:59 床上小老虎 阅读(785) 评论(0) 推荐(0)
hive行转列和列转行
摘要：
1.hive行转列 good01表内容 hive> select * from good01; OK 1 2,3,4,5,6,7,8,9,10,11,12,13,14,15,16 2 11,12,13,14,15,16 Time taken: 0.163 seconds, Fetched: 2 ro 阅读全文
posted @ 2019-10-27 18:58 床上小老虎 阅读(491) 评论(0) 推荐(0)
hive分区（静态和动态分区）
摘要：
https://www.cnblogs.com/yongjian/p/6640951.html 动态分区： INSERT OVERWRITE TABLE st_ent_credit_model.st_ent_credit_model_czcb_wd partition(partition_time) 阅读全文
posted @ 2019-10-10 13:32 床上小老虎 阅读(1800) 评论(0) 推荐(0)
浙公网安备 33010602011771号