摘要：
spark连接mysql数据库 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spa 阅读全文
posted @ 2021-06-04 16:59
杨易霖
阅读(14)
评论(0)
推荐(0)
摘要：
1.Spark SQL的前身是 Shark，Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一，它运行在Spark系统之上，Shark重用了Hive的工作机制，并直接继承了Hive的各个组件， Shark将SQL语句的转换从MapReduce作业替换成了Spark作业， 阅读全文
posted @ 2021-06-04 16:58
杨易霖
阅读(22)
评论(0)
推荐(0)
摘要：
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-06-04 16:55
杨易霖
阅读(19)
评论(0)
推荐(0)
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-06-04 16:53
杨易霖
阅读(15)
评论(0)
推荐(0)
摘要：
1.为什么要引入Yarn和Spark 1.部署Application和服务更加方便 只需要yarn服务，包括Spark，Storm在内的多种应用程序不要要自带服务，它们经由客户端提交后，由yarn提供的分布式缓存机制分发到各个计算节点上。 2.资源隔离机制 yarn只负责资源的管理和调度，完全由用户 阅读全文
posted @ 2021-06-04 16:52
杨易霖
阅读(71)
评论(0)
推荐(0)
浙公网安备 33010602011771号