摘要：
import org.apache.spark.{SparkConf, SparkContext} import scala.util.parsing.json.JSON object JSONParse { def main(args: Array[String]): Unit = { val i 阅读全文
posted @ 2020-02-16 23:57
后山前堂客
阅读(1257)
评论(0)
推荐(0)
摘要：
默认是INFO级别，输出内容太多，影响真正输出结果的查找，需要修改成 WARN 或 ERROR 级别 1 spark根目录conf/log4j.properties.template拷贝到工程的resources目录下，并改名成 log4j.properties 2 修改log4j.properti 阅读全文
posted @ 2020-02-16 23:25
后山前堂客
阅读(1579)
评论(0)
推荐(0)
摘要：
scala> val rdd1 = sc.textFile("file:///Users/***/spark/test_data/word.txt")scala> rdd1.filter(x=>x.contains("huahua")) foreach printlnhuahua hadoop sp 阅读全文
posted @ 2020-02-16 22:22
后山前堂客
阅读(319)
评论(0)
推荐(0)
摘要：
通过文件系统加载数据创建RDD textFile(URI) URI：可以使 本地文件系统、HDFS、Amazon S3 通过并行集合（数组）创建RDD val rdd = sc.parallize(array) 阅读全文
posted @ 2020-02-16 18:18
后山前堂客
阅读(192)
评论(0)
推荐(0)
摘要：
解决方案： 解决方法是选择系统偏好设置->选择共享->点击远程登录 阅读全文
posted @ 2020-02-16 18:01
后山前堂客
阅读(475)
评论(0)
推荐(0)
摘要：
P145 以下两点的描述不理解： 性能好： 数据冗余： P145 可通过多奇妙场景，以 维度-事实矩阵的形式说明 维度模型的可扩展性 P151 总线矩阵或事实-维度矩阵，也可以放到 该页中 P148 “早上小王在小卖部话5元钱购买了一个面包”：这句话中应该是有 四个 维度吧？ 时间-人/参与者-地点 阅读全文
posted @ 2020-02-16 11:43
后山前堂客
阅读(279)
评论(0)
推荐(0)
浙公网安备 33010602011771号