09 2019 档案

HIVE 练习册
摘要：数据集： 下载地址：https://files-cdn.cnblogs.com/files/pipemm/hive_data.rar ratings.csv 格式： userid , movieid , rating(评分) , timestamp movies.csv 格式： movieid , 阅读全文
posted @ 2019-09-23 00:14 带了1个小才艺 阅读(176) 评论(0) 推荐(0)
Scala 入门笔记
摘要：Scala 函数式编程：感觉spark一般用scala写，甚至spark源码就是用scala实现的，所以就学习一下scala 基础 * 函数 求值策略 两种方式： call by value - 对函数实参求值，且仅求值一次 call by name - 函数实参每次在函数体内被用到才会求值（函数形 阅读全文
posted @ 2019-09-22 11:28 带了1个小才艺 阅读(125) 评论(0) 推荐(0)
Spark：pyspark-Demo 练习
摘要：Spark练习 pyspark => Spark 2.4 , local 编写框架 from pyspark import SparkConf,SparkContext # 创建SparkConf：设置的是Spark相关参数信息 conf = SparkConf().setMaster("local 阅读全文
posted @ 2019-09-21 13:00 带了1个小才艺 阅读(3244) 评论(2) 推荐(1)
【复习】用hadoop各种组件实践wordCount
摘要：MapReduce Map: Reduce: hadoopStream提交： 验证: Spark pyspark代码: 验证： Hive 导入文章 create table wordcount_docs(line string); LOAD DATA INPATH '/The_Man_of_Prop 阅读全文
posted @ 2019-09-08 12:07 带了1个小才艺 阅读(172) 评论(0) 推荐(0)