阿丹biu

摘要： 支持的环境： 现代浏览器和 IE9 及以上（需要 polyfills）。 支持服务端渲染。 Electron（一个跨平台的、基于 Web 前端技术的桌面 GUI 应用程序开发框架。可以使用 HTML、CSS 来绘制界面和控制布局，使用 JavaScript 来控制用户行为和业务逻辑，使用 Node. 阅读全文

摘要： Jeecg-Boot是一款基于SpringBoot+代码生成器的快速开发平台，快速构建Restful API的工程的脚手架。支持多数据源配置，分布式事务，多Redis配置，分布式调度，分布式缓存配置等。降低了前后分离的开发成本，JeecgBoot还独创在线开发模式（No代码概念），一系列在线智能开发 阅读全文

摘要： 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 基于YELP数据集的商业分析 字段名称 含义 数据格式 例子 business_id 商家ID string “business_id”: “tnhfDv5Il8EaGSXZGiuQGg” name 商家名称 string “name”: “ 阅读全文

摘要： spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。 cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/lo 阅读全文

摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 总共有多少学生？ 总 阅读全文

摘要： Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 阅读全文

摘要： 一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 代码：lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() 代码：words=lines.flatMap(lambda line:l 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文

摘要： 1.准备文本文件，从文件创建RDD lines=sc.textFile()，筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式 2.生成单词的列表，从列表创建RDD words=sc.parallelize()，筛选出长度大于2 的单词 words.filter() 阅读全文