摘要： 通过jdbc连接数据库 spark-shell 带参数启动 spark-shell \ --jars /usr/spark/jars/mysql-connector-java-5.1.49-bin.jar \ --driver-class-path /usr/local/spark/jars/mys 阅读全文

摘要： 目标： 1.今天开始做实验五 2.今天开始学习sparksql的相关内容 成果： 1.实验五已完成 2.sparksql学习了DataFrame的创建，从RDD转换得到DataFrame,通过JDBC连接Mysql数据库（DataFrame） 阅读全文

摘要： 元旦快乐 阅读全文

摘要： 在本地idea提交jar到虚拟机spark集群时报错 暂未解决 阅读全文

摘要： 1想在本地idea上写scala程序提交到远程spark集群上运行，失败 2.成功在虚拟机上安装了 一个ideaIU，配置好了 3.完成了spark实验四RDD初级编程实验 4.明天学习spark实验五的相关知识 阅读全文

摘要： 今天尝试在本地idea提交任务到spark集群上运行，无果 阅读全文

摘要： 1.今天完成了昨天剩下的spark实验三的内容（关于sbt的安装和使用） 2.接下来学习RDD初级编程，继续完成实验四 知识总结： spark的rdd编程中 键值对rdd通常用到的方法有reduceByKey()、groupByKey()、sortByKey()、join()、cogroup() 其 阅读全文

摘要： 给yarn增加阈值 阅读全文

摘要： 1.完成了scala实验二的最后一题 统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 代码摘自网上， package com.tiedao.project import scala.i 阅读全文

摘要： 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中q 为大于 0 的整数，其值通过键盘输入。 S = 2 + 3 + 4 + n1 2 3 例如， 若 q 的值为 50.0 ， 则输出应为： Sn=50.416695 。 请将源文件保存为 阅读全文