摘要： 今天做完实验四，学了学spark 阅读全文

摘要： 今天完成了spark的一个实验，对于项目完成了第一阶段的验收 阅读全文

摘要： 今天主要进行了比赛项目的书写，界面的绘制，流程的联系，但是由于赛题针对的主要是模型的搭建，我也根据平台给出的教程进行学习，但是学不懂，代码看不懂，流程不清楚。 阅读全文

摘要： 本次学习学习了将dataframe里吗有结构的数据加载到mysql以及进行读 这里采用独立应用程序的方式读取MySQL数据库内容。创建一个代码文件SparkReadMySQL.scala，其内容如下： import org.apache.log4j.{Level, Logger} import or 阅读全文

摘要： 本次学习学习了Dataframe方面的知识 DataFrame DataFrame概念 Spark SQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可 阅读全文

摘要： 本次主要对综合案例进行了学习 案例1：求TOP值 任务描述：orderid,userid,payment,productid file1.txt 1,1768,50,155 2,1218,600,211 3,2239,788,242 4,3101,28,599 5,4899,290,129 6,31 阅读全文

摘要： 本次学习学习了共享变量的相关知识内容以及文件系统的读写 本地文件系统的数据读写 读 scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") 因为Spark采用了惰性机制，在执行转换操 阅读全文

摘要： 本次学习学习了常用键值对rdd的操作 常用的键值对RDD转换操作 reduceByKey(func) reduceByKey(func)的功能是，使用func函数合并具有相同键的值 (Hadoop,1)(Spark,1)(Hive,1)(Spark,1) scala> pairRDD.reduceB 阅读全文

摘要： 本次学习学习了RDD的编程概述 RDD创建 1、从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址或者是分布式文件系统HDFS的地址或者是Amazon S3的地址等等 本地进行加载 阅读全文

摘要： 本次学习学习Spark集群环境的搭建 Spark集群环境搭建 首先下载Spark安装包 选取一个节点为Master，后进行配置： vim ~/.bashrc 在.bashrc添加如下配置 export SPARK_HOME=/usr/local/spark // 注意路径 export PATH=$ 阅读全文