JIANGzihao0222

导航

 
上一页 1 2 3 4 5 6 7 ··· 35 下一页

2024年1月31日

摘要: 今天做完实验四,学了学spark 阅读全文
posted @ 2024-01-31 20:27 实名吓我一跳 阅读(7) 评论(0) 推荐(0)
 

2024年1月30日

摘要: 今天完成了spark的一个实验,对于项目完成了第一阶段的验收 阅读全文
posted @ 2024-01-30 21:47 实名吓我一跳 阅读(8) 评论(0) 推荐(0)
 

2024年1月27日

摘要: 今天主要进行了比赛项目的书写,界面的绘制,流程的联系,但是由于赛题针对的主要是模型的搭建,我也根据平台给出的教程进行学习,但是学不懂,代码看不懂,流程不清楚。 阅读全文
posted @ 2024-01-27 22:41 实名吓我一跳 阅读(8) 评论(0) 推荐(0)
 

2024年1月26日

摘要: 本次学习学习了将dataframe里吗有结构的数据加载到mysql以及进行读 这里采用独立应用程序的方式读取MySQL数据库内容。创建一个代码文件SparkReadMySQL.scala,其内容如下: import org.apache.log4j.{Level, Logger} import or 阅读全文
posted @ 2024-01-26 18:52 实名吓我一跳 阅读(9) 评论(0) 推荐(0)
 
摘要: 本次学习学习了Dataframe方面的知识 DataFrame DataFrame概念 Spark SQL增加了DataFrame(即带有Schema信息的RDD),使用户可以在Spark SQL中执行SQL语句,数据既可以来自RDD,也可以是Hive、HDFS、Cassandra等外部数据源,还可 阅读全文
posted @ 2024-01-26 18:49 实名吓我一跳 阅读(15) 评论(0) 推荐(0)
 

2024年1月24日

摘要: 本次主要对综合案例进行了学习 案例1:求TOP值 任务描述:orderid,userid,payment,productid file1.txt 1,1768,50,155 2,1218,600,211 3,2239,788,242 4,3101,28,599 5,4899,290,129 6,31 阅读全文
posted @ 2024-01-24 22:14 实名吓我一跳 阅读(41) 评论(0) 推荐(0)
 
摘要: 本次学习学习了共享变量的相关知识内容以及文件系统的读写 本地文件系统的数据读写 读 scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") 因为Spark采用了惰性机制,在执行转换操 阅读全文
posted @ 2024-01-24 22:06 实名吓我一跳 阅读(41) 评论(0) 推荐(0)
 

2024年1月23日

摘要: 本次学习学习了常用键值对rdd的操作 常用的键值对RDD转换操作 reduceByKey(func) reduceByKey(func)的功能是,使用func函数合并具有相同键的值 (Hadoop,1)(Spark,1)(Hive,1)(Spark,1) scala> pairRDD.reduceB 阅读全文
posted @ 2024-01-23 19:36 实名吓我一跳 阅读(16) 评论(0) 推荐(0)
 
摘要: 本次学习学习了RDD的编程概述 RDD创建 1、从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数,这个URI可以是:本地文件系统的地址或者是分布式文件系统HDFS的地址或者是Amazon S3的地址等等 本地进行加载 阅读全文
posted @ 2024-01-23 19:31 实名吓我一跳 阅读(13) 评论(0) 推荐(0)
 

2024年1月22日

摘要: 本次学习学习Spark集群环境的搭建 Spark集群环境搭建 首先下载Spark安装包 选取一个节点为Master,后进行配置: vim ~/.bashrc 在.bashrc添加如下配置 export SPARK_HOME=/usr/local/spark // 注意路径 export PATH=$ 阅读全文
posted @ 2024-01-22 17:31 实名吓我一跳 阅读(21) 评论(0) 推荐(0)
 
上一页 1 2 3 4 5 6 7 ··· 35 下一页