青竹之下 - 博客园

2022年3月11日

摘要：通过对review_scores_rating评分字段进行分布图绘制，可以查看价格的分布区间范围 #设置画布大小尺寸 plt.figure(figsize=(12,6)) #绘制分布图 sns.distplot(listings.review_scores_rating.dropna(), rug= 阅读全文

posted @ 2022-03-11 23:08 青竹之下阅读(178) 评论(0) 推荐(0)

大数据预处理-- 房型和房价的关系

摘要：在租房时候，有整租有合租，还存在一些多人共用一间的情况（有点类似青年旅社），可以尝试性探究不同的房型与房价之间的关系 sort_price = listings.loc[(listings.price <= 600) & (listings.price > 0)]\ .groupby('room_t 阅读全文

posted @ 2022-03-11 20:31 青竹之下阅读(123) 评论(0) 推荐(0)

2022年3月10日

大数据预处理-- 床位的数量和房价的关系

摘要： listings.loc[(listings.price <= 600) & (listings.price > 0)].pivot(columns = 'beds',values = 'price').plot.hist(stacked = True,bins=100) plt.xlabel('L 阅读全文

posted @ 2022-03-10 23:09 青竹之下阅读(84) 评论(0) 推荐(0)

2022年3月9日

大数据预处理--特征工程

摘要：以上的内容就是传统的数据分析要完成的内容，分析的过程依赖于数据分析师本身的经验，而且结果都是以图表的形式进行展现，有一个痛点就是字段较多时候，要进行分析时就需要很多很多的图像，比如三个字段的分析，热力图就需要很多很多。此时就可以借助机器学习模型来探究，但是探究之前需要处理字段数据，进行特征工程。为了阅读全文

posted @ 2022-03-09 15:26 青竹之下阅读(251) 评论(0) 推荐(0)

2022年3月8日

DStream输出操作

摘要： Spark Streaming允许DStream的数据被输出到外部系统，如数据库或文件系统。由于输出操作实际上使transformation操作后的数据可以通过外部系统被使用，同时输出操作触发所有DStream的transformation操作的实际执行（类似于RDD操作）。以下表列出了目前主要的输阅读全文

posted @ 2022-03-08 17:04 青竹之下阅读(482) 评论(0) 推荐(0)

DStream简单操作

摘要：与RDD类似，DStream也提供了自己的一系列操作方法，这些操作可以分成三类：普通的转换操作、窗口转换操作和输出操作。 3.3.1 普通的转换操作普通的转换操作如下表所示： transform(func)操作该transform操作（转换操作）连同其其类似的 transformWith操作允许阅读全文

posted @ 2022-03-08 17:00 青竹之下阅读(574) 评论(0) 推荐(0)

2022年2月28日

spark-SQL实验5.3

摘要： 3. 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据；表 1 employee 表原有数据 id name gender age 1 Alice F 22 2 John M 25 阅读全文

posted @ 2022-02-28 14:27 青竹之下阅读(196) 评论(0) 推荐(0)

Spark-SQL实验5.2

摘要： 2．编程实现将 RDD 转换为 DataFrame import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder import org.apache.spark.sql.Encoder import spark.implicits._ 阅读全文

posted @ 2022-02-28 14:26 青竹之下阅读(107) 评论(0) 推荐(0)

Spark-sql实验5.1

摘要：将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json。 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 } { "id":3 ,"nam 阅读全文

posted @ 2022-02-28 14:24 青竹之下阅读(209) 评论(0) 推荐(0)

Scala实验4.2/4.3

摘要： .编写独立应用程序实现数据去重对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 2 阅读全文

posted @ 2022-02-28 14:21 青竹之下阅读(178) 评论(0) 推荐(0)

huaobin

公告