会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
cup_leo
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
5
6
7
8
9
10
11
12
13
···
24
下一页
2022年6月2日
SynapseML MMLSpark 集群 机器学习 训练
摘要: spark-shell --packages com.microsoft.azure:synapseml_2.12:0.9.5 pyspark --packages com.microsoft.azure:synapseml_2.12:0.9.5 spark-submit --packages co
阅读全文
posted @ 2022-06-02 11:19 cup_leo
阅读(551)
评论(0)
推荐(0)
2022年5月22日
VISUALIZE CODE EXECUTION python 代码执行可视化
摘要: https://pythontutor.com/ 代码执行过程可视化,拯救了我的脑细胞! - 知乎 (zhihu.com)
阅读全文
posted @ 2022-05-22 14:57 cup_leo
阅读(126)
评论(0)
推荐(0)
图解 pyspark 函数 详解
摘要: (21条消息) python partition by函数_Spark Python API函数学习:pyspark API(4)_张景淇的博客-CSDN博客
阅读全文
posted @ 2022-05-22 09:59 cup_leo
阅读(84)
评论(0)
推荐(0)
2022年5月19日
python 生成日期列表
摘要: import datetime def create_assist_date(datestart = None,dateend = None): # 创建日期辅助表 if datestart is None: datestart = '2022-04-25' if dateend is None:
阅读全文
posted @ 2022-05-19 20:40 cup_leo
阅读(949)
评论(0)
推荐(1)
2022年5月12日
类别特征处理 分类特征 编码
摘要: 类别特征处理 Kaggle知识点:类别特征处理 - 知乎 (zhihu.com)
阅读全文
posted @ 2022-05-12 10:13 cup_leo
阅读(19)
评论(0)
推荐(0)
2022年5月10日
pyspark 常用rdd函数例子
摘要: ## mapPartions def model_pred(partitionData): updatedData = [] for row in partitionData: pred_value = model.value.predict([row[2:]])[0] pred_value = f
阅读全文
posted @ 2022-05-10 21:25 cup_leo
阅读(108)
评论(0)
推荐(0)
2022年5月9日
pyspark读取hdfs 二进制文件 pickle 模型文件 model
摘要: pyspark读取hdfs 二进制文件 pickle 模型文件 model 我们在python环境训练的机器学习、深度学习模型二进制文件,比如pickle 如果需要提交到spark-submit上,需要先把文件上传到hdfs目录下,然后读取 hadoop fs -put 模型文件 hdfs目录 如
阅读全文
posted @ 2022-05-09 13:29 cup_leo
阅读(1209)
评论(0)
推荐(0)
2022年5月6日
pyspark基于python虚拟环境运行 linux 搭建 pyspark
摘要: linux 搭建 pyspark (21条消息) Linux服务器下PySpark环境安装_Viva Python的博客-CSDN博客_pyspark安装 pyspark基于python虚拟环境运行 - 倪平凡 - 博客园 (cnblogs.com) (21条消息) pyspark使用anacond
阅读全文
posted @ 2022-05-06 20:06 cup_leo
阅读(451)
评论(0)
推荐(0)
2022年4月19日
hive一个字段包含另一个字段
摘要: hive一个字段包含另一个字段 1.源数据表ta byu yuxiaogang array_contains(split(,' '),a) hive一个字段包含另一个字段_甲家家的博客-CSDN博客_hive一个字段包含另一个字段 where array_contains(split(phone_z
阅读全文
posted @ 2022-04-19 17:25 cup_leo
阅读(970)
评论(0)
推荐(0)
2022年4月7日
字帖工具 免费打印 生成pdf
摘要: 字帖工具 - 在线工具 (tool.lu)
阅读全文
posted @ 2022-04-07 16:22 cup_leo
阅读(93)
评论(0)
推荐(0)
上一页
1
···
5
6
7
8
9
10
11
12
13
···
24
下一页
公告