摘要:         乡土文化简记    阅读全文
乡土文化简记    阅读全文
 乡土文化简记    阅读全文
乡土文化简记    阅读全文
posted @ 2023-02-10 01:01
Milkha
阅读(126)
评论(0)
推荐(0)
        
 这一篇主要讲 Spark 中的 Shuffle 机制. Shuffle Write Shuffle Read 将 job 划分成多个 task 后, stage 内的一个 task 可以在一个节点上完成计算, task 内以来的数据可以直接存储在当前结点上 (内存或者磁盘中). 但是 stage 间    阅读全文
这一篇主要讲 Spark 中的 Shuffle 机制. Shuffle Write Shuffle Read 将 job 划分成多个 task 后, stage 内的一个 task 可以在一个节点上完成计算, task 内以来的数据可以直接存储在当前结点上 (内存或者磁盘中). 但是 stage 间    阅读全文
 一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下. 这一篇主要讲 Spark 中逻辑处理流程时怎么生成的, 以及在逻辑处理流程的    阅读全文
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下. 这一篇主要讲 Spark 中逻辑处理流程时怎么生成的, 以及在逻辑处理流程的    阅读全文
 一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下. 先大致了解一下 Spark. Introducion Spark Appli    阅读全文
一直以来都想了解一下 Spark 的运行原理, 但一直都浮于表面, 难以深入. 去年买了一本 《大数据处理框架 Apache Spark 设计与实现》, 但是一直没时间好好看看, 最近抽时间过了一下这本书, 在此记录一下. 先大致了解一下 Spark. Introducion Spark Appli    阅读全文
 特征交叉是推荐系统中重要的一环,连续特征&连续特征、连续特征&离散特征、离散特征&离散特征等,这些是怎么交叉的呢?有哪些交叉方式呢?    阅读全文
特征交叉是推荐系统中重要的一环,连续特征&连续特征、连续特征&离散特征、离散特征&离散特征等,这些是怎么交叉的呢?有哪些交叉方式呢?    阅读全文
 (图出自李宏毅老师的PPT) 对机器学习/深度学习有所了解的同学肯定不会对 softmax 陌生,它时而出现在多分类中用于得到每个类别的概率,时而出现在二分类中用于得到正样本的概率(当然,这个时候 softmax 以 sigmoid 的形式出现)。 1. 从 sigmoid 到 softmax si    阅读全文
(图出自李宏毅老师的PPT) 对机器学习/深度学习有所了解的同学肯定不会对 softmax 陌生,它时而出现在多分类中用于得到每个类别的概率,时而出现在二分类中用于得到正样本的概率(当然,这个时候 softmax 以 sigmoid 的形式出现)。 1. 从 sigmoid 到 softmax si    阅读全文