2025年5月12日
softmax和交叉熵的数学联系
摘要： 交叉熵损失（ Cross-Entropy Loss ）和 Softmax 函数在数学上确实具有天然的协同性，这种组合在多分类任务中被广泛使用（ 如神经网络、XGBoost 等 ），主要原因在于它们的数学形式和梯度计算的高度适配性。以下是详细的解释： 1. Softmax 的本质：将 logits 映 阅读全文
posted @ 2025-05-12 16:44 Gold_stein 阅读(127) 评论(0) 推荐(0)
对比k8s与yarn
摘要： 在分布式系统资源管理领域，YARN（Yet Another Resource Negotiator） 和 Kubernetes（K8s） 是两种主流技术，但设计目标和适用场景有显著差异。以下是深度对比分析： 1. 核心定位对比 维度 YARN Kubernetes 起源 Hadoop 生态（2012 阅读全文
posted @ 2025-05-12 16:17 Gold_stein 阅读(302) 评论(0) 推荐(0)
spark和hadoop的关系
摘要： Spark 和 Hadoop 是大数据领域中两个互补且部分重叠的技术栈，Spark 并非 Hadoop 的替代品，而是通过优化计算效率扩展了 Hadoop 生态的能力。以下是它们的核心关系和协作方式： 1. 总体关系：Spark 与 Hadoop 的协作模式 存储层依赖： Spark 默认支持从 H 阅读全文
posted @ 2025-05-12 12:24 Gold_stein 阅读(231) 评论(0) 推荐(1)
Hive和Hadoop的区别与联系
摘要： Hive 和 Hadoop 是大数据生态系统中密切相关的两个组件，Hive 依赖 Hadoop 提供底层存储和计算能力，而 Hadoop 通过 Hive 获得更友好的数据处理接口。以下是它们的核心关系和分工： 1. Hadoop 的作用：底层基础设施 Hadoop 是一个分布式计算框架，主要由两大核 阅读全文
posted @ 2025-05-12 11:37 Gold_stein 阅读(199) 评论(0) 推荐(0)