deephub

摘要： Hyperband是机器学习中一个相当实用的超参数调优算法，核心思路是用逐次减半来分配计算资源。说白了就是让一堆配置先跑几轮，表现差的直接踢掉，剩下的继续训练更多轮次。 这个方法的巧妙之处在于平衡了探索和利用。你既要试足够多的配置组合（探索），又要给有潜力的配置足够的训练时间（利用）。传统方法要么试 阅读全文

摘要： 监督微调（SFT）基本上是现在训练大模型时必走的路。不管你要让模型干什么，先用 SFT 让它学会基本的指令跟随和对话能力，然后再通过 PPO 或者 GRPO 这些强化学习方法进一步调优。 但 SFT 有个老毛病：容易过拟合。模型会死记硬背训练数据，泛化能力变差。更要命的是，经过 SFT 训练的模型在 阅读全文

摘要： 图数据在机器学习中的地位越来越重要。社交网络的用户关系、论文引用网络、分子结构，这些都不是传统的表格或序列数据能很好处理的。现实世界中实体之间的连接往往承载着关键信息。 图神经网络(GNN)的出现解决了这个问题，它让每个节点可以从邻居那里获取信息来更新自己的表示。图卷积网络(GCN)是其中的经典代表 阅读全文

摘要： 现在的量化交易早就不是简单的技术指标了。真正有效的交易系统需要像一个完整的投资团队一样工作——有专门的分析师收集各种数据，有研究员进行深度分析和辩论，有交易员制定具体策略，还有风险管理团队把关。问题是传统的程序很难模拟这种复杂的协作流程。 LangGraph的多智能体架构正好解决了这个问题。我们可以 阅读全文

摘要： 当你需要处理大规模并行任务，特别是涉及GPU集群的场景时，Ray Serve和Celery是两个主要选择。但它们的设计理念完全不同： Celery是分布式任务队列，把任务推到broker，worker拉取执行。它的核心是扇出扇入（fan-out/fan-in），特别适合大批量离线处理。Ray Ser 阅读全文

摘要： DINOv3是Meta推出的自监督视觉骨干网络，最大的亮点是你可以把整个backbone冻住不动，只训练一个很小的任务头就能在各种密集预测任务上拿到SOTA结果。这对实际工程应用来说意义重大，因为大部分时候我们并不想重新训练一个几十亿参数的模型。 https://avoid.overfit.cn/p 阅读全文

摘要： Microsoft Research最近发布的rStar2-Agent展示了一个令人瞩目的结果：一个仅有14B参数的模型在AIME24数学基准测试上达到了80.6%的准确率，超越了671B参数的DeepSeek-R1（79.8%）。这不是简单的参数效率提升，而是AI推理的进步。 过去几年，大语言模型 阅读全文

摘要： 大语言模型智能体（LLM Agent）是一类利用大语言模型通过交互、推理和决策来自主执行复杂任务的系统，通常具备访问外部工具、记忆系统或环境的能力。与被动响应单一提示的传统LLM不同，LLM智能体采用主动且迭代的运行模式，在明确目标的引导下执行任务。这类系统正被广泛部署为跨领域的自主问题解决器，Op 阅读全文

摘要： 大语言模型的推理能力提升，经历了从规模扩展到方法创新的转变。Google在2022年提出Chain-of-Thought（CoT），通过让模型"展示工作过程"大幅提升了推理表现。随后Tree-of-Thought和Graph-of-Thought相继出现，推理结构从线性链条演进为复杂图网络。 htt 阅读全文

摘要： 当你有一个由研究员、文案、数据分析师和质检员组成的团队时，如果没有合理的协调机制，再优秀的个体也可能产生冲突的结论、停滞的流程，或者解决错误的问题。AI智能体同样如此。 随着系统从单体模型向多智能体架构演进，编排成为核心技术能力。仅仅拥有强大的智能体远远不够，关键在于让它们有效协作。编排本质上是设计 阅读全文