deephub

摘要： 你有没有过这样的经历？使用一款减肥app，通过它的图表来监控自己的体重变化，并预测何时能达到理想体重。这款app预测我需要八年时间才能恢复到大学时的体重，这种不切实际的预测是因为应用使用了简单的线性模型来进行体重预测。这个模型将我所有过去的体重数据进行平均处理，然后绘制一条直线预测未来的体重变化。然 阅读全文

摘要： 在基于transformer的自回归语言模型（LMs）中，生成令牌的成本很高，这是因为自注意力机制需要关注所有之前的令牌，通常通过在自回归解码过程中缓存所有令牌的键值（KV）状态来解决这个问题。但是，加载所有先前令牌的KV状态以计算自注意力分数则占据了LMs的推理的大部分成本。 在这篇论文中，作者提 阅读全文

摘要： 这篇论文研究了在3D医学图像分割领近年引入了许多新的架构和方法，但大多数方法并没有超过2018年的原始nnU-Net基准。作者指出，许多关于新方法的优越性的声称在进行严格验证后并不成立，这揭示了当前在方法验证上存在的不严谨性。 揭示验证短板：深入探讨了当前医学图像分割研究中存在的验证不足问题，特别是 阅读全文

摘要： 自ChatGPT推出以来，仅仅一年多的时间里，公众对于“人工智能”（AI）的认识已经发生了根本性的变化。这种变化部分源于公众意识的提高，更多则是基于这样一个认识：AI驱动的系统不仅可能，而且可能已经具备了与人类相当的能力和表现。ChatGPT不仅是AI能力的一个验证，更是半个多世纪以来AI研究成果的 阅读全文

摘要： 联邦学习是一种分布式的机器学习方法，其中多个客户端在一个中央服务器的协调下合作训练模型，但不共享他们的本地数据。一般情况下我们对联邦学习的理解都是大模型和深度学习模型才可以进行联邦学习，其实基本上只要包含参数的机器学习方法都可以使用联邦学习的方法保证数据隐私。 所以本文将以高斯朴素贝叶斯分类器为例创 阅读全文

摘要： 无数企业正在尝试使用检索增强生成（RAG），但在制作这些系统达到生产质量时普遍会感到失望。因为他们的RAG不仅运行效果差，而且对于如何改进和如何进行后续的工作也感到十分的迷茫。 其实阻碍RAG系统的一个关键因素是语义不协调，这是由于任务的预期含义、RAG的理解以及存储的底层知识之间的不一致。由于向量 阅读全文

摘要： 本文总结了2024年5月第四周发表的一些最重要的LLM论文。这些论文的主题包括模型优化和缩放到推理、基准测试和增强性能。 LLM发展与基准 1、Towards Modular LLMs by Building and Reusing a Library of LoRAs 基本大型语言模型(LLM)的 阅读全文

摘要： Python 3.6中引入的f-string是Python中最常用的特征之一，它可以让我们编写更干净、更高效和更易于维护的代码，我们今天就由浅入深来详细介绍使用它的一些技巧。 https://avoid.overfit.cn/post/2fca191e2c0c45c0bdddefd17cd45e37 阅读全文

摘要： YOLO模型因其在计算成本和检测性能之间的平衡而在实时目标检测中很受欢迎。前几天YOLOv10也刚刚发布了。我们这篇文章就来看看YOLOv10有哪些改进，如何部署，以及微调。 YOLOv10通过无nms的训练解决了延迟问题，作者为无nms训练引入了一致的双任务，同时获得了具有竞争力的性能和低推理延迟 阅读全文

摘要： 在处理长序列时，Transformers面临着注意力分散和噪音增加等挑战。随着序列长度的增长，每个词元必须与更多词元竞争注意力得分，这会导致注意力分数被稀释。这种稀释可能导致不那么集中和相关的上下文表示，特别是影响彼此距离较远的词元。 并且较长的序列更有可能包含不相关或不太相关的信息，从而引入噪声， 阅读全文