deephub

摘要： 在当前数据驱动的商业环境中，人工智能（AI）和机器学习（ML）已成为各行业决策制定的关键工具。从金融机构的信贷风险预测到医疗保健提供者的疾病诊断，AI模型正在塑造对生活和业务有深远影响的结果。 然而随着这些模型日益复杂化，一个重大挑战浮现：即"黑盒"问题。许多先进的AI模型，尤其是深度学习算法，其运 阅读全文

摘要： 在当今海量数据时代,有效的信息检索(IR)技术对于从庞大数据集中提取相关信息至关重要。近年来,密集检索技术展现出了相比传统稀疏检索方法更加显著的效果。 现有的方法主要从点式重排序器中蒸馏知识,这些重排序器为文档分配绝对相关性分数,因此在进行比较时面临不一致性的挑战。为解决这一问题,来自国立台湾大学的 阅读全文

摘要： 随着大型语言模型(LLMs)的迅速普及,如何有效地引导它们生成安全、适合特定应用和目标受众的内容成为一个关键挑战。例如,我们可能希望语言模型在与幼儿园孩子互动时使用不同的语言,或在撰写喜剧小品、提供法律支持或总结新闻文章时采用不同的风格。 目前,最成功的LLM范式是训练一个可用于多种任务的大型自回归 阅读全文

摘要： 大语言模型(LLMs)在推理任务中,如数学问题求解和编程,已经展现出了优秀的性能。尽管它们能力强大,但在实现能够通过计算和交互来改进其回答的算法方面仍然面临挑战。现有的自我纠错方法要么依赖于提示工程,要么需要使用额外的模型进行微调,但这些方法都有局限性,往往无法产生有意义的自我纠错。 这是谷歌9月发 阅读全文

摘要： 构建预训练时间序列模型时面临的主要挑战是什么？获取高质量、多样化的时间序列数据。目前构建基础预测模型主要有两种方法： 迁移学习LLM：通过针对时间序列任务定制的微调或分词策略，重新利用预训练的大型语言模型（LLM），如GPT-4或Llama。 从零训练：构建大规模时间序列数据集，并从头开始预训练模型 阅读全文

摘要： 闭源与开源嵌入模型比较以及提升语义搜索效果的技术探讨 上图为执行语义搜索前的聚类演示 ，嵌入技术是自然语言处理的核心组成部分。虽然嵌入技术的应用范围广泛，但在检索应用中的语义搜索仍是其最常见的用途之一。 https://avoid.overfit.cn/post/38350e175fa0424b8c 阅读全文

摘要： 在人工智能快速发展的今天，如何有效利用大型语言模型（LLMs）成为了一个普遍关注的话题。这是9月份的一篇论文，提出了LangGPT结构化提示框架和Minstrel多代理提示生成系统，为非AI专家使用LLMs提供了强大支持。 对于非人工智能专家来说，构建高质量的提示以充分利用LLMs的能力仍然是一个巨 阅读全文

摘要： 在深度学习模型的训练过程中，学习率作为一个关键的超参数，对模型的收敛速度和最终性能有着重大影响。传统方法通常采用统一的学习率，但随着研究的深入，我们发现为网络的不同层设置不同的学习率可能会带来显著的性能提升。本文将详细探讨这一策略的实施方法及其在PyTorch框架中的具体应用。 https://av 阅读全文

摘要： 传统上,预测这些趋势涉及针对每种情况的专门模型。最近的进展指向了可以处理广泛预测问题的"基础模型"。 这是9月份刚刚发布的论文TimeMOE。它是一种新型的时间序列预测基础模型,"专家混合"(Mixture of Experts, MOE)在大语言模型中已经有了很大的发展，现在它已经来到了时间序列。 阅读全文

摘要： 特征工程是机器学习流程中的关键步骤，在此过程中，原始数据被转换为更具意义的特征，以增强模型对数据关系的理解能力。 特征工程通常涉及对现有数据应用转换，以生成或修改数据，这些转换后的数据在机器学习和数据科学的语境下用于训练模型，从而提高模型性能。 本文主要介绍处理数值变量特征工程，将探讨使用Pytho 阅读全文