deephub

摘要： 2023年是语言模型(llm)和图像生成技术激增的一年，但是视频生成受到的关注相对较少。今年刚到2月份，OpenAI就发布了一个惊人的视频生成模型Sora。虽然它的架构没有披露，但是通过总结现有的视频生成领域可能能对Sora的构架有所理解。 在这篇文章中，我们将整理视频生成在最近几年是发展概况，模型 阅读全文

摘要： 稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。 这时就需要我们进行手动的微调。微调可以根据相对较小的图像集向模型教授新的、独特的主题。我们今天使用DreamBooth在不影响模型原始功能的情况下实现微调过 阅读全文

摘要： 在自然语言生成任务（NLG）中，采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。 束搜索（Beam Search）是贪婪解码的一种扩展，通过在每个时间步保留多个候选序列来克服贪婪解码的局部最优问题。 在每个时间步保留概率最高的前几个候选词语，然后在 阅读全文

摘要： 上篇文章中我们主要总结了非线性的降维技术，本文我们来总结一下常见的线性降维技术。 1、Principal Component Analysis (PCA) Principal Component Analysis (PCA) 是一种常用的降维技术，用于将高维数据集转换为低维表示，同时保留数据集的主要 阅读全文

摘要： 降维意味着我们在不丢失太多信息的情况下减少数据集中的特征数量，降维算法属于无监督学习的范畴，用未标记的数据训练算法。 尽管降维方法种类繁多，但它们都可以归为两大类:线性和非线性。 线性方法将数据从高维空间线性投影到低维空间(因此称为线性投影)。例子包括PCA和LDA。 非线性方法提供了一种执行非线性 阅读全文

摘要： 2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月，已经有了一个用于时间序列预测的 阅读全文

摘要： 在我们进行机器学习时，处理缺失数据是非常重要的，因为缺失数据可能会导致分析结果不准确，严重时甚至可能产生偏差。处理缺失数据是保证数据分析准确性和可靠性的重要步骤，有助于确保分析结果的可信度和可解释性。 在本文中，我们讲重点介绍MICE。 MICE（Multiple Imputation by Cha 阅读全文

摘要： 模型微调是指在一个已经训练好的模型的基础上，针对特定任务或者特定数据集进行再次训练以提高性能的过程。微调可以在使其适应特定任务时产生显着的结果。 RoBERTa（Robustly optimized BERT approach）是由Facebook AI提出的一种基于Transformer架构的预训 阅读全文

摘要： 异常值检测各个领域的关键任务之一。PyOD是Python Outlier Detection的缩写，可以简化多变量数据集中识别异常值的过程。在本文中，我们将介绍PyOD包，并通过实际给出详细的代码示例 https://avoid.overfit.cn/post/9df020be7be84d759ae 阅读全文

摘要： 大型语言模型（LLMs）如 GPT-4 已经展示了出色的文本理解和生成能力。但它们在处理领域特定信息方面面临挑战，比如当查询超出训练数据范围时，它们会产生错误的答案。LLMs 的推理过程也缺乏透明度，使用户难以理解达成结论的方式。 检索增强生成（RAG）在 LLMS 的工作流程中添加了一个检索步骤， 阅读全文