deephub

摘要： 将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本，而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢？Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。 大语言模型（如GPT）中的 阅读全文

摘要： GitHub CoPilot拥有超过130万付费用户，部署在5万多个组织中，是世界上部署最广泛的人工智能开发工具。使用LLM进行编程辅助工作不仅提高了生产力，而且正在永久性地改变数字原住民开发软件的方式，我也是它的付费用户之一。 低代码/无代码平台将使应用程序创建、工作流自动化和数据分析更加广泛的应 阅读全文

摘要： MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。在大语言模型时代被广泛使用，很多LLM都采用了MQA，如Falcon、PaLM、StarCoder等。 在介绍MQA 之前，我们先回顾一下传统的多头注意力 Mult 阅读全文

摘要： Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。Hawk通过使用门控线性递归（gated linear recurrences）超越了Mamba的性能，而Griffin则是一种混合型模型，结合了门控线性递归和局部注意力（local atten 阅读全文

摘要： 在本篇文章中我们将介绍如何开发一个深度学习模型来检测人工智能生成的图像 大多数用于检测人工智能生成图像的深度学习方法取决于生成图像的方法，或者取决于图像的性质/语义，其中模型只能检测人工智能生成的人、脸、汽车等特定对象。 但是这篇论文“Rich and Poor Texture Contrast: 阅读全文

摘要： 2017年推出《Attention is All You Need》以来，transformers 已经成为自然语言处理(NLP)的最新技术。2021年，《An Image is Worth 16x16 Words》，成功地将transformers 用于计算机视觉任务。从那时起，许多基于trans 阅读全文

摘要： TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。 虽 阅读全文

摘要： 在某些情况下，我们需要用Pytorch做一些高级的索引/选择，所以在这篇文章中，我们将介绍这类任务的三种最常见的方法：torch.index_select, torch.gather and torch.take 我们首先从一个2D示例开始，并将选择结果可视化，然后延申到3D和更复杂场景。最后以表格 阅读全文

摘要： 随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA)对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所欠缺，很多内部文件都保存在公司内部，以确保合规性、商业秘密或隐私。当查询这些文件时，会使得LLM产生幻觉，产生不相关、捏造或不一致的 阅读全文

摘要： 谷歌的最新的Gemma模型是第一个使用与Gemini模型相同的研究和技术构建的开源LLM。这个系列的模型目前有两种尺寸，2B和7B，并且提供了聊天的基本版和指令版。 用一句话来总结Gemma就是：学习了Llama 2和Mistral 7B的优点，使用了更多的Token和单词进行了训练了一个更好的7B 阅读全文