摘要：
国外的大模型主要就下面几个： 公司 大模型 备注 OpenAi ChatGPT Anthropic Claude Google Gemini / Gemma Meta Llama Mistral Mistral 法国公司 Microsoft Phi 他们之间有很多联系，在发布版本时，有时会看到有些针 阅读全文
posted @ 2024-09-02 14:18 蝈蝈俊 阅读(96) 评论(0) 推荐(0)
摘要：
每当我们看到一个小团队获得巨大成就时，总是会感叹其为何会有如此高的效率，在AI时代，这样的案例会越来越多。 Instagram 2012 年 Instagram 被 Facebook 以 10 亿美金收购时只有 13 个人。 Instagram 于 2010 年推出，是一家以照片和视频分享为核心的社 阅读全文
posted @ 2024-08-24 19:36 蝈蝈俊 阅读(64) 评论(0) 推荐(0)
摘要：
谷歌前CEO施密特被下架的斯坦福AI讲座中，给出了当前AI的三个重要发展方向是： 更大的上下文窗口； 更强大的AI代理； 文本到行动能力的提升； 并认为在接下来的一年里就可以看到效果。 在讲解讨论文本到行动时，施密特用TikTok举的例子可以让我们清晰的看到未来AI可以做什么？ 如果TikTok下架 阅读全文
posted @ 2024-08-20 06:48 蝈蝈俊 阅读(56) 评论(0) 推荐(0)
摘要：
针对特定的场景，LLM优化方法有三类：Prompt Engineering、RAG、Fine-tuning 不论使用那种方式优化，我们都需要在完成优化后，评估优化的效果，这个效果不能只人为的感觉（做不过来，也不科学），那如何做自动化评分呢？ 下面以最常见的问答、对话系统的优化任务为例来展开介绍几种简 阅读全文
posted @ 2024-08-19 16:59 蝈蝈俊 阅读(673) 评论(0) 推荐(0)
摘要：
Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈中提到： 只有AI在组织形态和流程上创新后，才算真正的变革开始。 完整的视频： https://www.bilibili.com/video/BV1Fy411v7jt/ 下面是这部分翻译： 电力是一种通用技术。通用技术有一 阅读全文
posted @ 2024-08-19 09:26 蝈蝈俊 阅读(143) 评论(0) 推荐(0)
摘要：
https://www.substratus.ai/blog/calculating-gpu-memory-for-llm 这里提供了一个公式可以计算加载一个模型需要多少GPU内存？ M = \frac{(P * 4B)} {(32/{Q}) } * 1.2 这个公式首先计算模型的全精度大小\(（P 阅读全文
posted @ 2024-08-18 20:30 蝈蝈俊 阅读(471) 评论(0) 推荐(0)
摘要：
在计算机中，浮点数的表示基于IEEE 754标准，这是最广泛使用的浮点数表示标准。对于一个具体的数值，如 10.2345434，它会被分解为符号位、指数位和尾数位。 这里以最常见的 float32（单精度浮点数）为例来解释这个过程： 符号位 如果数值是正的，符号位为0；如果数值是负的，符号位为1。 阅读全文
posted @ 2024-08-03 18:13 蝈蝈俊 阅读(145) 评论(0) 推荐(0)
摘要：
访问 Hugging Face 中的资源，需要使用Access Tokens，可以在 Hugging Face 设置页面（https://huggingface.co/settings/tokens）生成自己的token。 一旦你获得了token，可以有下面几种方法使用它： 一、直接在代码中传递to 阅读全文
posted @ 2024-08-01 15:40 蝈蝈俊 阅读(9481) 评论(0) 推荐(0)
摘要：
真正做过 LLM 开发的都知道，虽然理论上 LLM 可以生成结构化的数据，但是真正生成的时候经常出错。怎么稳定的让 LLM 返回结构化的数据？ LinkedIn 的做法如下： https://www.linkedin.com/blog/engineering/generative-ai/musing 阅读全文
posted @ 2024-07-29 08:00 蝈蝈俊 阅读(383) 评论(1) 推荐(0)
摘要：
PaliGemma 是 Google 开发的轻量级的具有多模态功能的视觉语言模型 (VLM)。 https://ai.google.dev/gemma/docs/paligemma?hl=zh-cn 它将图片和文本作为输入，可以回答有关图片的问题并提供详细信息和上下文。 这意味着 PaliGemma 阅读全文
posted @ 2024-07-24 08:42 蝈蝈俊 阅读(214) 评论(0) 推荐(0)
浙公网安备 33010602011771号