摘要：在机器学习中，我们经常会使用余弦函数来计算向量之间的相似性。从推荐系统到自然语言处理，再到计算机视觉，余弦相似性在多种机器学习应用中都有其独特的价值。它不仅限于特定领域，而是几乎可以在任何需要比较向量相似度的场景下使用。 阅读全文
StackExchange.Redis跑起来，为什么这么溜？
2024-05-27 08:29 by 萤火架构, 825 阅读, 7 推荐, 收藏, 编辑
摘要：StackExchange.Redis 是一个高性能的 Redis 客户端库，主要用于 .NET 环境下与 Redis 服务器进行通信，大名鼎鼎的stackoverflow 网站就使用它。它使用异步编程模型，能够高效处理大量请求。支持 Redis 的绝大部分功能，包括发布/订阅、事务、Lua 脚本等。由 StackExchange 团队维护，质量和更新频率有保障。这篇文章就来给大家分享下 StackExchange.Redis 为什么玩的这么溜。 阅读全文
扎克伯格说，Llama3-8B还是太大了，量化、剪枝、蒸馏准备上！
2024-04-25 08:09 by 萤火架构, 995 阅读, 1 推荐, 收藏, 编辑
摘要：扎克伯格说，Llama3-8B还是太大了，不适合放到手机中，有什么办法？ 量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要，它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们，理解其中的原 阅读全文
Llama3-8B到底能不能打？实测对比
2024-04-23 13:22 by 萤火架构, 5177 阅读, 2 推荐, 收藏, 编辑
摘要：前几天Meta开源发布了新的Llama大语言模型：Llama-3系列，本次一共发布了两个版本：Llama-3-8B和Llama-3-70B，根据Meta发布的测评报告，Llama-3-8B的性能吊打之前的Llama-2-70B，也就是说80亿参数的模型干掉了700亿参数的模型，这个还真挺让人震惊的。 阅读全文
十分钟学会微调大语言模型
2024-04-19 08:05 by 萤火架构, 1937 阅读, 5 推荐, 收藏, 编辑
摘要：完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。 阅读全文
阿里开源的32B大模型到底强在哪里？
2024-04-10 08:13 by 萤火架构, 1667 阅读, 1 推荐, 收藏, 编辑
摘要：阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？ 更高的性价比 Qwen1.5-32B中的B是billion的意思，也就是10亿，32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B，72B就代表720亿参数量 阅读全文
什么是正向代理和反向代理？
2024-03-26 07:53 by 萤火架构, 543 阅读, 5 推荐, 收藏, 编辑
摘要：小明去饭馆吃饭，正向代理就像是小明的朋友帮他去点餐，服务员并不知道最终吃饭的人是小明；而反向代理则像是饭馆的服务员，他们决定把小明的订单送到哪个厨师手里去做。 阅读全文
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
2024-03-20 14:08 by 萤火架构, 1355 阅读, 5 推荐, 收藏, 编辑
摘要：部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。 阅读全文
异步编程真的让程序更快了吗？
2024-03-11 13:00 by 萤火架构, 5428 阅读, 19 推荐, 收藏, 编辑
摘要：现在异步编程真的是越来越普遍了，很多同学也玩得很溜了，满世界的异步调用，不过，当谈到异步编程的工作原理时，大部分同学就哑火了。本文就来一起探讨下同步和异步调用的本质区别，深入解析异步编程的工作原理。 阅读全文
微服务架构，客户端如何catch服务端的异常？
2024-03-06 13:02 by 萤火架构, 491 阅读, 2 推荐, 收藏, 编辑
摘要：在微服务架构或者分布式系统中，客户端如何捕捉服务端的异常？这里说的客户端指调用方、服务端指被调用方，它们通常运行在不同的进程之中，这些进程可能运行在同一台服务器，也可能运行在不同的服务器，甚至不同的数据机房；其使用的技术栈可能相同，也可能存在很大的差异。 阅读全文