摘要：扎克伯格说，Llama3-8B还是太大了，不适合放到手机中，有什么办法？ 量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要，它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们，理解其中的原 阅读全文
Llama3-8B到底能不能打？实测对比
2024-04-23 13:22 by 萤火架构, 1460 阅读, 2 推荐, 收藏, 编辑
摘要：前几天Meta开源发布了新的Llama大语言模型：Llama-3系列，本次一共发布了两个版本：Llama-3-8B和Llama-3-70B，根据Meta发布的测评报告，Llama-3-8B的性能吊打之前的Llama-2-70B，也就是说80亿参数的模型干掉了700亿参数的模型，这个还真挺让人震惊的。 阅读全文
十分钟学会微调大语言模型
2024-04-19 08:05 by 萤火架构, 1393 阅读, 5 推荐, 收藏, 编辑
摘要：完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。 阅读全文
阿里开源的32B大模型到底强在哪里？
2024-04-10 08:14 by 萤火架构, 1266 阅读, 1 推荐, 收藏, 编辑
摘要：阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？ 更高的性价比 Qwen1.5-32B中的B是billion的意思，也就是10亿，32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B，72B就代表720亿参数量 阅读全文
什么是正向代理和反向代理？
2024-03-26 07:53 by 萤火架构, 495 阅读, 5 推荐, 收藏, 编辑
摘要：小明去饭馆吃饭，正向代理就像是小明的朋友帮他去点餐，服务员并不知道最终吃饭的人是小明；而反向代理则像是饭馆的服务员，他们决定把小明的订单送到哪个厨师手里去做。 阅读全文
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
2024-03-20 14:08 by 萤火架构, 889 阅读, 5 推荐, 收藏, 编辑
摘要：部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。 阅读全文
异步编程真的让程序更快了吗？
2024-03-11 13:01 by 萤火架构, 5192 阅读, 19 推荐, 收藏, 编辑
摘要：现在异步编程真的是越来越普遍了，很多同学也玩得很溜了，满世界的异步调用，不过，当谈到异步编程的工作原理时，大部分同学就哑火了。本文就来一起探讨下同步和异步调用的本质区别，深入解析异步编程的工作原理。 阅读全文
微服务架构，客户端如何catch服务端的异常？
2024-03-06 13:02 by 萤火架构, 428 阅读, 2 推荐, 收藏, 编辑
摘要：在微服务架构或者分布式系统中，客户端如何捕捉服务端的异常？这里说的客户端指调用方、服务端指被调用方，它们通常运行在不同的进程之中，这些进程可能运行在同一台服务器，也可能运行在不同的服务器，甚至不同的数据机房；其使用的技术栈可能相同，也可能存在很大的差异。 阅读全文
TCP和UDP可以使用同一个端口号吗？
2024-03-05 13:33 by 萤火架构, 1510 阅读, 4 推荐, 收藏, 编辑
摘要：在网络通信中，同一台计算机中，TCP和UDP协议可以使用相同的端口号。每个网络进程中的套接字地址都是唯一的，由三元组（IP地址，传输层协议，端口号）标识。操作系统会根据数据包中的传输层协议（TCP或UDP）以及端口号，将接收到的数据正确地交付给相应的应用程序。 阅读全文
Redis能保证数据不丢失吗？
2024-02-23 16:33 by 萤火架构, 1073 阅读, 3 推荐, 收藏, 编辑
摘要：Redis主要在内存中操作数据，内存是一种临时存储，一旦断电（或者硬件故障、软件错误等），内存中的数据就会烟消云散。有的同学会说，数据不是会保存到硬盘吗？是的，但是还是可能会有一些数据来不及写入硬盘，这是Redis的持久化机制导致的。而且，即使Redis将全部数据都及时保存到了硬盘，硬盘出现问题也可能会导致Redis的数据丢失。 阅读全文