代码改变世界

扎克伯格说,Llama3-8B还是太大了,量化、剪枝、蒸馏准备上!

2024-04-25 08:09 by 萤火架构, 759 阅读, 1 推荐, 收藏, 编辑
摘要:扎克伯格说,Llama3-8B还是太大了,不适合放到手机中,有什么办法? 量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,我们很难理解它们都干了些什么,但是这几个词对于现阶段的大语言模型发展特别重要,它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们,理解其中的原 阅读全文

Llama3-8B到底能不能打?实测对比

2024-04-23 13:22 by 萤火架构, 2387 阅读, 2 推荐, 收藏, 编辑
摘要:前几天Meta开源发布了新的Llama大语言模型:Llama-3系列,本次一共发布了两个版本:Llama-3-8B和Llama-3-70B,根据Meta发布的测评报告,Llama-3-8B的性能吊打之前的Llama-2-70B,也就是说80亿参数的模型干掉了700亿参数的模型,这个还真挺让人震惊的。 阅读全文

十分钟学会微调大语言模型

2024-04-19 08:05 by 萤火架构, 1547 阅读, 5 推荐, 收藏, 编辑
摘要:完整的大语言模型训练成本比较高昂,不是我们业余玩家能搞的,如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力,可以进行微调训练。 阅读全文

阿里开源的32B大模型到底强在哪里?

2024-04-10 08:14 by 萤火架构, 1411 阅读, 1 推荐, 收藏, 编辑
摘要:阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B,网上都说很强很强,那么它到底强在哪里呢? 更高的性价比 Qwen1.5-32B中的B是billion的意思,也就是10亿,32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B,72B就代表720亿参数量 阅读全文

什么是正向代理和反向代理?

2024-03-26 07:53 by 萤火架构, 511 阅读, 5 推荐, 收藏, 编辑
摘要:小明去饭馆吃饭,正向代理就像是小明的朋友帮他去点餐,服务员并不知道最终吃饭的人是小明;而反向代理则像是饭馆的服务员,他们决定把小明的订单送到哪个厨师手里去做。 阅读全文

大模型应用开发:手把手教你部署并使用清华智谱GLM大模型

2024-03-20 14:08 by 萤火架构, 1006 阅读, 5 推荐, 收藏, 编辑
摘要:部署一个自己的大模型,没事的时候玩两下,这可能是很多技术同学想做但又迟迟没下手的事情,没下手的原因很可能是成本太高,近万元的RTX3090显卡,想想都肉疼,又或者官方的部署说明过于简单,安装的时候总是遇到各种奇奇怪怪的问题,难以解决。本文就来分享下我的安装部署经验,包括本地和租用云服务器的方式,以及如何通过API调用大模型开发自己的AI应用,希望能解决一些下不去手的问题。 阅读全文

异步编程真的让程序更快了吗?

2024-03-11 13:01 by 萤火架构, 5248 阅读, 19 推荐, 收藏, 编辑
摘要:现在异步编程真的是越来越普遍了,很多同学也玩得很溜了,满世界的异步调用,不过,当谈到异步编程的工作原理时,大部分同学就哑火了。本文就来一起探讨下同步和异步调用的本质区别,深入解析异步编程的工作原理。 阅读全文

微服务架构,客户端如何catch服务端的异常?

2024-03-06 13:02 by 萤火架构, 447 阅读, 2 推荐, 收藏, 编辑
摘要:在微服务架构或者分布式系统中,客户端如何捕捉服务端的异常?这里说的客户端指调用方、服务端指被调用方,它们通常运行在不同的进程之中,这些进程可能运行在同一台服务器,也可能运行在不同的服务器,甚至不同的数据机房;其使用的技术栈可能相同,也可能存在很大的差异。 阅读全文

TCP和UDP可以使用同一个端口号吗?

2024-03-05 13:33 by 萤火架构, 1532 阅读, 4 推荐, 收藏, 编辑
摘要:在网络通信中,同一台计算机中,TCP和UDP协议可以使用相同的端口号。每个网络进程中的套接字地址都是唯一的,由三元组(IP地址,传输层协议,端口号)标识。操作系统会根据数据包中的传输层协议(TCP或UDP)以及端口号,将接收到的数据正确地交付给相应的应用程序。 阅读全文

Redis能保证数据不丢失吗?

2024-02-23 16:33 by 萤火架构, 1132 阅读, 3 推荐, 收藏, 编辑
摘要:Redis主要在内存中操作数据,内存是一种临时存储,一旦断电(或者硬件故障、软件错误等),内存中的数据就会烟消云散。有的同学会说,数据不是会保存到硬盘吗?是的,但是还是可能会有一些数据来不及写入硬盘,这是Redis的持久化机制导致的。而且,即使Redis将全部数据都及时保存到了硬盘,硬盘出现问题也可能会导致Redis的数据丢失。 阅读全文