摘要: 本地部署FastGPT使用在线大语言模型 FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力,它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同,为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所 阅读全文
posted @ 2024-03-08 09:52 景少 阅读(1570) 评论(2) 推荐(4) 编辑
摘要: 通过引入一个标志位,让CPU去争抢设置标志位。这些CPU通过原子性指令来设置标志位,由于是原子操作,那么只有一个CPU能设置成功,也即只有设置标志位成功的线程可以执行方法代码,设置失败的其他线程则要排队进入阻塞队列。 阅读全文
posted @ 2022-09-26 08:15 景少 阅读(543) 评论(0) 推荐(1) 编辑
摘要: 并发原理 — CPU原子性指令(一) 只有CPU提供了原子性指令,上层应用才能够根据这些指令来设计出指令段与指令段之间的原子性操作。这是一种自底向上的设计,没有CPU最底层的支持,上层应用根本就无法解决并发问题。应用程序使用自身语言提供的并发操作函数库,比如java的juc包,而这些函数库又会封装OS的系统调用或者使用glibc库,OS的系统调用最终会使用CPU提供的原子性指令。 阅读全文
posted @ 2022-09-21 08:26 景少 阅读(852) 评论(0) 推荐(4) 编辑
摘要: 奔腾处理器增加了MESI技术。core1把数据写入了自己的L1缓存中,还未写入内存。此时core2读取此数据发现数据状态无效,那要怎么办?此时有2种机制可以保证数据一致性 阅读全文
posted @ 2022-09-18 17:37 景少 阅读(133) 评论(0) 推荐(0) 编辑
摘要: k8s入门之Secret(十) Secret与ConfigMap都是用来存储配置信息的,不同之处在于ConfigMap是明文存储的,而Secret用来保存敏感信息,如:密码、OAuth令牌,ssh key等等。Secret常用有三种类型: Opaque:使用base64编码格式存储密码等信息,加密性很弱。 kubernetes.i 阅读全文
posted @ 2022-05-08 18:29 景少 阅读(484) 评论(0) 推荐(0) 编辑
摘要: k8s入门之ConfigMap(九) ConfigMap是k8s的配置管理工具,通常用来保存明文的配置信息,以key-value形式传递配置。 一、使用命令创建ConfigMap对象 1.通过--from-literal参数创建 kubectl create configmap mycm1 --from-literal=appid=or 阅读全文
posted @ 2022-04-28 22:21 景少 阅读(595) 评论(0) 推荐(0) 编辑
摘要: k8s入门之PV和PVC(八) 某些应用是要持久化数据的,如果直接持久化在pod所在节点,当pod因为某种原因重建或被调度另外一台节点,是无法访问到之前持久化的数据,所以需要一个公共存储数据的地方,无论pod删除重建或重新调度到其他节点都能访问原来的数据,使用nfs就可以到达此目的。 一、安装nfs 1.在k8sMaster主节点 阅读全文
posted @ 2022-04-27 21:59 景少 阅读(750) 评论(0) 推荐(1) 编辑
摘要: k8s入门之Ingress(七) Ingress 的功能其实很容易理解:所谓 Ingress,就是 Service 的“Service”,代理不同后端 Service 而设置的负载均衡服务。 一、安装ingress 1.查找ingress安装文件 从github上查看ingress对应k8s版本的deploy文件,链接地址是: ht 阅读全文
posted @ 2022-04-22 22:06 景少 阅读(1582) 评论(1) 推荐(0) 编辑
摘要: k8s入门之Service(六) 将一组pod公开为网络服务,通过service代理,可以实现负载均衡 一、ClusterIP 此方式只能在集群内访问 1.使用命令暴露已存在的pod (1)继续使用前面章节的案例,查看名称为nginx的deploy下的pod kubectl get pod -n dev -owide 进入每个pod 阅读全文
posted @ 2022-04-21 22:01 景少 阅读(437) 评论(0) 推荐(1) 编辑
摘要: k8s入门之Deployment(五) Deployment控制器通常用来部署无状态的应用,这样可以在任意的节点上扩容或者删除,而不用考虑数据的问题,它可以管理pod对象。 一、多副本 1.使用命令行方式创建Deployment 在dev名称空间下创建3个副本的nginx pod kubectl create deployment ngi 阅读全文
posted @ 2022-04-20 10:06 景少 阅读(778) 评论(0) 推荐(0) 编辑