摘要: 使用CUDA部署LLM、TTS、ASR三种类型的开源模型 前言 目前 AI 的入门门槛已大幅降低,对硬件性能的要求也不再严苛。所以想写一篇基于如何使用 NVIDIA 显卡来跑目前比较热门的模型,这篇文章我会从环境配置到模型部署,每个流程都尽量细致入微,让一个从没接触过 ai 的人可以完成,如果你觉得有什么地方可以优化修改,欢迎评论留言,我也会不断完善文章, 阅读全文
posted @ 2025-06-12 14:03 Sora33 阅读(225) 评论(0) 推荐(0)
摘要: 基于ollama从零部署大语言模型 前言 环境介绍:使用的Python版本为3.12.4且需要魔法网络,对电脑性能有一定需求(但也没那么离谱) 相信不少人已经体验过Ai带来的便利了,甚至在工作上使用Ai加以辅助。本文是对那些对Ai产生兴趣且希望在自己的设备上实际运行大语言模型的人而准备,希望可以通过这篇文章来让更多人认识和了解Ai。本 阅读全文
posted @ 2025-06-12 14:46 Sora33 阅读(69) 评论(0) 推荐(0)
摘要: 前言 RPC 在了解gRPC之前,我们需要先知道RPC,也就是远程过程调用(Remote Procedure Call),它本身并非是一种协议,而是一种调用方式,允许一台机器调用另一台机器上服务的方法,而且屏蔽了底层网络通信的细节,并且支持跨语言调用。目前常见的RPC框架有gRPC、Thrift、D 阅读全文
posted @ 2025-06-12 14:46 Sora33 阅读(108) 评论(0) 推荐(0)
摘要: 前言 在平时编写代码时,我们可以在本地跑通的项目有时候在别人那里就是出现各种莫名其妙的错误,从而产生了“调试环境”的时间,而解决环境问题所需要的时间也说不定,轻则几分钟,重则以天计单位。但这个时候如果让别人直接用我们“现成”的环境就可以直接解决。这个就是Docker镜像的作用之一,但别人要用我们的镜 阅读全文
posted @ 2025-06-12 14:43 Sora33 阅读(781) 评论(0) 推荐(0)
摘要: 前言 上一期我们简单介绍了Dockerfile及对应使用方法,本地项目打包成镜像并上传到docker仓库。那么本期继续对Docker进行深入,了解Docker Compose多容器编排的处理。 本文使用的为docker compose v2,版本为v2.28.1,v1已经停止维护了 Docker C 阅读全文
posted @ 2025-06-12 14:43 Sora33 阅读(27) 评论(0) 推荐(0)
摘要: Alibaba-Sentinel微服务流量治理组件的使用 Sentinel介绍 这里我直接引用官方的一段话来介绍一下sentinel。随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维 阅读全文
posted @ 2025-06-12 14:42 Sora33 阅读(25) 评论(0) 推荐(0)
摘要: (自动化部署,CI:CD)多环境多平台安装并使用Jenkins 前言 CI/CD是持续化继承和持续化部署的简称。目的是在开发的过程中,尽可能的降低人工成本,来完成部署操作。通过Jenkins自动流水线工作可以省去很多时间,对于程序开发者而言,将部署jar包、修改环境、日志记录等一系列操作集成到Jenkins任务内,省时又省力,本次将以Jenkins为核心进行从0 阅读全文
posted @ 2025-06-12 14:36 Sora33 阅读(68) 评论(0) 推荐(0)
摘要: 在java中使用deepseek并接入联网搜索和知识库 前言 当前AI技术生态以 Python 为主导,这几天在研究用 Java 搭建知识库使用,最终都避不开 Python,于是打算记录下结果,目前是有 2 个方案,第一个方案是 在 Python 中使用 embedding嵌入模型,完成数据向量化与向量搜索,推荐使用这个方案,简单也方便。第二个方案是不使 阅读全文
posted @ 2025-06-12 14:26 Sora33 阅读(164) 评论(0) 推荐(0)
摘要: 【从零开始的K8s-02】ingress-nginx的认识与使用 认识Ingress-nginx 我们先来看一下官网对于ingress的解释: Ingress提供从集群外部到集群内服务的 HTTP 和 HTTPS 路由。流量路由由 Ingress 资源所定义的规则来控制。下面是 Ingress 的一个简单示例,可将所有流量都发送到同一 Service: 通俗的理解 阅读全文
posted @ 2025-06-12 14:25 Sora33 阅读(242) 评论(0) 推荐(0)
摘要: 【从零开始的K8s-01】基于minikube搭建一个本地K8s环境 前言 minikube可以做到在本地部署kubernetes(也叫K8s,后面会用K8s指代kubernetes)环境、以单节点集群环境运行,非常方便个人测试和学习。个人也打算使用minikube来当作练手,在差不多搞清楚K8s的运作原理以及各种配置后,再上多台服务器搭建的真正的K8s环境。所以希望 阅读全文
posted @ 2025-06-12 14:23 Sora33 阅读(657) 评论(0) 推荐(0)