摘要:
前言 目前 AI 的入门门槛已大幅降低,对硬件性能的要求也不再严苛。所以想写一篇基于如何使用 NVIDIA 显卡来跑目前比较热门的模型,这篇文章我会从环境配置到模型部署,每个流程都尽量细致入微,让一个从没接触过 ai 的人可以完成,如果你觉得有什么地方可以优化修改,欢迎评论留言,我也会不断完善文章, 阅读全文
前言 目前 AI 的入门门槛已大幅降低,对硬件性能的要求也不再严苛。所以想写一篇基于如何使用 NVIDIA 显卡来跑目前比较热门的模型,这篇文章我会从环境配置到模型部署,每个流程都尽量细致入微,让一个从没接触过 ai 的人可以完成,如果你觉得有什么地方可以优化修改,欢迎评论留言,我也会不断完善文章, 阅读全文
posted @ 2025-06-12 14:03
Sora33
阅读(225)
评论(0)
推荐(0)

前言 环境介绍:使用的Python版本为3.12.4且需要魔法网络,对电脑性能有一定需求(但也没那么离谱) 相信不少人已经体验过Ai带来的便利了,甚至在工作上使用Ai加以辅助。本文是对那些对Ai产生兴趣且希望在自己的设备上实际运行大语言模型的人而准备,希望可以通过这篇文章来让更多人认识和了解Ai。本
Sentinel介绍 这里我直接引用官方的一段话来介绍一下sentinel。随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维
前言 CI/CD是持续化继承和持续化部署的简称。目的是在开发的过程中,尽可能的降低人工成本,来完成部署操作。通过Jenkins自动流水线工作可以省去很多时间,对于程序开发者而言,将部署jar包、修改环境、日志记录等一系列操作集成到Jenkins任务内,省时又省力,本次将以Jenkins为核心进行从0
前言 当前AI技术生态以 Python 为主导,这几天在研究用 Java 搭建知识库使用,最终都避不开 Python,于是打算记录下结果,目前是有 2 个方案,第一个方案是 在 Python 中使用 embedding嵌入模型,完成数据向量化与向量搜索,推荐使用这个方案,简单也方便。第二个方案是不使
认识Ingress-nginx 我们先来看一下官网对于ingress的解释: Ingress提供从集群外部到集群内服务的 HTTP 和 HTTPS 路由。流量路由由 Ingress 资源所定义的规则来控制。下面是 Ingress 的一个简单示例,可将所有流量都发送到同一 Service: 通俗的理解
前言 minikube可以做到在本地部署kubernetes(也叫K8s,后面会用K8s指代kubernetes)环境、以单节点集群环境运行,非常方便个人测试和学习。个人也打算使用minikube来当作练手,在差不多搞清楚K8s的运作原理以及各种配置后,再上多台服务器搭建的真正的K8s环境。所以希望
浙公网安备 33010602011771号