摘要：
1.LLM信息抽取前的预清洗 / 降噪 本地部署的小模型（12B等参数）更依赖“表面模式”，大模型更会“忽略干扰”。 所以在本地部署的模型在提取文本参数时，要尽量对数据进行降噪。 以下是我的一个文本降噪想法： 👉Markdown → 结构化块（section / table） 👉规则过滤：只保留 阅读全文
posted @ 2026-01-23 12:05
asphyxiasea
阅读(3)
评论(0)
推荐(0)
摘要：
VS Code不是传统庞大的编程IDE，而是一个轻量但功能极强的代码编辑器，通过插件可以变成支持任何语言的编程工具。 因为 VS Code 是插件驱动型，所以用途几乎无限。 例如： pycharm中难以实现的SSH+SSH代理远程开发，在VS Code中能够轻松解决， 本地安装Remote - SS 阅读全文
posted @ 2026-01-23 12:03
asphyxiasea
阅读(1)
评论(0)
推荐(0)
摘要：
1. SAM3大模型 META旗下的一款大模型SAM3，能够自动、泛化地分割图像或视频中的任意物体。 多模态提示（文本、点、框）的图像分割和视频分割。 基于Transformer的编码器-解码器，可以处理高分辨率图像，支持多GPU推理。 SAM3大模型部署 参考github中SAM3官方代码网站： 阅读全文
posted @ 2026-01-23 12:03
asphyxiasea
阅读(2)
评论(0)
推荐(0)
摘要：
1. dify的作用 方向 作用说明 本地/自有模型管理 可以把 Ollama 或本地 LLM 模型接入 Dify，通过统一界面管理模型、调参和调用。 多模型接入 支持 OpenAI、Ollama、LLM Hub 等多种模型接口，方便组合使用。 低代码应用 提供可视化工作流，可以拖拽创建问答、聊天机 阅读全文
posted @ 2026-01-23 12:02
asphyxiasea
阅读(1)
评论(0)
推荐(0)
摘要：
1. Ollama 与 Conda 部署模型的区别 Ollama Conda 自动管理推理环境 需手动配置环境CUDA+Ptorch等等 一条命令启动模型 需要写代码加载模型 内置量化和优化 需要手动配置 易于远程访问 需自己写服务API接口 一句话总结： Ollama = 快速部署、开箱即用的 L 阅读全文
posted @ 2026-01-23 12:02
asphyxiasea
阅读(6)
评论(0)
推荐(0)
摘要：
1. POINTS-Reader 模型部署和下载 尝试在Linux上使用git直接克隆下载Tencent/POINTS-Reader，但遇到HuggingFace网络问题，git克隆大模型的方法行不通。 不要使用git clone方式下载模型，非常不靠谱。 使用专用多线程下载器hfd 工具同样支持设 阅读全文
posted @ 2026-01-23 12:02
asphyxiasea
阅读(1)
评论(0)
推荐(0)
摘要：
1.Ollama与vLLM Ollama主要应用场景是LLM大模型的部署，不包含图像处理模型，专注于本地化、轻量化部署 ，通过Docker容器技术简化模型运行流程，用户无需复杂配置即可快速启动模型。其设计目标是降低本地使用LLM的门槛，适合个人开发者或资源有限的环境。 vLLM ： 侧重于高性能推理 阅读全文
posted @ 2026-01-23 12:01
asphyxiasea
阅读(4)
评论(0)
推荐(0)
摘要：
1.ollama部署IP问题 修改ollama配置使其可以监听0.0.0.0和修改端口可以外网访问，127.0.0.1外网访问不了。 2.docker部署ollama docker run -d --gpus=all \ -v /home/user/models/ollama_models:/roo 阅读全文
posted @ 2026-01-23 12:01
asphyxiasea
阅读(0)
评论(0)
推荐(0)
摘要：
1.制作SAM3的docker镜像的问题 因为SAM3是新出来的模型，配合transformer使用，transformer在pip中的版本还未更新，只能从源代码安装Transformers，并安装额外使用的[torch]依赖。 其实Dockerfile它描述了环境、依赖、代码、启动方式等整个构建过 阅读全文
posted @ 2026-01-23 12:01
asphyxiasea
阅读(1)
评论(0)
推荐(0)
摘要：
image_file与image_url参数设计理念。 参数 类型 优先级 适用场景 image_file 本地文件 高 本地图片直接上传 image_url 网络 URL 低 图片在网上，不想先下载 device = Accelerator().device SAM3的多卡同时推理，适用于推理视频 阅读全文
posted @ 2026-01-23 12:00
asphyxiasea
阅读(1)
评论(0)
推荐(0)
浙公网安备 33010602011771号