荣锋亮 - 博客园

llm-axe ollama 函数调用试用

摘要：以前简单介绍了llm-axe是支持函数调用的，以下是对于ollama 函数调用的简单试用参考使用 me.py from llm_axe.agents import FunctionCaller from llm_axe.models import OllamaChat import time de 阅读全文

posted @ 2024-08-21 07:43 荣锋亮阅读(91) 评论(0) 推荐(0)

llm-axe LLM 应用开发一些方便的工具类

摘要： llm-axe 提供了不少工具类，可以方便进行llm 应用开发提供的一个能力自定义agent 函数调用在线agent pdf 内容读取数据提取对象检测（视觉模型）支持ollama 说明对于基于ollama 开发应用的场景，llm-axe 提供的一些功能还是很方便的，很值得使用下参考资阅读全文

posted @ 2024-08-20 08:00 荣锋亮阅读(45) 评论(0) 推荐(0)

outlines 结构化文本生成框架

摘要： outlines 结构化文本生成框架包含的特性多模型集成，openai，transformers，llama.cpp, exllama2,mamba 基于jinja 模版引擎简单强大的提示词类型约束，多选择支持快速正则结构生成基于json schema 以及pydantic 模型的快速js 阅读全文

posted @ 2024-08-19 08:00 荣锋亮阅读(230) 评论(0) 推荐(0)

huggingface_hub cli 使用以及国内加速配置

摘要：主要是一个简单记录，方便后续使用安装 pip install -U huggingface_hub 使用下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 下载数据 huggingface-cli downl 阅读全文

posted @ 2024-08-18 06:19 荣锋亮阅读(677) 评论(0) 推荐(0)

miniconda 安装简单说明

摘要： miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用安装说明下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

posted @ 2024-08-17 07:53 荣锋亮阅读(173) 评论(0) 推荐(0)

cloudflared tunnel 简单使用

摘要： cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试简单使用安装基于mac 系统 brew install cloudflared 登陆注册按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

posted @ 2024-08-16 00:13 荣锋亮阅读(337) 评论(0) 推荐(0)

maven 通过cli 执行plugin 命令

摘要：实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的参考使用命令以下是对于项目打一个fat jar mvn clean comp 阅读全文

posted @ 2024-08-15 07:13 荣锋亮阅读(94) 评论(0) 推荐(0)

omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具

摘要： omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具包含的特性本地运行支持10+ 文件类型转换文旦分多媒体，web 为高质量结构化的markdown 表格提取，图片提取，音视频字幕，web 爬虫快速部署提供了api 访问使用到的一些开源工具如下，主要是orc ，音阅读全文

posted @ 2024-08-14 08:00 荣锋亮阅读(446) 评论(0) 推荐(0)

snowflake polaris iceberg rest catalog 代码发布到github 了

摘要：就在7月低snowflake 的 polaris 代码以及发布到github 了，以下是一些资料可以参考说明从介绍上polaris 实际上包含了不少nessie 的能力，后续如果与dremio 的集成，还是值得期待的，在今年dremio 的发布会上，说是会包含一个基于rest catalog 的阅读全文

posted @ 2024-08-13 00:32 荣锋亮阅读(83) 评论(0) 推荐(0)

instructor 进行PII 数据处理

摘要：内容来自官方文档，记录下参考使用代码 from typing import List from pydantic import BaseModel from openai import OpenAI import instructor class Data(BaseModel): index: 阅读全文

posted @ 2024-08-13 00:04 荣锋亮阅读(42) 评论(0) 推荐(0)

chainlit stream 模式简单说明

摘要： chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

posted @ 2024-08-12 00:06 荣锋亮阅读(167) 评论(0) 推荐(0)

ollama+ fastapi + litellm proxy + chainlit 进行chatapp 快速开发

摘要：以前简单介绍过chainlit 以及litellm 以下是fastapi 集成chainlit ，使用litellm proxy 包装的标准openai 能力（同时还能实现计费）参考玩法环境准备包含了litellm proxy 以及ollama 的比较简单，我就不多介绍了，具体可以通过静态配置阅读全文

posted @ 2024-08-11 01:04 荣锋亮阅读(517) 评论(0) 推荐(0)

chainlit 快速ai 聊天开发框架

摘要： chainlit 快速ai 聊天开发框架，使用简单包含的特性快速开发类似chatgpt 的应用嵌入chatbot 数据持久化 slack & discord 集成自动前端界面 api 接口与其他框架的集成，比如fastapi，langchain，llamaindex， haystack，e 阅读全文

posted @ 2024-08-10 00:22 荣锋亮阅读(344) 评论(0) 推荐(0)

litellm ollama 通过proxy api 进行模型创建以及自定义计费

摘要：关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明参考api 定义使用通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加 curl -X 'P 阅读全文

posted @ 2024-08-09 08:00 荣锋亮阅读(292) 评论(0) 推荐(0)

fastapi socketio 简单使用

摘要： fastapi 集成python-socketio的简单说明参考使用安装依赖 pip install fastapi uvicorn python-socketio backend 代码 from fastapi import FastAPI,Body from fastapi.middlewa 阅读全文

posted @ 2024-08-08 00:13 荣锋亮阅读(261) 评论(0) 推荐(0)

litellm 计费模型处理

摘要：以下简单说明下litellm 对于计费的处理(使用了内置模式，当然litellm 也是可以通过callback 集成外部系统进行计费的) 参考日志信息 (默认配置) 比如集成internlm2 的日志信息 18:05:05 - LiteLLM:ERROR: litellm_logging.py:12 阅读全文

posted @ 2024-08-07 06:37 荣锋亮阅读(390) 评论(0) 推荐(0)

flagsmith 开源特性开关以及远程配置服务

摘要： flagsmith 开源特性开关以及远程配置服务包含的特性特性开关远程配置 a/b 多变量测试组织管理，项目，角色，团队成员方便集成参考资料 https://github.com/Flagsmith/flagsmithhttps://www.flagsmith.com/https://d 阅读全文

posted @ 2024-08-06 08:00 荣锋亮阅读(44) 评论(0) 推荐(0)

litellm fastapi sse api 集成简单说明

摘要：实际上就是基于litellm+ ollama 对于gemma2 包装一个stream rest api ，以下是一个简单说明参考玩法基于litellm 对于ollama 的模型实现proxy，同时增强安全控制能力，ollama 集成了qwen2 、gemma2 以及其他模型 litellm pr 阅读全文

posted @ 2024-08-05 08:00 荣锋亮阅读(225) 评论(0) 推荐(0)

litellm 集成instructor 简单说明

摘要： instructor 是一个很不错的llm 结构化输出工具litellm 与instructor 的集成模式实际也包含了两种，一种是基于patch 模式，一种是标准openai 模式，以下简单说明下 patch 模式 import litellm from litellm import Router 阅读全文

posted @ 2024-08-04 07:27 荣锋亮阅读(188) 评论(0) 推荐(0)

litellm proxy 模式试用

摘要： litellm 支持灵活的proxy 模式可以更加方便得控制后端llm 以及特性，以下简单说明下 proxy 使用对于proxy 实际上就是一个api web sever 目前可以通过两种模式运行，一种是直接cli 指定模型的，还有一种是基于配置文件的对于简单项目基于cli 是比较快速的方法，如阅读全文

posted @ 2024-08-03 08:00 荣锋亮阅读(1330) 评论(0) 推荐(0)

superagent ai agent 开发框架

摘要： superagent 是一个ai agent 开发框架支持的业务场景基于文档的问答类系统（大模型微调以及向量存储） chatbots co-pilots 以及ai 助手内容生成数据聚合 workflow 自动agent 包含的特性 memory 记忆 streaming python 以及t 阅读全文

posted @ 2024-08-02 07:00 荣锋亮阅读(186) 评论(0) 推荐(0)

langfuse 开源llm工程平台

摘要： langfuse 是一个开源llm工程平台，提供了可观测性，metrics，评估，提示词管理，playgroud，datasets，可以很好的与llamaindex langchain openai sdk，litellm 以及其他东西集成说明 langfuse 支持的集成还是很多的，提供了不少语阅读全文

posted @ 2024-08-01 06:30 荣锋亮阅读(1150) 评论(0) 推荐(0)

schemacrawler 免费开源的数据库schema 发现以及理解工具

摘要： schemacrawler 是基于java 开发的免费开源的数据库schema 发现以及理解工具 schemacrawler 包含的几个周边 cli 提供了cli 我们可以方便的处理不同数据库的处理，同时支持输出为html，json，yaml java api 通过java api 可以方便的通过p 阅读全文

posted @ 2024-07-31 07:58 荣锋亮阅读(568) 评论(0) 推荐(0)

litellm ollama python api 模式测试

摘要：一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用 python代码模式 appv4.py 此模式litellm 会自己进行 from l 阅读全文

posted @ 2024-07-30 07:13 荣锋亮阅读(542) 评论(0) 推荐(0)

litellm openai 标准格式的支持100+ 大模型的负载均衡&异常fallback 框架

摘要： litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）同时也阅读全文

posted @ 2024-07-29 00:42 荣锋亮阅读(527) 评论(0) 推荐(0)

通过instructor 对于LLM 进行结构化输出

摘要：很多时候我们是需要对于LLM 生成的内容进行结构化输出的，比如我们希望利用LLM的能力，对于用户发布的内容进行情感分析，或者对于文档内容提取关键信息并转换为结构化的内容，instructor 是一个很不错的选择（支持多种语言的），以下演示下基于python 的参考使用大模型部署为了方便使用了基阅读全文

posted @ 2024-07-28 08:00 荣锋亮阅读(287) 评论(5) 推荐(0)

ollama push 自己的模型

摘要： ollama 模型运行之后会生成ssh key ，我们首先需要在https://ollama.com/ 进行注册账户，然后添加自己的key，之后才能进行push key 的位置默认一般会有一个~/.ollama/id_ed25519.pub，但是也可能会没有（比如调整了配置）还有一个是在/usr/ 阅读全文

posted @ 2024-07-27 18:11 荣锋亮阅读(600) 评论(0) 推荐(0)

ollama llama3.1 8b openbuddy中文模型

摘要： openbuddy 对于 llama3.1 8b 模型进行了少量的中文训练实现了不错的中文理解处理，以下是使用社区提供的gguf 格式，制作一个ollama 新模型模型制作下载模型下载gguf 文件，推荐使用加速工具 Modelfile 参考了llama3.1 的 FROM /home/mod 阅读全文

posted @ 2024-07-27 14:48 荣锋亮阅读(380) 评论(0) 推荐(0)

python-rq 简单使用

摘要： python-rq 是一个类似celery 的python 任务调度框架基于了redis 部署需要包含worker 以及具体的任务执行，或者调度任务尺触发, 同时注意因为依赖redis 应该先启动redis 启动worker rq worker --with-scheduler 任务开发注意任务阅读全文

posted @ 2024-07-27 08:00 荣锋亮阅读(161) 评论(0) 推荐(0)

fastapi apscheduler 集成简单说明

摘要：对于 fastapi apscheduler 集成以及支持动态添加任务的简单说明参考使用依赖包含了fastapi，apscheduler sqlalchemy uvicorn pip install fastapi apscheduler sqlalchemy uvicorn 代码简单说明代阅读全文

posted @ 2024-07-26 08:00 荣锋亮阅读(223) 评论(0) 推荐(0)

constructor conda 软件安装包构建工具

摘要： constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用准备conda 环境命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

posted @ 2024-07-25 08:00 荣锋亮阅读(118) 评论(0) 推荐(0)

dbt indexes 配置简单说明

摘要： dbt indexes 索引配置的目的是提升系统性能，为了方便维护dbt 提供了默认空实现，对于不同db 会有不同的实现，以下简单说明下内部macro 定义可以看到基本实现都为空，由具体的db adapter 实现 {% macro get_create_index_sql(relation, 阅读全文

posted @ 2024-07-24 07:37 荣锋亮阅读(52) 评论(0) 推荐(0)

ollama 0.2.8 发布

摘要：就在今天ollama 0.2.8 发布了，提供了新的模型mistral-nemo 以及nuextract 的支持，mistral-nemo 是一个新发布的模型，很值得体验下参考资料 https://ollama.com/library/mistral-nemohttps://ollama.com/ 阅读全文

posted @ 2024-07-23 15:53 荣锋亮阅读(72) 评论(0) 推荐(0)

dbt 1.8 发布

摘要：就在最近，dbt 发布了1.8.0 版本，核心比较重要的功能是提供了单元测试的能力，同时是官方文档也进行了调整（以前是可以看到，但是是实际是不能使用的），完整的changelogs 可以查看github 信息参考资料 https://docs.getdbt.com/reference/resour 阅读全文

posted @ 2024-07-23 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

dbt dremio 自定义的几个macro 简单说明

摘要：关于自定义schema 以前简单说明过，实际上dbt 支持了好几个预留的macro，可以方便进行自定义，比如schema，database，aliases，target dbt dremio adapter 的几个自定义macro 实际上就是上边说的，schemas，aliases，database 阅读全文

posted @ 2024-07-22 08:00 荣锋亮阅读(62) 评论(0) 推荐(0)

dbt dremio nessie create table branch 问题解决简单说明

摘要：以前是简单说明过解决方法，以下通过实际代码，说明下解决 dbt dremio 集成nessie 内部处理简单说明注意目前说明的场景是基于nessie 作为数据库配置的，而不是dbt 标准的space 玩法整体处理如下图，实际上和业务模型的定义有关系，包含了view，以及table，当然还有属于阅读全文

posted @ 2024-07-21 01:21 荣锋亮阅读(50) 评论(0) 推荐(0)

dbt create table branch 问题

摘要：属于社区有人的一个提问，实际上dremio 支持对于nessie source 特定branch 的 table 的创建，而且源码也有信息，只是官方文档缺少说明 branch创建表参考测试一个简单sql CREATE table dbtv4.myappv5 AT BRANCH prod as se 阅读全文

posted @ 2024-07-20 08:00 荣锋亮阅读(39) 评论(0) 推荐(0)

ollama 0.2.7 支持函数调用了

摘要：就在最新的ollama 发布版本中对于类似openai 的函数调用支持了，但是目前有一些问题，就是相关历史的model 都需要修改下（添加TEMPLATE 对于tools的支持），一些是一个简单的测试参考示例使用了phidata 这个工具包一个参考qwen2:7b 模型的修改参考了llama 阅读全文

posted @ 2024-07-19 18:04 荣锋亮阅读(650) 评论(0) 推荐(0)

通过vllm 部署qwen2 模型

摘要：主要是一个简单测试安装vllm pip 模式安装部分包比较大，注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

posted @ 2024-07-19 08:00 荣锋亮阅读(2898) 评论(0) 推荐(0)

ollama 模型离线加载的配置简单说明

摘要： ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量）下载的模型数据模型数据结构通过直接复制加载的模型参考服务配置 systemd 服阅读全文

posted @ 2024-07-18 07:47 荣锋亮阅读(1621) 评论(0) 推荐(0)

导航

公告