荣锋亮 - 博客园

kedro package 命令内部处理简单说明

摘要： kedro package 是一个比较方便的能力，可以将我们开发的data pipeline 打包为python 包，方便分发以及使用，以下简单说明下内部实现参考内部处理代码可以看到内部并没有特殊的地方，对于标准python whl 文件基于了build 模块进行构建，对于配置部分使用了tar 阅读全文

posted @ 2024-09-21 06:57 荣锋亮阅读(33) 评论(0) 推荐(0)

kedro 简单试用

摘要：主要是一个简单学习试用环境准备安装kedro python -m venv venv source venv/bin/activate pip install kedro minio s3 存储为了方便测试使用了s3 进行数据存储,注意需要同时安装 version: "3" services: 阅读全文

posted @ 2024-09-20 06:02 荣锋亮阅读(88) 评论(0) 推荐(0)

qwen2.5 发布

摘要：就在今天qwen2.5 发布了，同时集成ollama 相关的镜像官方也提供了，对于函数调用的模版也支持已经修改了参考Modilefile 参考新的配置参数 {{ if .Messages }} {{- if .Tools }}<|im_start|>system {{- if .System }} 阅读全文

posted @ 2024-09-19 08:15 荣锋亮阅读(837) 评论(0) 推荐(0)

kedro 创建模块化数据科学pipeline 的python 框

摘要： kedro 创建模块化数据科学pipeline 的python 框架包含的特性 pipeline 可视化，基于了kedro-viz data catalog 轻量级的data connenctors 可以方便数据的读取以及保存，扩展上也比较强大周边集成，可以方便的与apache airflow，阅读全文

posted @ 2024-09-19 08:00 荣锋亮阅读(71) 评论(0) 推荐(0)

chainlit 一些内置session 变量

摘要： chainlit 兼容扩展点不是很多，但是灵活性还是很不错的，比如我们可以自己基于session 实现一些数据在不同阶段的共享，当然chainlit也内置了一些变量，可以方便使用内置的变量信息 user_session = user_sessions[context.session.id] # 阅读全文

posted @ 2024-09-18 00:03 荣锋亮阅读(172) 评论(0) 推荐(0)

fastapi-events fastapi 异步事件分发处理扩展

摘要： fastapi-events fastapi 异步事件分发处理扩展，提供了本地，以及远程消息处理能力，同时包含了一些内置的handler，对于自定义handler 也是比较灵活的参考使用 app.py from fastapi import FastAPI from fastapi.request 阅读全文

posted @ 2024-09-17 07:40 荣锋亮阅读(111) 评论(0) 推荐(0)

faststream 测试简单说明

摘要： faststream 包含了TestBroker可以方便的进行测试，比如与pytest 集成参考使用 app_test.py import pytest from faststream.redis import TestRedisBroker,RedisBroker broker = RedisB 阅读全文

posted @ 2024-09-16 00:02 荣锋亮阅读(73) 评论(0) 推荐(0)

faststream 自己的asgi 实现

摘要： faststream 目前自己包含了一个asgi 的实现，可以快速实现api 能力，同时也可以与其他web 框架集成，以下是一个简单试用参考代码 demo.py from faststream.redis import RedisBroker from faststream.asgi import 阅读全文

posted @ 2024-09-15 06:23 荣锋亮阅读(81) 评论(0) 推荐(0)

faststream python 快速event 处理框架

摘要： faststream python 快速event 处理框架，asyncapi 文档生成包含的特性多broker 支持基于pydantic 的数据校验 async api 文档生成依赖注入支持强大的扩展能力不少框架的集成支持（fastapi web 框架）支持自动代码生成参考使用基阅读全文

posted @ 2024-09-14 06:12 荣锋亮阅读(144) 评论(0) 推荐(0)

pandas-ai 基于LLM进行数据分析的python 框架

摘要： pandas-ai 基于LLM进行数据分析的python 框架包含的特性基于自然语言的数据查询数据可视化数据清理特征生成数据链接（支持链接多种不同的数据源）说明对于基于数据分析的场景pandas-ai 是一个值得尝试的工具，同时官方也微调了一个BambooLLM 的模型（基于mist 阅读全文

posted @ 2024-09-13 00:03 荣锋亮阅读(339) 评论(0) 推荐(1)

PraisonAI 一个快速ai 开发集成工具

摘要： PraisonAI 一个快速ai 开发集成工具，在新版本中PraisonAI 基于unsloth 提供了快速大模型微调训练能力训练参考使用核心是包装的unsloth 命令 praisonai train --model unsloth/Meta-Llama-3.1-8B-Instruct-bnb 阅读全文

posted @ 2024-09-12 08:00 荣锋亮阅读(265) 评论(0) 推荐(0)

chainlit 持久化配置问题 null value in column "disableFeedback" of relation "steps"

摘要：实际上此问题在github 上已经存在了，解决方法很简单，就是对于sql 配置的去掉不能为空的判定参考sql 修改 CREATE TABLE IF NOT EXISTS steps ( "id" UUID PRIMARY KEY, "name" TEXT NOT NULL, "type" TEXT 阅读全文

posted @ 2024-09-11 08:00 荣锋亮阅读(78) 评论(0) 推荐(0)

chainlit s3 minio 存储集成配置

摘要： chainlit s3 默认对于minio 的支持没有明确说明，但是我们可以通过配置解决（环境变量以及~/.aws/config 都可以）使用代码配置 import chainlit as cl import chainlit.data as cl_data from chainlit.data 阅读全文

posted @ 2024-09-10 07:28 荣锋亮阅读(169) 评论(0) 推荐(0)

litellm proxy ui 的处理

摘要： litellm proxy ui 关于static 的处理是基于了fastapi 的StaticFiles，使用了绝对路径配置的，以下是一个简单说明参考代码 litellm/proxy/proxy_server.py current_dir = os.path.dirname(os.path.ab 阅读全文

posted @ 2024-09-09 00:03 荣锋亮阅读(157) 评论(0) 推荐(0)

fastapi 使用package 提供web 静态资源

摘要：日常开发中对于静态资源的处理方法很多，但是如果静态资源也可以像包一样集成发布就会比较方便对于我们实际软件部署就会比较方便以下是关于fastapi 通过package 提供静态资源参考代码安装静态资源我们使用了bootstrap4，基于这个包提供 app.py from fastapi imp 阅读全文

posted @ 2024-09-08 00:01 荣锋亮阅读(182) 评论(0) 推荐(0)

trafilatura python web 数据获取库

摘要： trafilatura python web 数据获取库，比较适合进行爬虫，数据提取，支持输出数据为csv，json，html，md，txt，xml 包含的特性高级web 爬虫以及文本发现并行处理在线以及离线输入内容灵活的配置支持，包含了元数据，格式，链接，表格多输出格式，包含了文本，mar 阅读全文

posted @ 2024-09-07 07:37 荣锋亮阅读(195) 评论(0) 推荐(0)

jvm 自定义dns

摘要：对于jvm 进行自定义dns 可以解决不少问题（比如特定系统需要一个额外的域名改写，但是并不希望进行全局修改）对于java 1.4-8 我们是可以直接进行dns 配置的（系统属性就可以了），之后的版本就不行了，具体参考dnsjava 的说明实际配置参考配置 -Dsun.net.spi.name 阅读全文

posted @ 2024-09-06 00:07 荣锋亮阅读(131) 评论(0) 推荐(0)

dremio 25.1 发布

摘要：就在今天dremio 发布了25.1 版本（社区版）同时提供了docker镜像以及下载地址说明目前官方还缺少release note 说明，目前来说github 代码尽管提交了，但是不是新的（只更新了maven package version），从简单测试上，的确有一些bug 修复，但是目前官方阅读全文

posted @ 2024-09-05 18:45 荣锋亮阅读(44) 评论(0) 推荐(0)

一些基于LLM可以进行web 检索的开源工具

摘要：简单记录下，目前不少内部都会使用到langchain（毕竟提供了不少现在方便的工具包装），同时对于web 内容处理很多也会选择基于无头浏览器模式，对于html 内容为了方便llm 处理好多框架会优先转换为markdown 格式的，对于长内容同时也会进行chunk 拆分，规避大模型上下文限制问题说阅读全文

posted @ 2024-09-05 08:00 荣锋亮阅读(387) 评论(0) 推荐(0)

typer python cli 开发框架

摘要： typer 是一个基于python type hints 的快速强大的cli 开发框架，由fastapi 框架的作者开发，是一个很不错的工具包含的特性使用简单简单支持开发复杂cli 可以执行运行script 参考使用安装 python -m venv venv source venv/bi 阅读全文

posted @ 2024-09-04 06:36 荣锋亮阅读(137) 评论(0) 推荐(0)

unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台

摘要： unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台参考处理流程分三步通过prompt studio 进行提示词的处理，定义需要提取的字段配置项目做为api 或者配置输入输出etl pipeline 部署data api 或者etl pipeline 阅读全文

posted @ 2024-09-03 07:15 荣锋亮阅读(220) 评论(0) 推荐(0)

一些不错的LLM 结构化输出库

摘要：结构化输出对于LLM 是一个比较重要的功能，以下是一个开源不错的工具，可以方便使用简单说明 outlines以及instructor 是很不错的工具对于基于api 的推荐使用instructor，kor 以及langchain 集成比较好guardrails 也算是一个不错的工具提供了结构化输出的阅读全文

posted @ 2024-09-02 08:00 荣锋亮阅读(242) 评论(0) 推荐(0)

guardrailsai llm 校验工具

摘要： guardrails ai 提供了的llm 校验能力，同时提供了一个hub 平台，可以方便使用一些现成的validators 特性 guardrails ai 对于input 以及output 进行check，确保数据的准确性，减少风险 guardrails ai 可以帮助生成结构化数据包含了一个阅读全文

posted @ 2024-09-01 06:35 荣锋亮阅读(90) 评论(0) 推荐(0)

chainlit 集成外部认证的方法

摘要： chainlit 对于auth 上支持了多种模式，比如基于用户密码的，基于header的以及基于oauth 的对于认证的用户就可以通过session 变量获取信息了，方便后续使用集中模式说明用户密码模式此模式比较简单，核心是按需返回需要的数据，此处可以是基于db 的也可以是基于api 的,使阅读全文

posted @ 2024-08-31 07:34 荣锋亮阅读(289) 评论(0) 推荐(0)

ollama num_ctx 修改问题

摘要：属于一个比较场景的问题，因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题解决方法目前基本分类两种方法，一种是临时以及持久的，机制上还有一些差异，因为ollama 内部实际也是拉起的llama.cpp 服务对于调用chat api 可以直接通过api 阅读全文

posted @ 2024-08-31 07:33 荣锋亮阅读(3227) 评论(0) 推荐(0)

chainlit 异步以及同步转换处理简单说明

摘要： chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步使用同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(137) 评论(0) 推荐(0)

poetry extras 以及group 模式简单说明

摘要：我以前简单介绍过poetry 的extras，此模式实际上是可以兼容pip 的，这样我们安装的包就可以通过pip install awesome[databases] 进行处理，group 模式实际上属于poetry 工具自己的特性，方便基于分组模式的依赖管理 poetry extras 参考配置阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(207) 评论(0) 推荐(0)

chainlit context 简单说明

摘要： context 实际上是一个基于ContextVar 包装的一个变量，可以进行一些上下文信息的共享，同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义可以看到就是一个session ，emitter 以及active_steps 的包装，通阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(158) 评论(0) 推荐(0)

wrapt 一个方便的python装饰器包

摘要： wrapt 一个方便的python装饰器包，提供了装饰器包装，以及猴子补丁能力，是一个很值得使用的包一个简单猴子补丁玩法业务场景有一个登陆方法，需要进行日志记录，但是不想直接修改原始代码参考代码 my.py def login(name,password): return f"Welcome 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(136) 评论(0) 推荐(0)

flit简单快读python 打包工具

摘要： flit简单快读python 打包工具，使用简单，支持fllat 项目结构以及src 模式的结构使用安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(127) 评论(0) 推荐(0)

llama-cpp-agent map chain 示例

摘要：内容来自官方文档，主要是一个验证以及记录环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(67) 评论(0) 推荐(0)

llama-cpp-agent 通过结构化agent 生成数据

摘要：以前说过基于结构化数据配置进行函数调用的，以下是直接使用llama-cpp-agent 自带的StructuredOutputAgent 环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 L 阅读全文

posted @ 2024-08-30 07:19 荣锋亮阅读(191) 评论(0) 推荐(0)

llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具

摘要： llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具包含的特性使用简单结构化输出单个或者并行函数调用 rag 能力 agent chain 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持阅读全文

posted @ 2024-08-29 07:26 荣锋亮阅读(180) 评论(0) 推荐(0)

llama-cpp-agent 函数调用agent 进行函数调用

摘要：与结构化调用类似，就是一个记录环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

posted @ 2024-08-28 07:37 荣锋亮阅读(209) 评论(0) 推荐(0)

llama-cpp-agent 通过构结构化输出实现函数调用

摘要：主要是一个简单测试，记录下环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

posted @ 2024-08-27 08:00 荣锋亮阅读(131) 评论(0) 推荐(0)

llama-cpp-python web server cuda 编译安装简单说明

摘要： llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明参考构建命令命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环阅读全文

posted @ 2024-08-26 08:00 荣锋亮阅读(370) 评论(0) 推荐(0)

通过llama-cpp-python web server 实现函数调用

摘要： ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文

posted @ 2024-08-25 07:11 荣锋亮阅读(495) 评论(0) 推荐(0)

litellm 配置embedding 模型

摘要： litellm 对于embedding模型的配置实际与普通模式的配置是一样的，embedding 有特定的，同时chat 模型也都有embedding 能力参考配置通过proxy 模式 model_list: - model_name: text-embedding-ada-002 litell 阅读全文

posted @ 2024-08-24 07:34 荣锋亮阅读(545) 评论(0) 推荐(0)

通过litellm + ollma 试用autolabel

摘要： ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelbor 阅读全文

posted @ 2024-08-23 08:00 荣锋亮阅读(588) 评论(0) 推荐(0)

faster-whisper通过CTranslate2 转换的快速whisper推理服务

摘要： faster-whisper 通过CTranslate2 对于openai/whisper的tranformer 模型进行了转换，可以提示推理速度，同时还可以进行不同精度的配置官方目前的测试是有4倍左右的提升，同时可以更好的支持使用cpu 进行推理，同时faster-whisper 可以兼容dis 阅读全文

posted @ 2024-08-22 07:47 荣锋亮阅读(549) 评论(0) 推荐(0)

导航

公告