荣锋亮 - 博客园

python通过init.py 进行模块依赖包的check

摘要：很多时候我们开发模块化项目，或者动态加载功能包的项目，对于依赖我们不希望直接在安装的时候就安装，而是按需使用的时候进行主动安装（比如langchain 不少模块），解决方法很多，以下说明下基于__init__.py 的处理一些参考解决方法在调用模块方法的时候通过显示的import 模块，并通过阅读全文

posted @ 2024-10-26 00:22 荣锋亮阅读(52) 评论(0) 推荐(0)

dremio 25.2 发布

摘要：就在昨天dremio 发布了25.2 版本，此版本对于catalog 的支持添加了两个新的（Polaris Catalog 以及Unity Catalog）说明其他主要是关于历史bug 的fix 对于新catalog ce 版本实际上只Polaris Catalog ，默认没开启，需要通过plu 阅读全文

posted @ 2024-10-25 23:47 荣锋亮阅读(53) 评论(0) 推荐(0)

weasyprint 基于html 的pdf 生成框架

摘要： weasyprint 基于html 的pdf 生成框架，我们可以基于css+ html 生成高质量的pdf 文件，weasyprint 使用简单说明 weasyprint 的速度并不是很快，如果希望快速生成pdf文件的，可以选择其他解决方案，md2pdf 就使用了WeasyPrint只是为了支持灵阅读全文

posted @ 2024-10-25 08:00 荣锋亮阅读(380) 评论(0) 推荐(0)

通过rye 进行maturin rust python 扩展开发

摘要： rye 实际上也是一个python 包管理工具，实际上与uv 是比较类似的工具，都是同一个团队开发的，但是uv 相对晚一些出现的 rye 可以进行maturin 项目的开发，maturin 实际上也提供了内置的cli 可以快速开发 maturin 项目初始化命令 rye init my-proje 阅读全文

posted @ 2024-10-24 08:00 荣锋亮阅读(99) 评论(0) 推荐(0)

uv python 版本管理

摘要：最近版本的uv 也支持对于python 版本的管理（下载安装，支持cpython 以及pypy）安装python 参考命令 uv python install 3.12.3 查看列表 uv python list 查找python 执行程序 uv python find # 默认是基于path的，阅读全文

posted @ 2024-10-23 08:00 荣锋亮阅读(2399) 评论(0) 推荐(0)

基于uv 进行类似cargo 的workspace 管理

摘要： uv 支持类似cargo workspace模式的项目管理，可以实现多模块的开发机制，以下是一个简单学习准备 uv 对于workspac 的支持，使用上类似rust cargo 项目结构 ├── README.md ├── packages │ ├── api │ │ ├── README.md 阅读全文

posted @ 2024-10-22 08:00 荣锋亮阅读(316) 评论(0) 推荐(0)

uv 基于rust 编写的python 包管理以及项目管理工具

摘要： uv 基于rust 编写的python 包管理以及项目管理工具包含的特性简单工具可以替换pip，pip-tools，pipx，poetry，pyenv 等比pip 快10-100 倍安装以及管理python 版本运行以及安装python 应用运行脚本支持类似cargo 模式的works 阅读全文

posted @ 2024-10-21 08:00 荣锋亮阅读(284) 评论(0) 推荐(0)

基于prompt-poet进行了灵活的提示词模版管理

摘要：以前简单介绍过prompt-poet的使用，同时也进行了一些扩展（比如支持s3，oss，等加载的loader 集成）实际上使用好prompt-poet 可以简化不少我们的提示词管理能力，实现灵活的个性化提示词能力，以下是一个简单的使用说明参考结构管理 prompt-poet 默认支持加载本地文阅读全文

posted @ 2024-10-20 08:00 荣锋亮阅读(100) 评论(0) 推荐(0)

pyfilesystem 一个简单试用

摘要：以前简单介绍过关于pyfilesystem 支持通用的文件系统访问，同时还提供了不少内部实现，可以快速使用，以下是一个关于 UserDataFS的简单试用参考代码 app.py from fs.appfs import UserDataFS user_fs = UserDataFS('my_app 阅读全文

posted @ 2024-10-19 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

pyfilesystem jinja2 loader 实现prompt-poet 提示词模板管理

摘要：效果实际与fsspec jinaj2 laoder类似，就是一个集成测试 pyfilesystem loader 实现 pyfs_loader.py import fs import jinja2 from jinja2.loaders import BaseLoader class PyFiles 阅读全文

posted @ 2024-10-18 06:29 荣锋亮阅读(92) 评论(0) 推荐(0)

pyfilesystem python 通用文件系统抽象

摘要： pyfilesystem python 通用文件系统抽象包，对于统一基于文件的数据操作比较方便目前一些内置的文件系统 app 文件系统 ftp 文件系统 memory 文件 mount 文件系统 multi 文件系统 os 文件系统 sub 文件系统 tar 文件系统 temporary 文件系统阅读全文

posted @ 2024-10-17 06:12 荣锋亮阅读(65) 评论(0) 推荐(0)

md2pdf python markdown 转pdf 包简单试用

摘要： md2pdf 是基于weasyprint 开发的一个markdown 转pdf 工具，功能上还是比较强大的，支持自定义效果，同时还支持基于jinja2 模版引擎的数据处理，在基本的转换完成之后内部会使用weasyprint 基于html 转换pdf 参考使用安装 pip install git+h 阅读全文

posted @ 2024-10-16 05:56 荣锋亮阅读(723) 评论(0) 推荐(0)

fsspec jinaj2 loader 简单说明

摘要：为了方便使用，我简单提取了jinja2 fspsec loader 的代码，开发成为一个pip 包，方便使用代码 fsspec_loader.py from __future__ import annotations import pathlib from typing import TYPE_C 阅读全文

posted @ 2024-10-15 06:57 荣锋亮阅读(46) 评论(0) 推荐(0)

自定义jinja2 loader 实现基于oss的prompt-poet 提示词模板存储

摘要： prompt-poet 默认支持的是基于本地文件系统或者直接模版内容的模式进行处理，对于实际使用上并不是很方便，可以通过简单的扩展jinja2 loader 实现基于fsspec 的模版加载，这么就可以支持各类存储的模型了，以下是一个简单示例，因为目前prompt-poet 内部处理是固定的，暂时只阅读全文

posted @ 2024-10-14 06:40 荣锋亮阅读(80) 评论(0) 推荐(0)

chainlit 实际部署一些问题

摘要： chainlit内部基于了socket.io 进行消息处理，socket.io 是有一些缺陷的，但是也有相关的解决方法，同时对于启动的入口是加载的一个python 文件，这个处理上是动态加载里边的方法到chainlit 运行环境的内部一些处理 load 模块处理 def load_module( 阅读全文

posted @ 2024-10-13 07:43 荣锋亮阅读(401) 评论(0) 推荐(0)

fasthtml 快速创建web app 的框架

摘要： fasthtml 让我们可以基于python 代码就可以快速开发web app 的框架，使用上简单说明 fasthtml 包含了丰富的组件，内部web 框架基于了starlette 与fastapi 是一样的，fasthtml 值得尝试下参考资料 https://github.com/Answe 阅读全文

posted @ 2024-10-12 06:08 荣锋亮阅读(529) 评论(0) 推荐(0)

chainlit 一些外部集成部署方法

摘要： chainlit 对于部署支持多种模式，比如直接all-in-one 的，基于fastapi 集成的（api 模式），基于copilot （web 地址），react （web 组件），以及其他外部集成，比如slack，team，discord 等，以下简单说明下模式说明 web app 模式阅读全文

posted @ 2024-10-11 07:20 荣锋亮阅读(400) 评论(0) 推荐(0)

fastapi 通过依赖注入模式使用apscheduler

摘要：就是一个简单记录，方便后续使用参考代码 api 服务 import uuid from fastapi import FastAPI,Header,Depends,HTTPException from typing import Annotated async def tenant_id(x_te 阅读全文

posted @ 2024-10-10 06:42 荣锋亮阅读(177) 评论(0) 推荐(0)

fastapi apscheduler 通过函数引用添加job

摘要：主要是一个简单测试，同时集成fastapi，包含了简单参数传递参考代码 import logging import uuid from fastapi import FastAPI from pytz import utc from apscheduler.schedulers.backgroun 阅读全文

posted @ 2024-10-09 06:35 荣锋亮阅读(61) 评论(0) 推荐(0)

python 几个IOC 框架

摘要：整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

posted @ 2024-10-08 06:47 荣锋亮阅读(325) 评论(0) 推荐(0)

关于结合faststream + python rq callback 进行job 状态标记的简单说明

摘要：以前简单介绍过基于faststream + python rq callback 进行job 状态标记，以下是结合源码说明下处理参考玩法代码实现 faststream 参考代码 from faststream.redis import RedisBroker from faststream.as 阅读全文

posted @ 2024-10-07 06:41 荣锋亮阅读(35) 评论(0) 推荐(0)

python rq 实际部署使用简单说明

摘要： python 的rq 是一个简单，使用方便的分布式任务队列库，以下是自己关于实际使用一些总结参考玩法参考图简单玩法流程: app 业务层使用rq 库，链接redis，然后将任务如队列，同时可以结合实际业务对于队列使用不同的名称（比如高中低，或者特定业务模型）对于实际结合业务特点在不同的业务节阅读全文

posted @ 2024-10-06 00:02 荣锋亮阅读(184) 评论(0) 推荐(0)

kedro ossfs 支持说明

摘要： kedro 是基于fsspec 进行内部文件处理的，但是在对于是cloud remote 文件系统的时候是基于白名单处理的有缺陷，对于oss 支持就有问题（比如解析bucket），解决方法很多，一种是直接修改kedro.io.core 中的CLOUD_PROTOCOLS，还有一种就是通过python 阅读全文

posted @ 2024-10-05 06:27 荣锋亮阅读(25) 评论(0) 推荐(0)

dremio 25.1 版本开始支持sql 预编译处理了

摘要： dremio 从25.1 版本开始，支持sql 预编译了，可以更好的提升系统的安全性参考使用传统jdbc 模式 Connection conn = DriverManager.getConnection("jdbc:dremio:direct=localhost:31010;schema=sys 阅读全文

posted @ 2024-10-04 14:24 荣锋亮阅读(55) 评论(0) 推荐(0)

lazy_loader attach_stub一种变体玩法

摘要：此方法在scikit-image包中可以明显看到使用玩法流程 __init__.py直接基于attach_stub 进行定义懒加载，以后的使用就同时标准玩法了添加__init__.pyi 进行显示的引入定义，方便实现类型检查以及ide 的自动提示一个参考玩法 __init__.py 定义 im 阅读全文

posted @ 2024-10-04 08:00 荣锋亮阅读(40) 评论(0) 推荐(0)

dremio25.1.1 发布

摘要：就在昨天dremio 发布了25.1.1 主要是一些bug 的fix，尤其是在25.1 版本对于script 保存的问题说明完整的变动信息可以参考官方文档，目前oss 代码以及下载包，docker 镜像已经都上传了，可以体验下参考资料 https://docs.dremio.com/curre 阅读全文

posted @ 2024-10-03 12:56 荣锋亮阅读(31) 评论(0) 推荐(0)

lazy_loader python 子包以及函数懒加载框架

摘要： lazy_loader python 子包以及函数懒加载框架, 内部处理上是基于了importlib.import_module 进行动态加载包含的特性可以确保子模块对于用户的可见行，不引起而外的开销允许外部库在使用的时候被加载，提升导入时间说明此包在kedro 的datasets 模块中阅读全文

posted @ 2024-10-03 08:00 荣锋亮阅读(138) 评论(0) 推荐(0)

dynaconf python 配置管理库

摘要： dynaconf python 配置管理库包含的特性基于12 factor 原则设置管理（默认值、校验、解析、模版）保护敏感信息（比如用户密码）多文件格式支持（toml,yaml, ini，json，py）支持环境变量重写可选的分层多环境配置支持支持外部配置存储（vault，redi 阅读全文

posted @ 2024-10-02 07:24 荣锋亮阅读(119) 评论(0) 推荐(0)

kedro IncrementalDataset 简单说明

摘要： IncrementalDataset 实现了一种增量数据处理的能力，基于了PartitionedDataset 同时包含了checkpoint 确保数据处理的准确性，对于 checkpoint 可以配置自己的函数参考定义参考catalog 定义 my_partitioned_dataset: t 阅读全文

posted @ 2024-10-01 08:00 荣锋亮阅读(15) 评论(0) 推荐(0)

kedro 的PartitionedDataset简单说明

摘要： kedro 的PartitionedDataset是一个比较强大的数据集处理模块，支持数据的分片加载以及分片写入能力，以下简单说明下数据分片读取能力参考catalog 配置 companies: type: partitions.PartitionedDataset path: s3://ked 阅读全文

posted @ 2024-09-30 08:00 荣锋亮阅读(18) 评论(0) 推荐(0)

prompt-poet 参考使用

摘要：主要是一个简单的功能体验，包含了include 以及简单的jinja2 逻辑判断模版定义 app.yaml.j2 {% include 'system_instruction.yml.j2' %} - name: system demo role: system content: | you ar 阅读全文

posted @ 2024-09-29 17:03 荣锋亮阅读(56) 评论(0) 推荐(0)

rpyc python rpc 框架

摘要： rpyc 属于一个老牌项目了，支持rpc 模式的处理，同时支持面向服务的开发模式，包含了一些安全控制，支持服务注册，服务发现包含的特性透明，可以使用类似本地模式的方法访问对称，client 以及server 都可以支持调用支持同步以及异步操作平台无关低开销安全，支持基于tls，以及ss 阅读全文

posted @ 2024-09-29 17:02 荣锋亮阅读(198) 评论(0) 推荐(0)

prompt-poet 方便设计提示词的python 包

摘要： prompt-poet 方便设计提示词的python 包，基于yaml 以及jinja2 开发，prompt-poet 提供了灵活、动态的提示词创建prompt-poet 饿的提示词模版混合了yaml 以及jinja2 prompt-poet 模版处理渲染，初始阶段基于了jinja2，此阶段进行数阅读全文

posted @ 2024-09-29 17:01 荣锋亮阅读(127) 评论(0) 推荐(0)

petl 集成ossfs 实现阿里云oss 数据的简单处理

摘要：主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中参考代码注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择安装依赖 pip 阅读全文

posted @ 2024-09-29 06:42 荣锋亮阅读(27) 评论(0) 推荐(0)

dremio 25.1 github 代码变动

摘要： dremio 25.1 已经发布了好几个礼拜了，以前说过github 社区版25.1 版本的没有提交最新的，最近看了下github 已经提交新的了而且这次应该是比较完整的构建上的一些问题 jdk 依赖这个保持不变，同时看官方一些信息对于maven 构建已经调整了，有了不错的支持 ui 组件目阅读全文

posted @ 2024-09-28 11:30 荣锋亮阅读(64) 评论(0) 推荐(0)

petl 轻量级的python etl 处理框架

摘要： petl 轻量级通用的python etl 处理框架 petl 目的 petl 目的是简单，性能上以及对于处理大数据集可能不是很适合，就是需要使用dask，pandas 等这类的 etl 能力基于了延迟计算的能力函数以及面向对象的编程方式交互式使用可以集成Ipython notebook c 阅读全文

posted @ 2024-09-28 00:01 荣锋亮阅读(165) 评论(0) 推荐(0)

whisperfile llamafile 提供的基于whisper.cpp的快速运行whisper的应用

摘要：对于llamafile 大家可能都听说过，最近llamafile 提供了基于whisper.cpp 的whisperfile ，我们可以快速使用 whisperfile 进行翻译处理参考使用下载whisperfile 以及模型 whisperfile 可以直接从github 下载模型地址: h 阅读全文

posted @ 2024-09-27 08:08 荣锋亮阅读(127) 评论(0) 推荐(0)

通过ossfs fsspec 扩展访问oss 数据

摘要：尽管oss 对于s3 客户端具有兼容性，直接通过s3fs 是可以直接访问oss 的，但是有不少缺陷（比如ls 的支持就有问题）ossfs 是基于oss client 实现的标准 fsspec 扩展，使用上很不错，对于文件系统常见操作支持的很好，以下是一个简单使用说明参考使用安装 pip inst 阅读全文

posted @ 2024-09-26 08:14 荣锋亮阅读(185) 评论(0) 推荐(0)

kedro package 项目运行内部处理

摘要： kedro package 会将开发的data pipeline 项目构建为一个标准的python whl 格式包（build 模块），之后我们就可以直接基于项目模块运行开发的pipeline 了，以下简单说明下内部处理项目结构为了将kedro pipeline 项目提供为一个可以通过模块直接运阅读全文

posted @ 2024-09-26 08:00 荣锋亮阅读(49) 评论(0) 推荐(0)

kedro parameters 简单使用

摘要： kedro 的parameters还是比较强大的，我们直接可以基于配置，或者运行时定义就可以方便的使用配置参数，以下是使用的简单说明定义parameters 一般是在conf/base/parameters.yml 中，当然也可以配置特定pipeline 的parameters 参考 name: 阅读全文

posted @ 2024-09-25 05:56 荣锋亮阅读(39) 评论(0) 推荐(0)

导航

公告