荣锋亮 - 博客园

PyMuPDF 就有mupdf 的python pdf 包

摘要： pymupdf 是基于mupdf 的python pdf 处理包，相比其他python pdf 包提供了不少特性包含的特性支持的pdf 操作模式比较多支持较多的文档类型（但是部分是需要收费的）高性能对于面向llm 应用开发处理支持比较好（基于pymupdf4llm 扩展）说明对于面向文阅读全文

posted @ 2025-03-17 08:00 荣锋亮阅读(139) 评论(0) 推荐(0)

winsw tomcat windows 服务启动简单说明

摘要：很早以前我简单介绍过基于winsw 的nginx 服务启动处理，以下简单说明下tomcat 处理的 app配置配置JAVA_HOME 以及CATALINA_HOME app.xml <service> <id>tomcat</id> <name>tomcat</name> <description 阅读全文

posted @ 2025-03-16 08:00 荣锋亮阅读(51) 评论(0) 推荐(0)

myduckserver 基于duckdb的分析服务

摘要： myduckserver 基于duckdb的分析服务，基于mysql 以及pg 协议进行dduckdb 得到访问包含的特性基于duckdb 的快速olap 分析 mysql 兼容接口 pg 兼容接口 duckdb 强大能力 zero-etl 支持订阅以及实时复制 htap 架构支持批量上传以及阅读全文

posted @ 2025-03-15 08:00 荣锋亮阅读(315) 评论(0) 推荐(0)

zenoh 1.1.0 的一些更新以及新功能

摘要： api 层面 liveliness 功能，目前还标记为不稳定新的querier api 添加高级发布以及订阅api 的扩展，提升系统的容错能力 zenoh-pico 新的手工批处理api 提升吞吐添加liveliness支持支持raspberry pi Ros2 bridge 更好的支持ro 阅读全文

posted @ 2025-03-14 08:00 荣锋亮阅读(78) 评论(0) 推荐(0)

sermant 基于java 字节码增强的云原生无代理服务网络框架

摘要： sermant 基于java 字节码增强的云原生无代理服务网络框架包含的特性非侵入，基于java 字节码可以实现零侵入的服务治理插件化，功能插件化，支持动态挂在，开发方便高性能，无代理架构无需跨进程通信，降低请求时延以及资源占用参考架构说明 sermant 是一个cncf 沙箱项目，还是阅读全文

posted @ 2025-03-13 08:00 荣锋亮阅读(31) 评论(0) 推荐(0)

JayDeBeApi python 通过java jdbc 访问数据库的包

摘要： JayDeBeApi 是一个python 包基于JPyte 可以实现利用db-api 2.0 协议访问支持jdbc 访问的数据库一个简单使用示例 sql.py import jaydebeapi conn = jaydebeapi.connect("org.hsqldb.jdbcDriver", 阅读全文

posted @ 2025-03-12 08:00 荣锋亮阅读(198) 评论(0) 推荐(0)

kiwipy rpc模式简单试用

摘要：主要是对于功能的一个体验，测试几个功能 rpc模式代码注意依赖了amqp协议，需要先部署服务 rabbitmq 服务 services: rabbitmq: image: rabbitmq:3-management ports: - "5672:5672" - "15672:15672" envi 阅读全文

posted @ 2025-03-11 08:00 荣锋亮阅读(15) 评论(0) 推荐(0)

kiwipy 方便开发rpc&任务队列&广播的python消息库

摘要： kiwipy 方便开发rpc&任务队列&广播的python消息库，目前主要应用在aiidateam 项目中包含的特性每秒1000次的消息处理高强健，不会在连接异常的时候丢失消息原生支持rabbitmq 接口支持任务队列，广播，rpc 支持线程以及协程模式的连接支持python 3.7+ 阅读全文

posted @ 2025-03-10 08:00 荣锋亮阅读(21) 评论(0) 推荐(0)

kombu transport 查找的处理

摘要：简单说明下kombu transport查找的处理，方便学习自定义broker的处理 Connection 处理 def __init__(self, hostname='localhost', userid=None, password=None, virtual_host=None, port= 阅读全文

posted @ 2025-03-09 08:00 荣锋亮阅读(20) 评论(0) 推荐(0)

celery broker 连接参数简单说明

摘要：简单了解celery broker 连接参数的配置以及内部处理可以有助于更好的使用celery 以及开发自己的broker 支持一个参考broker配置 redis redis://:password@hostname:port/db_number 自定义broker app = Celery( 阅读全文

posted @ 2025-03-08 08:00 荣锋亮阅读(76) 评论(0) 推荐(0)

celery broker配置格式简单说明

摘要： celery 对于broker实际上是可以支持不少的，只是目前提供了一些简单说明参考格式 redis redis://:password@hostname:port/db_number rabbitmq broker_url = 'amqp://myuser:mypassword@localhos 阅读全文

posted @ 2025-03-08 08:00 荣锋亮阅读(100) 评论(0) 推荐(0)

honcho Foreman python 实现

摘要： honcho 使用 Foreman的 python实现，可以实现灵活的服务启动管理参考使用比如一个一个celery 启动的创建Procfile文件 woker1: celery -A app worker -l INFO --queues queue1 woker2: celery -A ap 阅读全文

posted @ 2025-03-07 08:00 荣锋亮阅读(26) 评论(0) 推荐(0)

slatedb 基于对象存储的嵌入式数据库

摘要： slatedb 是基于rust 开发的，数据存储层基于对象存储的嵌入式数据库包含的特性集成对象存储的持久性零磁盘架构（利用对象存储）简单复制（利用对象存储）可调整的性能读缓存支持事物写（规划中，暂未实现）快照隔离（规划中，暂未实现）写隔离，可以阻止僵尸进程的影响插件化的压缩处理阅读全文

posted @ 2025-03-06 08:00 荣锋亮阅读(89) 评论(0) 推荐(0)

kombu python 的消息库

摘要： kombu 是celery 团队开发的一个python 消息库，基于此库可以方便的进行amqt 语义api 的消息通信包含的特性支持插件化的消息通道机制，比如py-amqt, pyro,mongodb,redis 支持对于消息负载的自动编码，序列化，压缩跨通道的一致异常处理对于连接以及cha 阅读全文

posted @ 2025-03-05 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

datachain 简单试用

摘要：主要是一个体验，内容来自官方文档参考代码 app.py from datachain import Column, DataChain meta = DataChain.from_json("gs://datachain-demo/dogs-and-cats/*json", object_name 阅读全文

posted @ 2025-03-04 08:00 荣锋亮阅读(27) 评论(0) 推荐(0)

datachain ai 友好的python etl以及分析包

摘要： datachain 提供了方便进行多模态ai 数据的etl 以及分析能力使用场景多模态的数据准备以及数据治理生成式ai 数据分析特性多模态数据集版本支持，支持数据以及元数据的统一持久化管理 python 友好，支持并行高效内存计算数据增强以及处理，基于本地ai 模型或者llm api 生阅读全文

posted @ 2025-03-03 08:00 荣锋亮阅读(40) 评论(0) 推荐(0)

celery signature app instance 创建简单说明

摘要： celery 对于celery 实例的处理比较有意思，没有的会创建默认的，如果定义了会基于python 的threading.local 进行引用，所以我们会看到 celery 一些代码使用上比较有意思（group，chain等，不需要明确指定app 就可以进行任务的创建以及数据获取）一个简单通过阅读全文

posted @ 2025-03-02 08:00 荣锋亮阅读(27) 评论(0) 推荐(0)

dramatiq python3的快速可靠的分布式任务处理库

摘要： dramatiq 是基于python3开发的分布式任务处理库设计原则高可靠性和高性能简单易懂的核心约定高于配置与其他对比官方提供了一个表还是值得参考的说明以上表很值得参考，后边会介绍下使用参考资料 https://github.com/Bogdanp/dramatiq https: 阅读全文

posted @ 2025-03-01 08:00 荣锋亮阅读(176) 评论(0) 推荐(0)

celery group job 不同queue的使用

摘要： celery group 的group 可以实现任务并行，实际上对于不同的task 我们还可以配置不同的queue，实现资源的灵活分配，当然对于queue 的worker 节点，我们可以部署在不同的环境中（比如cpu，gpu分离的场景中），这样实现资源的合理使用 task 定义 app.py fro 阅读全文

posted @ 2025-02-28 08:00 荣锋亮阅读(62) 评论(0) 推荐(0)

perfetto开源系统profiling&应用trace 以及分析工具

摘要： perfetto 是google 开源的系统profiling 以及trace 工具完整能力图如下图，可以看到perfetto提供的维度还是比较全的，而且支持不同操作系统的trace能力说明基于官方提供的可视化ui 工具，可以快速体验perfetto包含的能力，对于性能分析此工具还是值得尝试阅读全文

posted @ 2025-02-27 08:00 荣锋亮阅读(234) 评论(0) 推荐(0)

通过pyinstaller 打包bottle 应用

摘要： pyinstaller 是一个很不错的python 应用打包工具，灵活简单，以下对于以前一个简单的bottle 使用pyinstaller 打包打包命令代码参考下边的资料参考命令 pyinstaller --add-data "static/*:static" app.py 一些细节因为打包阅读全文

posted @ 2025-02-26 08:00 荣锋亮阅读(33) 评论(0) 推荐(0)

bottle stream 模式数据返回简单示例

摘要： bottle对于支持迭代以及生成器的方法会使用类似stream 的模式返回数据，以下是一个简单的对于基于ollama 的stream 数据渲染处理示例 bottle 应用 app.py from bottle import route, run, template,static_file from 阅读全文

posted @ 2025-02-25 08:00 荣锋亮阅读(65) 评论(0) 推荐(0)

bottle python micro 框架

摘要： bottle是一个 python micro 框架，轻量简单包含的特性基于函数简单，动态路由内置模版引擎，同时还支持jinja2，mako，cheetah 等模版引擎内置灵活的工具类，的对于表单，文件，cookies，headers 处理 server 支持，支持适配兼容的wsgi 协议说阅读全文

posted @ 2025-02-24 08:00 荣锋亮阅读(21) 评论(0) 推荐(0)

Eel 基于python+浏览器的开发类似electron 应用

摘要： Eel 是基于基于python 可以方便开发基于浏览器的桌面应用，内部eel 可以通过@eel.expose 实现js 与python 代码的互通信包含的特点使用简单支持js 与python 代码的互相调用支持回掉以及同步处理，当然还支持python 的异步处理提供了基于pyinstall 阅读全文

posted @ 2025-02-23 08:00 荣锋亮阅读(235) 评论(0) 推荐(0)

mindsdb dbt 扩展简单说明

摘要： mindsdb 提供了dbt 的adapter 利用了dbt 自定义物化的macro 实现一些资源的创建目前提供的能力支持integration predictor table 参考使用一个简单示例 {{ config( materialized='integration', engine=' 阅读全文

posted @ 2025-02-22 08:00 荣锋亮阅读(73) 评论(0) 推荐(0)

通过plpython 扩展解决pg 调用c library 的问题

摘要：属于一个简单的业务问题，需要调用一个c 库，希望用sql 去处理，使用上就比较简单，不想自己遍历数据然后再调用c 库，因为系统使用的pg ，所以想着用pg 包装c 库为一个函数解决方法将c 库包装为一个独立的扩展，扩展集成了c 中的方法，然后就可以使用sql 处理了通过plpython 扩展，阅读全文

posted @ 2025-02-21 08:04 荣锋亮阅读(18) 评论(0) 推荐(0)

mindsdb 的一些sql command

摘要：主要是学习中的一个记录，发现mindsdb 中的一些项目操作相关sql 创建项目&&查看&&移除 CREATE PROJECT [IF NOT EXISTS] project_name; SHOW DATABASES WHERE type = 'project'; DROP PROJECT [IF 阅读全文

posted @ 2025-02-21 08:00 荣锋亮阅读(92) 评论(0) 推荐(0)

mindsdb handlers 类型简单说明

摘要： mindsdb 按照设计，对于handler 分为了两大类（官方文档的介绍），data handlers 以及ml handlers，但是实际上从github 上的介绍来说还包含一个app handlers ，以下对于几种handler 作一个简单的说明 data handlers 作为数据库与mi 阅读全文

posted @ 2025-02-20 08:00 荣锋亮阅读(40) 评论(0) 推荐(0)

mindsdb permanent_storage 简单说明

摘要： mindsdb 有一个permanent_storage 的配置，目前包含了三种模式,absent 不进行持久化，local 使用本地的，s3使用对象存储配置参考 { "permanent_storage": { "location": "local" "bucket": "s3_bucket_n 阅读全文

posted @ 2025-02-19 08:00 荣锋亮阅读(63) 评论(0) 推荐(0)

omdd ollama 模型下载工具一些说明

摘要： omdd 对于使用上文档使用上部分不是特别清晰，以下简单说明下下载元数据以及模型内容通过omdd get 获取, 但是内容都是需要自己下载的，第一个是manifest，同时名称必须是这个数据文件以及其他的是其余的，比如实际的blob 以及license等 manifest 以及下载的内容应该放阅读全文

posted @ 2025-02-18 23:35 荣锋亮阅读(238) 评论(0) 推荐(0)

omdd ollama 模型下载以及安装工具

摘要：我以前简单介绍过关于ollama 模型的离线使用，实际上目前社区有一个不错的模型下载工具（ollama-model-direct-download），可以实现模型的离线化 ollama-model-direct-download 的特性生成直接可以进行快速下载的地址本地化安装可用的ollama模阅读全文

posted @ 2025-02-18 19:08 荣锋亮阅读(274) 评论(0) 推荐(0)

mindsdb 支持的一些环境变量

摘要： mindsdb 支持基于环境变量的一些参数配置，比如认证密码的，db连接的，当然也都是可以通过配置指定的认证相关的 export MINDSDB_USERNAME='mindsdb_user' export MINDSDB_PASSWORD='mindsdb_password' 存储相关的 exp 阅读全文

posted @ 2025-02-18 08:00 荣锋亮阅读(85) 评论(0) 推荐(0)

mindsdb 对于预测结果的持久化的处理

摘要：默认上mindsdb的预测处理是基于查询join的，但是很多时候我们希望直接使用，当然官方提供了几种方法参考方法基于视图 CREATE VIEW review_sentiment ( -- querying for predictions SELECT input.product_name, i 阅读全文

posted @ 2025-02-17 08:00 荣锋亮阅读(63) 评论(0) 推荐(0)

mindsdb 启动配置简单说明

摘要： mindsdb 启动命令包含了基于cli的默认配置，以及支持自定义配置的基于json文件的默认启动配置 cli 参数 usage: __main__.py [-h] [--api API] [--config CONFIG] [--install-handlers INSTALL_HANDLERS 阅读全文

posted @ 2025-02-16 08:00 荣锋亮阅读(438) 评论(0) 推荐(0)

mindsdb ai 数据平台

摘要： mindsdb 是基于python 开发的ai 数据平台，提供了基于sql的模型训练，微调，部署，版本控制等能力，应用的访问上mindsdb 提供了rest api，mysq 协议，mongo协议，python 以及js sdk 等包含的特性接近200个集成包含了db 以及ai，ml 框架支阅读全文

posted @ 2025-02-15 08:00 荣锋亮阅读(1517) 评论(0) 推荐(1)

Daft UDF 简单说明

摘要： Daft 内部UDF 相比apply 提供了不少优化 apply 的使用参考 df.with_column( "flattened_image", df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.pyt 阅读全文

posted @ 2025-02-14 08:00 荣锋亮阅读(78) 评论(0) 推荐(0)

Daft delta lake dremio 集成一些问题

摘要：一些问题 com.dremio.common.exceptions.UserException: Failed to read metadata for delta dataset /warehouse/myappdemo. Deltalake format version 3 is not sup 阅读全文

posted @ 2025-02-13 08:00 荣锋亮阅读(27) 评论(0) 推荐(0)

Daft delta lake 集成简单试用

摘要： Daft 对于delta lake 支持本地写入以及基于catalog的，当前内部基于了delta-rs，对于catalog 的支持包含了aws glue 以及unity 以下是本地简单试用，对于基于unitycatalog的后边介绍下简单试用本地写入 import daft df = daft 阅读全文

posted @ 2025-02-12 08:00 荣锋亮阅读(34) 评论(0) 推荐(0)

Daft nessie rest catalog + dremio 集成代码简单说明

摘要：以前简单说明过集成玩法，以下通过代码示例简单说明下集成 nessie + dremio 部署基于docker-compose 部署 docker-compose 一些参考可以参考我以前关于dremio 以及nessie 的一些介绍 version: "3" services: zk: image: 阅读全文

posted @ 2025-02-11 08:00 荣锋亮阅读(54) 评论(0) 推荐(0)

Daft nessie rest catalog + dremio 集成

摘要： Daft 内部使用了pyiceberg 进行iceberg 的表操作，对于具体的catalog 都是pyiceberg 内部的能力，实际上我们可以直接集成nessie，目前pyiceberg 对于rest catalog 支持的比较好，同时nessie 也支持rest catalog 了，以下是一阅读全文

posted @ 2025-02-10 08:00 荣锋亮阅读(55) 评论(0) 推荐(0)

导航

公告