荣锋亮 - 博客园

mindsdb handlers 类型简单说明

摘要： mindsdb 按照设计，对于handler 分为了两大类（官方文档的介绍），data handlers 以及ml handlers，但是实际上从github 上的介绍来说还包含一个app handlers ，以下对于几种handler 作一个简单的说明 data handlers 作为数据库与mi 阅读全文

posted @ 2025-02-20 08:00 荣锋亮阅读(29) 评论(0) 推荐(0)

mindsdb permanent_storage 简单说明

摘要： mindsdb 有一个permanent_storage 的配置，目前包含了三种模式,absent 不进行持久化，local 使用本地的，s3使用对象存储配置参考 { "permanent_storage": { "location": "local" "bucket": "s3_bucket_n 阅读全文

posted @ 2025-02-19 08:00 荣锋亮阅读(44) 评论(0) 推荐(0)

omdd ollama 模型下载工具一些说明

摘要： omdd 对于使用上文档使用上部分不是特别清晰，以下简单说明下下载元数据以及模型内容通过omdd get 获取, 但是内容都是需要自己下载的，第一个是manifest，同时名称必须是这个数据文件以及其他的是其余的，比如实际的blob 以及license等 manifest 以及下载的内容应该放阅读全文

posted @ 2025-02-18 23:35 荣锋亮阅读(194) 评论(0) 推荐(0)

omdd ollama 模型下载以及安装工具

摘要：我以前简单介绍过关于ollama 模型的离线使用，实际上目前社区有一个不错的模型下载工具（ollama-model-direct-download），可以实现模型的离线化 ollama-model-direct-download 的特性生成直接可以进行快速下载的地址本地化安装可用的ollama模阅读全文

posted @ 2025-02-18 19:08 荣锋亮阅读(237) 评论(0) 推荐(0)

mindsdb 支持的一些环境变量

摘要： mindsdb 支持基于环境变量的一些参数配置，比如认证密码的，db连接的，当然也都是可以通过配置指定的认证相关的 export MINDSDB_USERNAME='mindsdb_user' export MINDSDB_PASSWORD='mindsdb_password' 存储相关的 exp 阅读全文

posted @ 2025-02-18 08:00 荣锋亮阅读(64) 评论(0) 推荐(0)

mindsdb 对于预测结果的持久化的处理

摘要：默认上mindsdb的预测处理是基于查询join的，但是很多时候我们希望直接使用，当然官方提供了几种方法参考方法基于视图 CREATE VIEW review_sentiment ( -- querying for predictions SELECT input.product_name, i 阅读全文

posted @ 2025-02-17 08:00 荣锋亮阅读(50) 评论(0) 推荐(0)

mindsdb 启动配置简单说明

摘要： mindsdb 启动命令包含了基于cli的默认配置，以及支持自定义配置的基于json文件的默认启动配置 cli 参数 usage: __main__.py [-h] [--api API] [--config CONFIG] [--install-handlers INSTALL_HANDLERS 阅读全文

posted @ 2025-02-16 08:00 荣锋亮阅读(340) 评论(0) 推荐(0)

mindsdb ai 数据平台

摘要： mindsdb 是基于python 开发的ai 数据平台，提供了基于sql的模型训练，微调，部署，版本控制等能力，应用的访问上mindsdb 提供了rest api，mysq 协议，mongo协议，python 以及js sdk 等包含的特性接近200个集成包含了db 以及ai，ml 框架支阅读全文

posted @ 2025-02-15 08:00 荣锋亮阅读(1276) 评论(0) 推荐(0)

Daft UDF 简单说明

摘要： Daft 内部UDF 相比apply 提供了不少优化 apply 的使用参考 df.with_column( "flattened_image", df["image"].apply(lambda img: img.flatten(), return_dtype=daft.DataType.pyt 阅读全文

posted @ 2025-02-14 08:00 荣锋亮阅读(46) 评论(0) 推荐(0)

Daft delta lake dremio 集成一些问题

摘要：一些问题 com.dremio.common.exceptions.UserException: Failed to read metadata for delta dataset /warehouse/myappdemo. Deltalake format version 3 is not sup 阅读全文

posted @ 2025-02-13 08:00 荣锋亮阅读(18) 评论(0) 推荐(0)

Daft delta lake 集成简单试用

摘要： Daft 对于delta lake 支持本地写入以及基于catalog的，当前内部基于了delta-rs，对于catalog 的支持包含了aws glue 以及unity 以下是本地简单试用，对于基于unitycatalog的后边介绍下简单试用本地写入 import daft df = daft 阅读全文

posted @ 2025-02-12 08:00 荣锋亮阅读(18) 评论(0) 推荐(0)

Daft nessie rest catalog + dremio 集成代码简单说明

摘要：以前简单说明过集成玩法，以下通过代码示例简单说明下集成 nessie + dremio 部署基于docker-compose 部署 docker-compose 一些参考可以参考我以前关于dremio 以及nessie 的一些介绍 version: "3" services: zk: image: 阅读全文

posted @ 2025-02-11 08:00 荣锋亮阅读(30) 评论(0) 推荐(0)

Daft nessie rest catalog + dremio 集成

摘要： Daft 内部使用了pyiceberg 进行iceberg 的表操作，对于具体的catalog 都是pyiceberg 内部的能力，实际上我们可以直接集成nessie，目前pyiceberg 对于rest catalog 支持的比较好，同时nessie 也支持rest catalog 了，以下是一阅读全文

posted @ 2025-02-10 08:00 荣锋亮阅读(33) 评论(0) 推荐(0)

Daft 集成ray 测试

摘要：通过集成ray 可以让Daft 实现分布式调度能力，以下是一个简单测试, ray 使用了本地模式集成ray 测试代码是一个访问iceberg的示例代码 import daft import daft.context import ray ray.init() from pyiceberg.ca 阅读全文

posted @ 2025-02-09 08:00 荣锋亮阅读(59) 评论(0) 推荐(0)

pygetwindow 跨平台获取window 窗口包

摘要： pygetwindow 是一个跨平台的获取系统窗口的包，可以获取当前激活的窗口，以及或有打开窗口的标题参考使用安装 pip install pygetwindow 备注：对于mac 系统需要安装pyobjc-framework-Quartz 这个包，方便集成Quartz 简单使用注意mac 阅读全文

posted @ 2025-02-08 08:00 荣锋亮阅读(226) 评论(0) 推荐(0)

Daft 集成iceberg 测试

摘要： Daft 就用pyiceberg 提供了对于iceberg 的集成，以下是一个简单测试准备iceberg 表直接基于了本地数据存储参考代码 import daft from pyiceberg.catalog.sql import SqlCatalog as ISqlCatalog impor 阅读全文

posted @ 2025-02-07 08:00 荣锋亮阅读(37) 评论(0) 推荐(0)

PyTables 基于hdf5 以及numpy 分层数据集包

摘要： PyTables 基于hdf5 以及numpy 分层数据集包，pandas 内部对于hdf5格式的处理就是基于了此包包含的特性支持表实体操作多维以及表单元嵌入支持表列支持索引操作支持基于numpy 的数字数组可扩展数组可变长度数组支持层级结构数据模型用户定义元数据支持读以及修改通阅读全文

posted @ 2025-02-06 08:00 荣锋亮阅读(37) 评论(0) 推荐(0)

PyTables 提供的一些工具

摘要： PyTables 提供了一些工具，可以方便查看以及分析生成的文件，以下是一个简单说明 ptdump 提供了查看数据以及元数据信息命令 usage: ptdump [-h] [-v] [-d] [-a] [-s] [-c] [-i] [-R RANGE] filename[:nodepath] Th 阅读全文

posted @ 2025-02-05 08:00 荣锋亮阅读(45) 评论(0) 推荐(0)

hdf5 存储格式

摘要： hdf5是一种用于存储和管理大规模数据集的文件格式，广泛应用在数据科学中，pandas 等一些dataframe 框架提供了直接读写处理包含的特点层次化结构： HDF 文件可以组织成类似文件系统的层次结构，包含“组”和“数据集”。组相当于文件夹，数据集相当于文件。跨平台支持： HDF 文件在阅读全文

posted @ 2025-02-04 08:00 荣锋亮阅读(228) 评论(0) 推荐(0)

Daft sql查询数据库处理简单说明

摘要：此sql 不是Daft 对于dataframe 的sql 查询处理，而是对于database 数据源的查询处理，以下是一些简单数名简单说明支持20+ 数据库方言，基于了sqlGlot，当然处理部分有基于connector-x的以及sqlalchemy的，默认使用connector-x 对于不支持阅读全文

posted @ 2025-02-03 08:00 荣锋亮阅读(53) 评论(0) 推荐(0)

Daft io配置简单说明

摘要：很多时候我们希望取访问外部存储，但是外部存储是需要一些配置信息的，比如s3，Daft 对于配置的处理有两种模式，全局以及特定数据处理任务，以下简单说明下全局模式通过设置Daft 的计划信息，提供默认io 配置参考配置之后后续的处理就不要进行而外的io 访问配置了,比如适合有统一的io 配置信阅读全文

posted @ 2025-02-02 08:00 荣锋亮阅读(26) 评论(0) 推荐(0)

ollama deepseek 流式web 集成think 标签处理简单示例

摘要： ollama openai 兼容api 的流式输出可以提升用户体验，当前deepseek 比较火，以下是对于deepseek think 部分部分的简单说明处理机制因为输出是markdown格式的，我们主要将think 部分解析到，同时进行标签的处理（比如替换为div 的同时添加class 属性阅读全文

posted @ 2025-02-01 17:48 荣锋亮阅读(5013) 评论(0) 推荐(0)

Daft s3 集成试用

摘要： daft 支持不少存储数据的访问，以下是关于s3的一个简单试用环境准备 docker-compose services: minio: image: minio/minio command: server /data --console-address ":9001" ports: - 9000: 阅读全文

posted @ 2025-02-01 08:00 荣锋亮阅读(31) 评论(0) 推荐(0)

python atexit 模块提供的一些功能

摘要： python 的atexit 提供了一些钩子，可以在python 正常退出的时候可以执行一些方法参考使用注册钩子函数 import atexit atexit.register(lambda: print('exit')) def main(): print('main') if __name_ 阅读全文

posted @ 2025-01-31 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

eclipse uprotocol汽车应用以及服务连接框架

摘要： eclipse uprotocol 基于了cloud events 以及protobuf 定义了通用的协议处理包含的特性多样的消息交换模式支持，包含了rpc，发布订阅，通知跨语言支持，当前支持java，rust，c++，python 跨平台，支持linux，android，qnx 等灵活，支阅读全文

posted @ 2025-01-30 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

yomo 支持geo ai 基础设施的状态化serverless 框架

摘要： yomo 支持geo ai 基础设施的状态化serverless 框架包含的特性 llm 函数调用低延迟（基于quic 协议） geo 分布自托管 webassembly 集成，通过go，rust，c，编译为wasm 运行安全，数据包通过tls v1.3 加密说明 webassembly 阅读全文

posted @ 2025-01-29 08:00 荣锋亮阅读(25) 评论(0) 推荐(0)

netron 方便的模型结构可视化工具

摘要： netron可以方便的对于神经网络，深度学习以及机器学习的模型进行可视化，使用简单说明 netron 支持各类模型，对于希望了解模型结构参数的netron是一个很不错的可视化工具参考资料 https://netron.app/ https://github.com/lutzroeder/netr 阅读全文

posted @ 2025-01-28 08:00 荣锋亮阅读(238) 评论(0) 推荐(0)

pynput python 实现控制以及监听鼠标以及键盘的包

摘要： pynput 属于一个python 进行控制设备的包，目前主要提供了鼠标以及键盘控制能力，使用上都比较简单说明对于需要进行按键以及鼠标控制的，基于pynput是一个不错的选择，使用简单，支持多平台参考资料 https://github.com/moses-palmer/pynput https 阅读全文

posted @ 2025-01-27 08:00 荣锋亮阅读(90) 评论(0) 推荐(0)

memoripy 大模型上下文记忆包

摘要： memoripy 大模型上下文记忆包，兼容openai 以及ollama api，包括上下文记忆检索、记忆衰减和强化、层次聚类和基于图的关联支持的特性长短记忆支持上下文检索使用openai 或者ollama 模型的概念提取以及嵌入基于图的关联层次聚类，支持聚类相似语义组衰减以及增强，支阅读全文

posted @ 2025-01-26 08:01 荣锋亮阅读(87) 评论(0) 推荐(0)

optillm openai api 兼容的推理proxy 服务

摘要： optillm openai api 兼容的推理proxy 服务，内部使用了不少技术，同时也支持插件化的扩展内部参考处理说明 optillm 内部支持基于litellm 的llm 服务，同时使用了不少llm的优化技巧，值得研究下，同时对于不支持openai api 的大模型，我们可以通过lite 阅读全文

posted @ 2025-01-25 08:00 荣锋亮阅读(60) 评论(0) 推荐(0)

dora简单试用

摘要： dora 包含服务进程可以自己安装，之后通过yaml 定义进行快速开发，以下是一个简单试用安装dora 服务可以直接使用cli，或者github 下载自己安装 curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.c 阅读全文

posted @ 2025-01-24 08:55 荣锋亮阅读(67) 评论(0) 推荐(0)

pybind11 setuptools 集成试用

摘要： pybind11 支持基于setuptools的构建，以下是一个简单试用项目代码结构 ├── README.md ├── mydemo │ ├── __init__.py │ └── demo.py ├── setup.py └── src └── example.cpp 代码说明 src/ex 阅读全文

posted @ 2025-01-23 08:00 荣锋亮阅读(46) 评论(0) 推荐(0)

pybind11 native python 模块简单试用

摘要： pybind11 是一个很不错的python c++ 互交互以及原生模块开发框架，可以快速服用c 以及c++ 周边的工具包对于python能力进行扩展以下是一个简单使用，内容来自官方文档，主要是体验下环境准备我基于linux 构建，原生python 版本比较低，使用了miniconda 安装新阅读全文

posted @ 2025-01-22 08:00 荣锋亮阅读(52) 评论(0) 推荐(0)

probot github app开发框架

摘要： probot 是一个github app 开发框架，同时为了方便大家的测试使用probot 还提供了有一个基于sse 的公网可用的webhook proxy 工具smee probot 包含的特性基于nodejs 开发开发部署简单内置了基于smee的快速公网访问部署能力内置了丰富的githu 阅读全文

posted @ 2025-01-21 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

smee 基于sse 的webhook proxy 工具

摘要： smee 是probot 提供的一个webhook proxy 工具，利用了sse 技术，可以直接将来自公网的请求代理到本地，比较适合进行测试以及用户缺少公网环境的场景参考架构说明目前smee 主要应用在probot github bot 框架中，但是基于此我们也可以应用到其他场景了，代码都是阅读全文

posted @ 2025-01-20 08:00 荣锋亮阅读(62) 评论(0) 推荐(0)

libsql bottomless 集成minio 简单使用

摘要： libsql 支持bottomless 可以方便的将wal数据存储在s3中（基于了虚拟wal 接口实现），以下是一个简单使用环境准备 docker-compose 环境开启了namespace 以及集成主从服务 services: db1: image: ghcr.io/tursodatabase 阅读全文

posted @ 2025-01-19 08:00 荣锋亮阅读(30) 评论(0) 推荐(0)

libsql 多租户namespace模式试用

摘要： libsql 支持基于db 分离的多租户模式，但是需要开启namespace 能力，以下是一个简单说明以及测试开启namepace 我基于docker-compose 部署, 目前docker 部署的缺少环境变量支持，我基于了cmd 运行，核心是--enable-namespaces docker 阅读全文

posted @ 2025-01-18 08:00 荣锋亮阅读(34) 评论(0) 推荐(0)

libsql server 复制简单使用

摘要： libsql server 通过暴力server 模式是让sqlite 具有了远端访问能力，同时基于复制能力，可以实现高可用参考玩法如下图，可以看到libsql server 可以灵活的进行数据的写出来，通过wal 实现数据更新测试&使用 docker-compose services: db 阅读全文

posted @ 2025-01-17 08:00 荣锋亮阅读(65) 评论(0) 推荐(0)

libsql强大的sqlite fork 分支

摘要： libsql 是fork了sqlite 但是基于rust 进行了新的开发包含的特性嵌入复制能力（可以是remote，也可以是local）对于需要本地以及云端能力的应用很方便基于libsql server 让sqlite 具有了远端访问能力（同时有primary 以及replica 角色可以自动阅读全文

posted @ 2025-01-16 08:00 荣锋亮阅读(229) 评论(0) 推荐(0)

zenoh flow python sdk 简单说明

摘要： zenoh flow 是zenoh 团队提供的面向data flow 的编程框架，可以提供灵活的进行数据处理，zenoh flow 提供了基于rust 以及python 的扩展能力，我们只需要进行flow 的yaml 定义就可以灵活的进行数据处理，基于rust的开发模式可能比较费事，而且有难度，ze 阅读全文

posted @ 2025-01-15 08:00 荣锋亮阅读(28) 评论(0) 推荐(0)

导航

公告