2024年7月27日

python-rq 简单使用

摘要： python-rq 是一个类似celery 的python 任务调度框架基于了redis 部署 需要包含worker 以及具体的任务执行，或者调度任务尺触发, 同时注意因为依赖redis 应该先启动redis 启动worker rq worker --with-scheduler 任务开发 注意任务 阅读全文

posted @ 2024-07-27 08:00 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2024年7月26日

fastapi apscheduler 集成简单说明

摘要： 对于 fastapi apscheduler 集成以及支持动态添加任务的简单说明 参考使用 依赖 包含了fastapi，apscheduler sqlalchemy uvicorn pip install fastapi apscheduler sqlalchemy uvicorn 代码简单说明 代 阅读全文

posted @ 2024-07-26 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年7月25日

constructor conda 软件安装包构建工具

摘要： constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用 准备conda 环境 命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

posted @ 2024-07-25 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月24日

dbt indexes 配置简单说明

摘要： dbt indexes 索引配置的目的是提升系统性能，为了方便维护dbt 提供了默认空实现，对于不同db 会有不同的实现，以下简单说明下 内部macro 定义 可以看到基本实现都为空，由具体的db adapter 实现 {% macro get_create_index_sql(relation, 阅读全文

posted @ 2024-07-24 07:37 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年7月23日

ollama 0.2.8 发布

摘要： 就在今天ollama 0.2.8 发布了，提供了新的模型mistral-nemo 以及nuextract 的支持，mistral-nemo 是一个新发布的模型，很值得体验下 参考资料 https://ollama.com/library/mistral-nemohttps://ollama.com/ 阅读全文

posted @ 2024-07-23 15:53 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dbt 1.8 发布

摘要： 就在最近，dbt 发布了1.8.0 版本，核心比较重要的功能是提供了单元测试的能力，同时是官方文档也进行了调整（以前是可以看到，但是是实际是不能使用的），完整的changelogs 可以查看github 信息 参考资料 https://docs.getdbt.com/reference/resour 阅读全文

posted @ 2024-07-23 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年7月22日

dbt dremio 自定义的几个macro 简单说明

摘要： 关于自定义schema 以前简单说明过，实际上dbt 支持了好几个预留的macro，可以方便进行自定义，比如schema，database，aliases，target dbt dremio adapter 的几个自定义macro 实际上就是上边说的，schemas，aliases，database 阅读全文

posted @ 2024-07-22 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月21日

dbt dremio nessie create table branch 问题解决简单说明

摘要： 以前是简单说明过解决方法，以下通过实际代码，说明下解决 dbt dremio 集成nessie 内部处理简单说明 注意目前说明的场景是基于nessie 作为数据库配置的，而不是dbt 标准的space 玩法 整体处理 如下图，实际上和业务模型的定义有关系，包含了view，以及table，当然还有属于 阅读全文

posted @ 2024-07-21 01:21 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月20日

dbt create table branch 问题

摘要： 属于社区有人的一个提问，实际上dremio 支持对于nessie source 特定branch 的 table 的创建，而且源码也有信息，只是官方文档缺少说明 branch创建表参考测试 一个简单sql CREATE table dbtv4.myappv5 AT BRANCH prod as se 阅读全文

posted @ 2024-07-20 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月19日

ollama 0.2.7 支持函数调用了

摘要： 就在最新的ollama 发布版本中对于类似openai 的函数调用支持了，但是目前有一些问题，就是相关历史的model 都需要修改下（添加TEMPLATE 对于tools的支持），一些是一个简单的测试 参考示例 使用了phidata 这个工具包 一个参考qwen2:7b 模型的修改 参考了llama 阅读全文

posted @ 2024-07-19 18:04 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

通过vllm 部署qwen2 模型

摘要： 主要是一个简单测试 安装vllm pip 模式安装 部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple python -m venv venv source venv/bin/ac 阅读全文

posted @ 2024-07-19 08:00 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

2024年7月18日

ollama 模型离线加载的配置简单说明

摘要： ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接 进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量） 下载的模型数据 模型数据结构 通过直接复制加载的模型 参考服务配置 systemd 服 阅读全文

posted @ 2024-07-18 07:47 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2024年7月17日

整理几个youtube 数据处理的包

摘要： 对于需要进行youtube 数据处理的，有几个不错的工具包，可以选择youtube-transcript-api 核心是处理字幕的，可以提供不少参数pytube 支持下载视频，字幕，缩略图。。。yt-dlp 属于一个cli 以及python 包包含的功能比较完备，支持不少视频数据的处理 参考资料 h 阅读全文

posted @ 2024-07-17 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年7月16日

ollama 的一些参数简单说明

摘要： ollama 提供了不少配置可以方便我们进行ollama 服务的调整，比如访问端口（默认127.0.0.1）,模型内存管理。。。 以下简单说明下访问以及模型内存管理的 完整配置信息 可以通过golang 代码查看，主要定义在envconfig/config.go 中 默认配置 func AsMap( 阅读全文

posted @ 2024-07-16 07:53 荣锋亮 阅读(87) 评论(0) 推荐(0) 编辑

2024年7月15日

chdb 简单试用

摘要： 通过python 模式包体验下chdb 参考使用 安装依赖 pip install chdb 简单代码 from chdb.session import Session db = Session('./db') db.query("CREATE DATABASE if not exists db") 阅读全文

posted @ 2024-07-15 07:39 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年7月14日

Crunchy Bridge 通过duckdb 对于pg 进行扩展

摘要： Crunchy 最近发布了一个Crunchy Bridge 的服务，通过duckdb 扩展了pg 对于数据分析的能力，官方发布的内容值得学习下 参考玩法 说明 实际上目前社区也有一个pg 的duckdb_fdw ，也值得体验下，Crunchy Bridge 不是一个fdw 扩展，反而是使用了类似ci 阅读全文

posted @ 2024-07-14 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年7月13日

ollama 0.2.3 发布

摘要： 就在今天ollama 0.2.3 发布了，主要修复了关于系统prompt 不能生效的问题，而且通过测试glm4 的兼容也比较好了，以前版本对于结构化输出是有一些问题的 参考资料 https://github.com/ollama/ollama/releases 阅读全文

posted @ 2024-07-13 21:53 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

chdb 基于clickhouse 的进程olap 引擎 基于clickhouse 的进程olap 引擎

摘要： chdb 是基于clickhouse 的进程olap 引擎 包含的特性 基于clickhouse 的进程内的sql olap 引擎 serverless，不需要安装clickhouse 服务 通过python memoryview 的最小c++ python 数据拷贝 输入以及输出支持parquet 阅读全文

posted @ 2024-07-13 07:41 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年7月12日

dremio 25.0.5 docker 镜像

摘要： 就在今天dremio 提供了25.0.5 社区版的下载地址，但是目前docker 镜像暂时还没提供，以下是基于eclipse-temurin:11.0.23_9-jdk 基础镜像 的一个可用镜像 Dockerfile FROM eclipse-temurin:11.0.23_9-jdk LABEL 阅读全文

posted @ 2024-07-12 20:29 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

ollama 0.2.2 发布

摘要： 就在今天ollama 0.2.2 解决了不少问题，比如nvida v100 gpu 问题，同时修复了一些关于特定模型以及nvida gpu oom 的问题 说明 以前在测试0.2.1 版本v100 的时候有明显的异常，造成服务不能正常工作， 通过测试0.2.2 目前是可以正常工作了 参考资料 htt 阅读全文

posted @ 2024-07-12 10:14 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dremio 25.0.5 社区版下载提供了

摘要： 就在昨天dremio 提供了社区版的下载地址,此版本的变动核心是一些fix，新功能并不多 说明 目前源码暂时还没push 到github,同时docker 镜像也暂时未提供，后边体验下 参考资料 https://docs.dremio.com/current/release-notes/versio 阅读全文

posted @ 2024-07-12 07:51 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

polaris-catalog 即将开源的apache iceberg catalog 服务

摘要： polaris-catalog是snowflake 即将开源的apache iceberg catalog 服务，实现上基于了iceberg 的rest api，这样就可以实现多引擎的数据处理，而不用进行数据的移动 参考多引擎集成 说明 从机制上也是支持dremio 的，但是因为databricks 阅读全文

posted @ 2024-07-12 06:08 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年7月11日

scrapyd scrapy调度服务

摘要： scrapyd 是官方出的调度服务，对于部署可以结合scrapyd-client，以下是一个简单说明 配置 scrapy 提供了一个scrapy.cfg 的配置文件，可以定义scrapyd服务地址 scrapy.cfg 参考配置 [deploy] url = http://scrapyd.examp 阅读全文

posted @ 2024-07-11 07:12 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月10日

luax 构建&简单试用

摘要： luax 目前没有提供直接的安装包，我们需要自己构建，以下说明下使用 构建&&使用 注意mac 系统构建有问题，没成功，使用的linux 构建 需要ninja 构建工具，可以通过pip 安装 git clone https://github.com/CDSoft/luax cd luax ./boo 阅读全文

posted @ 2024-07-10 07:55 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月9日

ollama 0.2.0 发布

摘要： 就在最近ollama 0.2.0 发布了，比较重要的是支持并发处理 并发处理的特性 并行请求，同时处理多个chat 会话，同步的处理一个文档的多个部分，同时运行多个agent 多模型处理，支持RAG 场景，同时处理嵌入以及文本完成，同时运行多个agent 新模型支持 包含了GLM-4，CodeGee 阅读全文

posted @ 2024-07-09 15:43 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

scrapy 几个环境变量

摘要： 如果查看scrapyd 内部处理以及scrapy 介绍的话，会发现有几个环境变量比较重要，scrapyd 在实际执行的时候会进行变量参数的处理 以下简单说明下 环境变量 SCRAPY_SETTINGS_MODULE 配置相关的,对于scrapy 框架是基于配置文件的 def init_env(pro 阅读全文

posted @ 2024-07-09 06:15 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月8日

scrapyd 运行egg 的内部处理简单说明

摘要： 以前简单说明了下scrapyd_client deploy 的处理，现在说明下scrapyd 运行egg 的内部处理 内部处理 激活egg 模块 scrapyd 包装了自己的方法，对于激活的会添加的执行环境中 def activate_egg(eggpath): """Activate a Scra 阅读全文

posted @ 2024-07-08 07:25 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年7月7日

scrapyd_client deploy 内部实现简单说明

摘要： scrapyd_client deploy 提供了对于开发的spider 的打包，同时push 到scrapyd server 中，因为python 的特殊性，我们开发的spider 可能有依赖，scrapyd_client 会结合实际命令打包应用为是否包含依赖的egg 包 egg 包处理 对于eg 阅读全文

posted @ 2024-07-07 05:48 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年7月6日

serverpod 基于dart 的flutter 下一代app 以及web server 开发框架

摘要： serverpod 按照官方的介绍是基于dart 的flutter 下一代app 以及web server 开发框架 包含的能力 代码生成 可以辅助通过分析server 端代码生成客户端代码，这样调用就比较方便了trpc 就干了这类的事情 世界一流的日志处理 内置cache 内置cache 可以减少 阅读全文

posted @ 2024-07-06 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年7月5日

scrapy + browserless 集成简单说明

摘要： 以前简单说明过scrapy 集成s3 feed exports 的配置，以下是集成browserless 的处理，通过browserless 进行数据内容的处理（尤其适合包含了基于ajax的请求，以及延迟加载的项目） 项目准备 主要是s3以及browserless docker-compose ve 阅读全文

posted @ 2024-07-05 07:31 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

2024年7月4日

browserless + dremio 的数据爬虫方案

摘要： 数据爬虫的玩法很多，框架也不少，对于实际开发我们会面临不少问题，比如存储，分析，数据使用，爬虫站点的分析处理，动态proxy 池以下是一个简单的集成 参考架构 基于自定义爬虫开发的 自己开发爬虫任务，基于调度对于任务基于容器运行，对于部分web 数据的爬取处理可以使用browserless ，数据存 阅读全文

posted @ 2024-07-04 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年7月3日

scrapy minio feed expoprts 配置简单说明

摘要： scrapy 对于解析的item 可以直接配置后端存储，可以直接配置不同的格式写入数据到存储中，以下是关于minio的简单说明 配置 核心是feed 以及backend 配置 feed 配置 settings.py # feed 配置 FEED_EXPORT_ENCODING = "utf-8" F 阅读全文

posted @ 2024-07-03 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年7月2日

browserless webhooks 简单说明

摘要： 以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

posted @ 2024-07-02 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年7月1日

browserless hooks 简单说明

摘要： browserless提供了hooks 能力，默认实现都为空，以下简单说明下内部处理 默认实现 如下图 内部处理 hooks.ts 定义 import { AfterResponse, BeforeRequest, BrowserHook, PageHook, } from '@browserles 阅读全文

posted @ 2024-07-01 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年6月30日

browserless ws 服务处理简单说明

摘要： browserless ws 的处理实际上一个proxy 对于启动的实际无头浏览器ws 服务进行了代理，同时为了安全browserless 进行了token 的处理 以下对于内部实现进行一个简单说明 参考处理 ws route 注册 browserless 模块中的start 方法 wsRoutes 阅读全文

posted @ 2024-06-30 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年6月29日

browserless scrape api 简单说明

摘要： 以前说过browserless提供了不少api 能力，以下简单说明下scrape api 的处理 参考定义 如下图，browserless 对于不同浏览器进行了不同的处理（内部实现包含了公共的） 内部处理 scrape.http.ts 定义中，browserless 使用了puppeteer-cor 阅读全文

posted @ 2024-06-29 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年6月28日

browserless 提供的api 能力

摘要： browserless 提供了不少方便的api，可以让我们基本写很好的代码就能实现一些不错的功能（pdf生成，快照） api 分类 目前api 包含了面向浏览器的以及面向管理的 浏览器api /content 获取内容的 /download 下载内容的 /function 执行自定义函数的 /pdf 阅读全文

posted @ 2024-06-28 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年6月27日

scrapy-playwright scrapy 集成无头浏览器的插件

摘要： scrapy-playwright scrapy 集成无头浏览器的插件，同时我们也可以集成browserless 这类的服务scrapy-playwright 插件文档以及提供的能力还是比较全的 说明 对于基于scrapy 进行数据处理，同时需要一些其他功能的（比如登陆，渲染的）是一个不错的选择，后 阅读全文

posted @ 2024-06-27 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年6月26日

playwright-har 试用

摘要： playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用 环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

posted @ 2024-06-26 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年6月25日

browserless docker 镜像简单说明

摘要： browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主 阅读全文

posted @ 2024-06-25 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

下一页

导航