2021年9月1日

minio来自官方的内核优化参数

摘要： 内容来自github，还是比较有意义的 参考 #!/bin/bash ​ cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 ​ # use as little s 阅读全文

posted @ 2021-09-01 23:51 荣锋亮 阅读(2237) 评论(0) 推荐(0)

minio 集成webhook 事件通知

摘要： 以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮 阅读(2389) 评论(0) 推荐(0)

excel 到dremio 查询处理

摘要： 参考解决方案 原理说明 用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析 环境 阅读全文

posted @ 2021-09-01 21:41 荣锋亮 阅读(163) 评论(0) 推荐(0)

导航