2021年7月3日

使用parquetjs 创建parquet 文件

摘要： parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用 参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

posted @ 2021-07-03 23:37 荣锋亮 阅读(359) 评论(0) 推荐(0) 编辑

dremio 数据格式的一些说明

摘要： 内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置 说明 官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的 参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮 阅读(163) 评论(0) 推荐(0) 编辑

集成minio sidekick & console 的测试

摘要： minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮 阅读(3001) 评论(0) 推荐(0) 编辑

导航