荣锋亮 - 博客园

blitz 全栈react 框架

摘要： blitz是一个全栈的基于next.js 开发的react 框架支持的特性基于next.js 扩展不需要开发客户端渲染api 同时支持客户端以及服务器端渲染 typescript 支持 react 并行模式支持 orm 支持（prisma 2） cli 支持 graphql 支持内置安全 r 阅读全文

posted @ 2021-02-16 12:13 荣锋亮阅读(488) 评论(0) 推荐(0)

discourse一个docker-compose 配置

摘要： bitnami 提供的一个docker-compose 运行文件，还是很方便的，直接可以拿来使用 docker-compose 文件 version: '2' services: postgresql: image: 'docker.io/bitnami/postgresql:11-debian-1 阅读全文

posted @ 2021-02-15 12:01 荣锋亮阅读(449) 评论(0) 推荐(0)

使用discourse 作为社区工具

摘要： discourse 是一个开源的社区沟通平台，开源，免费，目前好多国外的社区也都基于此构建了是一个不错的工具参考部署可以参考以下连接，使用docker 部署https://github.com/discourse/discourse/blob/master/docs/INSTALL-cloud. 阅读全文

posted @ 2021-02-15 10:52 荣锋亮阅读(489) 评论(0) 推荐(0)

dremio schema 更新的问题

摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决调整元数据刷新频率如下图调用sql 操作更新可以使用forget 模式，参考连接，但是没尝试过参考资料 https://docs.dremio.com 阅读全文

posted @ 2021-02-15 10:45 荣锋亮阅读(174) 评论(0) 推荐(0)

go-mysql-server 新版本发布

摘要： go-mysql-server 是在原有的基础上进行可增强，2021 q1版本实现了好多新的特性如果结合以前的版本，triger 是一个很不错的特性，优化点也是很多的，很值得学习下同时记得以前有写过与pg fdw 集成的，使用go-mysql-server或者一个基于mysql 的db 引擎，实阅读全文

posted @ 2021-02-14 23:03 荣锋亮阅读(350) 评论(0) 推荐(0)

开发一个dremio user_agent 解析函数

摘要：参考apache drill 实现一个user_agent 解析的函数项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │ 阅读全文

posted @ 2021-02-14 11:35 荣锋亮阅读(324) 评论(0) 推荐(0)

java 几个不错的user_agent 解析工具包

摘要：最近在学习dremio，需要开发一个user agent 的函数，所以整理了一些user agent 解析的包，方便使用net.sf.uadetector,nl.basjes.parse.useragent 参考资料 http://uadetector.sourceforge.net/usage.h 阅读全文

posted @ 2021-02-13 23:29 荣锋亮阅读(2010) 评论(0) 推荐(0)

几个开源的clickstream 分析工具

摘要：以下整理一些开源的分析工具，主要记录下 divolte 基于kafka, hadoop 的实现 matomo 以前是piwiki Open-Web-Analytics analytics Countly 参考资料 https://divolte.io/https://github.com/divol 阅读全文

posted @ 2021-02-12 22:36 荣锋亮阅读(420) 评论(0) 推荐(0)

partiql 学习一试用

摘要： partiql 官方提供了一个repl 实现，我们可以用来体验下载 https://github.com/partiql/partiql-lang-kotlin/releases 运行启动 ./partiql 基本查询 select * from [1,3,4,5] 加载测试数据 ./parti 阅读全文

posted @ 2021-02-12 21:17 荣锋亮阅读(261) 评论(0) 推荐(0)

partiql 亚马逊开源的基于sql 的查询语言

摘要： partiql 的目的是基于sql 可以进行各类数据的查询操作，类似的也有 apache calcite当然从功能上来说，partiql目的是支持嵌套数据查查询支持，同时数据存储实现无关的特性功能说明参考实现架构说明从以上官方的参考架构中可以看到与apache calcite还是有区别的，c 阅读全文

posted @ 2021-02-12 20:55 荣锋亮阅读(286) 评论(0) 推荐(0)

cube.js 最新版本的一些特性

摘要：一个特别好的特性就是security context 可以在playground 中使用了，当然dashboard 代码的自动生成也有了越来越多框架的支持了参考效果参考资料 https://github.com/cube-js/cube.js/releases 阅读全文

posted @ 2021-02-12 13:29 荣锋亮阅读(109) 评论(0) 推荐(0)

astronomer 企业级的airflow 框架

摘要： airflow 是一个很不错的workflow 调度工具，但是实际使用还是有一些问题的。astronomer 基于airflow 做了一些扩展，可以实现airflow安全，产品级，可靠以及可扩展一些说明 astronomer 也是基于开源的组件做了一些包装，比如graphql的，helm，ngin 阅读全文

posted @ 2021-02-12 13:20 荣锋亮阅读(473) 评论(0) 推荐(0)

neodash 构建neo4j dashboard 的工具

摘要： neodash 方便构建基于ne4j dashboard 的工具包含的特性实时图表直支持（table，图，bar，line。。。）支持neo4j 数据类型自定义配置保存以及加载为json 格式参考效果参考资料 https://nielsdejong.nl/neo4j%20project 阅读全文

posted @ 2021-02-12 12:40 荣锋亮阅读(479) 评论(0) 推荐(0)

开发自定义的dremio 函数

摘要： dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的项目结构项目主要是创建一个uuid 的函数项目结构 ├── pom.xml ├── src │ ├ 阅读全文

posted @ 2021-02-11 23:11 荣锋亮阅读(418) 评论(0) 推荐(1)

dremio sql 操作

摘要：主要介绍关于创建相关的操作（比如table，反射，虚拟表） create table 注意并不是所有存储都是支持，一般文件系统相关的会有支持（比如s3,hdfs）,同时也包含了一个隐藏的$scratch 目录参考命令注意需要开启CTAS 以及DROP 选项（文件系统的） CREATE TABLE 阅读全文

posted @ 2021-02-11 16:15 荣锋亮阅读(579) 评论(0) 推荐(0)

dremio 生产部署推荐硬件配置

摘要：以下内容参考自官方的一个参考文档最低要求执行节点&&协调节点 8 CPU, 16G 内存,4HDD 或者1SSD 生产推荐执行节点 32+CPU，128G 内存，12+HDD，或者3+SDD 协调节点 32+ CPU，128G内存，4HDD 或者SSD（RAID 10）双工10G bond 阅读全文

posted @ 2021-02-11 15:00 荣锋亮阅读(249) 评论(0) 推荐(0)

dremio 源码编译

摘要： dremio 是基于java 开发的，项目使用了maven进行包管理，以下是一个简单的源码构建依赖 java8， maven （至少3.3.9）构建构建比较慢，需要等待构建 git clone https://github.com/dremio/dremio-oss.git dremio c 阅读全文

posted @ 2021-02-11 10:06 荣锋亮阅读(504) 评论(0) 推荐(0)

dremio 与apache drill 的一些区别

摘要：如果学习dremio 的话，会发现一些与drill 相似的地方，但是也有好多不同的地方，以下是一些区别，参考了网上以及一些自己的理解 dremio 基于apache arrow 更多的push down 能力支持数据反射（加速数据访问）提供了数据治理，数据审编，数据血缘，数据访问控制，数据虚拟化阅读全文

posted @ 2021-02-10 18:21 荣锋亮阅读(610) 评论(0) 推荐(0)

基于json lines 进行数据交换

摘要： csv 格式的是日常比较常见的数据交换格式，json lines 是另外一个基于json的，比csv 更加灵活，强大的格式格式说明 utf-8 编码每行都是一个json 内容（可以通过校验的）每行会有\n 结束说明已经有好多数据交换工具都支持基于json lines 的数据处理，简单，包含阅读全文

posted @ 2021-02-10 14:18 荣锋亮阅读(369) 评论(0) 推荐(0)

使用idea 自带的工具反编译jar包

摘要：参考命令 mac 系统 java -cp "/Applications/IntelliJ IDEA.app/Contents/plugins/java-decompiler/lib/java-decompiler.jar" org.jetbrains.java.decompiler.main.dec 阅读全文

posted @ 2021-02-10 00:31 荣锋亮阅读(2668) 评论(2) 推荐(0)

基于dremio arp sdk 开发一个cratedb 连接器

摘要：目的比较简单，就是学习下dremio 基于arp模式的连接器开发，目前我们可以看到一些官方的demo 但是还是自己尝试下，同时也记录下开发过程中踩的坑环境准备基于13 版本 maven 项目结构为了方便jar 包的分发，使用了shade 扩展 ├── README.md ├── pom.xml 阅读全文

posted @ 2021-02-09 23:41 荣锋亮阅读(389) 评论(0) 推荐(0)

maven 项目定义的repositories 不能工作可能的原因

摘要：主要原因是自己为了下载加速配置了maven settings 的加速，但是问题来了，镜像使用了* 现象自己项目配置的repositories 不能工作了参考配置 settings.xml 加速 <mirror> <id>nexus-tencentyun</id> <mirrorOf>*</mir 阅读全文

posted @ 2021-02-09 10:19 荣锋亮阅读(926) 评论(0) 推荐(0)

dremio 学习七开发arp 连接器

摘要： arp 是dremio 提供的一个高级关系下推框架，可以方便我们开发自定义的数据连接器 arp 开发流程结构 (比drill 开发方便多了) 存储插件配置 [data source]Conf,java 插件arp yaml 定义文件 [data source].arp.yaml 说明配置定义了，阅读全文

posted @ 2021-02-09 00:12 荣锋亮阅读(242) 评论(0) 推荐(0)

dremio 学习六数据反射

摘要：数据反射的目的是进行数据的加速处理，dremio 包含了raw 模式、聚合处理，以及外部模式创建反射比较简单，可以给予rest api 的sql以及可视化UI 操作，同时官方也提供了一个比较好的实践文档参考操作查看查询效果说明以下参考资料值得看看，尤其是官方关于最佳实践的电子书参考资料 h 阅读全文

posted @ 2021-02-08 23:20 荣锋亮阅读(677) 评论(0) 推荐(0)

dremio 学习五管理任务

摘要：主要是关于系统监控，集群监控，服务管理，log 管理，元数据管理，工作负载管理。。。dremio 提供了admin-cli 功能，我们可以方便的进行数据处理，具体操作可以参考一下连接但是注意不是所有特性都支持的，有些是企业特性参考资料 https://docs.dremio.com/advance 阅读全文

posted @ 2021-02-08 11:46 荣锋亮阅读(165) 评论(0) 推荐(0)

dremio 学习五安装以及升级操作

摘要： dremio 的安装以及升级是我们生产使用比较重要的东西安装提供了基于rpm 以及tar 包的模式，rpm 的比较简单 tar 模式需要自己创建用户 sudo groupadd -r dremio sudo useradd -r -g dremio -d /var/lib/dremio -s 阅读全文

posted @ 2021-02-08 11:36 荣锋亮阅读(533) 评论(0) 推荐(0)

dremio 学习四内存以及logs 配置

摘要： dremio 是基于java 开发的，对于jvm 以及系统内存的配置就很重要了最大内存（推荐配置）最大内容，可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配参数 DREMIO_MAX_MEMORY_SIZE_MB=16384 同时我们可以自己配置heap 以及d 阅读全文

posted @ 2021-02-08 11:27 荣锋亮阅读(322) 评论(0) 推荐(0)

dremio 学习四服务配置说明

摘要： master coordinator services: { coordinator.enabled: true, coordinator.master.enabled: true, executor.enabled: false } secondary 注意不要运行元数据的命令在secondary 阅读全文

posted @ 2021-02-08 10:53 荣锋亮阅读(225) 评论(0) 推荐(0)

dremio 学习三 ha 说明

摘要：前边我们基本了解了dremio 的组件构成，一下是关于ha 的一个说明dremio 的ha 使用了一个活动的master coordinator 以及多个备份的coordinator 包含的特点 ha 支持自动恢复操作 ha 模式使用了冷备模式协调器的选举是通过zk 完成的元数据存储（kvsto 阅读全文

posted @ 2021-02-08 10:52 荣锋亮阅读(263) 评论(0) 推荐(0)

dremio 学习三分布式存储

摘要：分布式存储主要是关于数据加速，表，job 结果还有上传以及下载的数据我们可以通过paths.dist 配置，但是需要注意需要时一样的参考资料 https://docs.dremio.com/deployment/distributed-storage.html 阅读全文

posted @ 2021-02-08 10:51 荣锋亮阅读(203) 评论(0) 推荐(0)

dremio 学习三 zk 说明

摘要：默认单机环境下dremio 支持嵌入式的zk，但是对于集群环境，必须要使用zk了参考配置 services.coordinator.master.embedded-zookeeper.enabled: false zookeeper: "<host1>:2181,<host2>:2181" 一些说阅读全文

posted @ 2021-02-08 10:50 荣锋亮阅读(220) 评论(0) 推荐(0)

dremio 学习三一些限制

摘要：了解dremio 的一些限制可以帮助我们更好的使用参考表格参考资料 https://docs.dremio.com/advanced-administration/limits.html 阅读全文

posted @ 2021-02-08 10:47 荣锋亮阅读(253) 评论(0) 推荐(0)

dremio 学习三元数据存储

摘要：元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data 目录，但是我们也可以进行配置，对于一个ha 的环境，我们需要使用nas 存储（nfs。。。） io 性能元数据存储，提供的服务类型用户查询&&数据反射的刷新直接回影响并行查询的个数元数据刷新主要是d 阅读全文

posted @ 2021-02-08 10:45 荣锋亮阅读(291) 评论(0) 推荐(0)

dremio 学习三节点类型说明

摘要： dremio 的节点分为了多种类型 master主要进行查询计划，提供ui，rest api。。。 secondary主要是提升并行分布式查询（odbc，jdbc） executor执行查询参考资料 https://docs.dremio.com/deployment/node-roles.htm 阅读全文

posted @ 2021-02-08 10:44 荣锋亮阅读(202) 评论(0) 推荐(0)

dremio 学习三集群部署说明

摘要：参考集群部署模式组件说明查询，主要进行rest，ui，odbc，jdbc 连接处理 coordinator 协调节点，一个或者多个，分为master 以及普通节点 executor 执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadata storage 元数阅读全文

posted @ 2021-02-08 09:20 荣锋亮阅读(299) 评论(0) 推荐(0)

dremio 学习二部署

摘要： dremio 支持多种部署模式基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署基本模式可以基于docker，rpm，以及编译好的软件包依赖至少jdk8 参考容器运行 version: "3" services: drem 阅读全文

posted @ 2021-02-08 08:36 荣锋亮阅读(296) 评论(0) 推荐(0)

dremio 学习一简单了解

摘要： dremio 是一个数据湖引擎，包含以下特性快速的查询基于了apache arrow 进行数据查询自服务的语义层可以依托dremio 提供的数据虚拟服务层以及space 解决基于灵活以及开源的技术没有厂商技术的限制强大join 支持支持我们查询各种数据，同时进行join ，包含了商业阅读全文

posted @ 2021-02-08 08:26 荣锋亮阅读(1295) 评论(0) 推荐(0)

dremio 集群简单部署

摘要：一个简单的测试，不算是ha （ha 后边会介绍使用）环境准备 docker-compose 文件 version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" - "8080:8080" dremio1: image 阅读全文

posted @ 2021-02-07 23:25 荣锋亮阅读(631) 评论(0) 推荐(0)

idea 无法添加maven项目问题

摘要：常见问题，主要是项目使用了maven 的wrapper，但是idea 无法运行为maven 项目参考异常信息 java.lang.RuntimeException: Cannot start maven service at org.jetbrains.idea.maven.server.Mave 阅读全文

posted @ 2021-02-06 23:48 荣锋亮阅读(2028) 评论(0) 推荐(0)

maven几个加速地址配置

摘要：主要包含了阿里云，华为云以及腾讯云的镜像，profile 部分是可以不用的，使用镜像就可以了参考配置文件 <?xml version="1.0" encoding="utf-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 阅读全文

posted @ 2021-02-06 23:23 荣锋亮阅读(577) 评论(0) 推荐(0)

导航

公告