荣锋亮 - 博客园

使用singer 转换gitbase 数据到postgresql

摘要： gitbase 是mysql server 的一个实现（主要是用来分析git仓库代码），但是里面好多功能可能并不是很强大（sql 的限制）我们可以通过singer 的tap-mysql 将数据抽取到标准的pg 数据库，可以方便的使用pg 的好多函数参考使用 mysql-postgresql 的可阅读全文

posted @ 2019-05-19 17:05 荣锋亮阅读(248) 评论(0) 推荐(1)

inertia 服务端驱动的spa 开发框架

摘要： inertia 可以让我们开发server 驱动的单页面应用开发，从目前的github代码来看，代码量并不多，相关的文档也还比较少 introducing-inertia-js 这个连接值得看下参考资料 https://reinink.ca/articles/introducing-inertia 阅读全文

posted @ 2019-05-19 11:22 荣锋亮阅读(466) 评论(0) 推荐(0)

使用go-mysql-server 开发自己的mysql server

摘要： go-mysql-server是一个golang 的mysql server 协议实现包，使用此工具我们可以用来做好多方便的东西基于mysql 协议暴露自己的本地文件为sql 查询基于mysql 协议灵活的暴露rest 服务的接口查询为sql 基于mysql 协议方便对于一些数据的查询分析基于阅读全文

posted @ 2019-05-18 19:23 荣锋亮阅读(1041) 评论(0) 推荐(0)

edgedb-js 来自官方的js 驱动

摘要：目前对于edgedb 主要还是来自官方的python驱动，目前js 版本的已经快发布了，代码在github 可以看到了同时官方文档也提供了一个关于edgedb 内部的协议说明，结合js 驱动以及文档我们可以方便学习内部协议参考资料 https://edgedb.com/docs/internal 阅读全文

posted @ 2019-05-17 23:33 荣锋亮阅读(224) 评论(0) 推荐(0)

edgedb 开发环境运行

摘要：以下是一篇来自官方的edgedb 开发环境搭建说明，实际上我以前自己也摸索过一个，基本方法一样，一些是官方的做一个简单的记录预备工具 GNU make version 3.80 or newer; C compiler (GCC or clang); autotools; Python 3.7 阅读全文

posted @ 2019-05-17 23:32 荣锋亮阅读(289) 评论(0) 推荐(0)

cube.js 学习 cube 连接mongodb 试用

摘要： cube.js 对于mongodb 的连接是通过mongodb bi connector（mysql 协议）处理的，以下为简单的试用安装mongo bi connector 这个玩意用docker 跑起来有点烦，直接试用本地运行，后期制作一个docker 镜像下载地址参考地址 https:// 阅读全文

posted @ 2019-05-16 16:06 荣锋亮阅读(778) 评论(0) 推荐(0)

cube.js 学习 cube docker-compose 运行

摘要： cube.js 官方为我们也提供了backeng 部署的模型，为了测试方便以下是一个使用docker-compose 运行的demo 项目是一个集成gitbase 的demo，实际可以按照自己的项目修改，同时集成了redis cache,gitbase-web 环境准备项目结构 ├── READM 阅读全文

posted @ 2019-05-16 13:10 荣锋亮阅读(744) 评论(0) 推荐(0)

处理kubernetes 一些比较难删除的资源

摘要： kubernetes 提供了force 的命令在我们删除资源的时候，但是很多时候还是不可以的一般删除资源的处理命令 kubectl delete <resource> <resourename> --grace-period=0 --force --wait=false 问题一般这个是没有问题阅读全文

posted @ 2019-05-15 10:24 荣锋亮阅读(424) 评论(0) 推荐(0)

prisma mongodb 试用

摘要： prisma 已经支持mongodb了，我们需要做的就是安装新版本的prisma cli，后然初始化项目使用环境准备安装cli 注意使用新版本（prisma/1.32.2）低版本有坑注意使用新版本（prisma/1.32.2）低版本有坑 npm install -g prisma 初始化一阅读全文

posted @ 2019-05-14 16:04 荣锋亮阅读(720) 评论(0) 推荐(0)

prisma 已经支持mongodb了

摘要：好久没有关注prisma 的版本迭代了，记得在去年12月份左右的时候，mongodb 在github 上还只是一个草案，官方文档也没有相关的详细介绍，今天留意了下，居然已经支持了，还是很给力的（mysql、postgresql、mongodb）只是prisma 官方文档用起来总觉得有点难找东西，阅读全文

posted @ 2019-05-14 09:29 荣锋亮阅读(504) 评论(0) 推荐(0)

gitbase cube.js schema 文件项目

摘要： cube.js 进行数据分析，需要我们编写schema 文件，但是因为gitbase 的原因没发进行自动生成，而且还有些问题所以做了一些简单的修改注意直接使用cube-cli 0.9.0 可以自动帮助我们生成大部分schema 还是很方便的参考项目 https://github.com/ron 阅读全文

posted @ 2019-05-13 22:53 荣锋亮阅读(352) 评论(0) 推荐(0)

cube.js 学习（十一）cube + gitbase 分析git 代码

摘要：这个是一个简单的demo，使用gitbase+cube 分析git 仓库代码需求我们平时使用的gitlab，或者gogs 等git 仓库管理工具，有自己的管理强项，但是对于分析上可能就不是那么强大了这个就需要我们进行git 代码文件级别的分析了，可选的工具很多gitstats 就是一个不错的选阅读全文

posted @ 2019-05-12 22:58 荣锋亮阅读(605) 评论(0) 推荐(0)

gitbase 集成sqler 进行git 代码分析

摘要： gitbase 是一个方便的git sql 查询引擎，sqler 是一个很不错的sql 转rest api工具，以下是一个简单的集成测试项目使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: sqler: image: 阅读全文

posted @ 2019-05-12 15:54 荣锋亮阅读(341) 评论(0) 推荐(0)

dinoql 支持自定义resovler了

摘要： dinoql 当前版本0.4.0 支持自定义reovler 了，使用也比较简单环境准备初始化 yarn init -y 添加依赖 yarn add dinoql graphql-tag package.json npm script 添加当前已经解决了node 环境运行的问题了，所以不需要添加阅读全文

posted @ 2019-05-12 11:26 荣锋亮阅读(188) 评论(0) 推荐(0)

使用gitbase 分析git 仓库代码

摘要： gitbase 是一个基于golang 开发的开源git 仓库sql 接口查询引擎，基于此工具，我们可以方便的分析git 仓库代码的情况而且可以基于源码的分析，还是很强大的安装直接使用编译的二进制文件即可 https://github.com/src-d/gitbase/releases 配置阅读全文

posted @ 2019-05-11 23:53 荣锋亮阅读(532) 评论(0) 推荐(0)

通过HttpServletRequest重写+filter 添加header

摘要：问题说明需要做的事情比较简单，就是通过filter 重写httpservletrequest ，同时给予request 添加header 主要是通过HttpServletRequestWrapper 进行处理，代码写死了，只是一个简单的演示。自定义HttpServletRequest（实现Htt 阅读全文

posted @ 2019-05-11 23:31 荣锋亮阅读(2489) 评论(0) 推荐(0)

s3git 使用git 管理云存储

摘要：使用s3git 我们可以方便的基于git协议进行s3存储数据的版本管理，同时也提供了一个方便的golang 包，我们可以集成到我们的应用中，但是有一点，目前已经没有再更新过了,但是设计理论很不错，实际上现在的 ipfs 与这种就是类似的做法，ipfs 更灵活强大。参考资料 https://git 阅读全文

posted @ 2019-05-11 08:14 荣锋亮阅读(675) 评论(0) 推荐(0)

TimescaleDB1.3 的新特性——Continuous aggregates: faster queries with automatically maintained materialized views

摘要： One characteristic of time-series data workloads is that the dataset will grow very quickly. Without the proper data infrastructure, these large data 阅读全文

posted @ 2019-05-11 07:54 荣锋亮阅读(545) 评论(0) 推荐(0)

dinoql 使用nodejs 运行的几个问题

摘要： dinoql 是一个很不错的javascript objects 查询处理方案，基于graphql，当前版本有点问题 node 环境运行 ReferenceError: window is not defined 分析，实际上，查看webpack 的构建使用的是umd 方法打包，应该是可以使用的，但阅读全文

posted @ 2019-05-10 13:52 荣锋亮阅读(309) 评论(0) 推荐(0)

dinoql 试用

摘要： dinoql 前面有过介绍，详细的参考文档即可，这篇主要是简单使用注意目前dinoql 直接通过node 运行会有window 的问题，有好几种解决方法，后边会说明环境准备项目初始化 yarn init -y 添加dinoql依赖 yarn add dinoql 添加工具依赖主要是解决web 阅读全文

posted @ 2019-05-10 11:35 荣锋亮阅读(351) 评论(0) 推荐(0)

dinoql 使用graphql 语法查询javascript objects

摘要： dinoql 是一个不错的基于graphql 语法查询javascript objects 的工具包，包含以下特性 graphql 语法（很灵活）安全的访问（当keys 不存在的时候，不会抛出运行时错误）别名支持（可以重命名查询的keys）内置了一些resolvers （类似graphql）阅读全文

posted @ 2019-05-10 10:09 荣锋亮阅读(350) 评论(0) 推荐(0)

使用git_stats 统计分析git 仓库代码&& 集成webhook

摘要：前几天写过一个使用gitstats 统计分析代码的，但是那个因为开发的问题，对于直接和容器集成是有问题的，统计需要进入容器执行命令，对于自动构建的还不是很方便，所以使用了git_stats 项目使用docker-compose 运行，同时使用docker in docker 模式运行,同时集成we 阅读全文

posted @ 2019-05-08 23:18 荣锋亮阅读(840) 评论(0) 推荐(0)

使用gitstats分析git 仓库代码

摘要： gitstats 是一个很不错的git 代码提交分析工具，可以帮助我们生成图表统计结果工具文档信息 gitstats http://gitstats.sourceforge.net/ 安装使用centos 系统 yum install gitstats 使用 git clone 代码 git c 阅读全文

posted @ 2019-05-07 12:46 荣锋亮阅读(1094) 评论(0) 推荐(0)

PostGraphile 4.4 发布，支持real time 查询

摘要：在4.4 之前，real time 是通过插件完成处理的，4.4 直接内置了，还是很方便的功能，总算和其他类似graphql 平台看齐了，使用上还是挺方便的。参考资料 https://www.graphile.org/news/postgraphile-version-4-4/#graphql- 阅读全文

posted @ 2019-05-05 08:56 荣锋亮阅读(450) 评论(0) 推荐(0)

cube.js 学习（十）cube 来自官方的学习网站

摘要：尽管cube.js 包含了一个doc 站点，但是资料不是很全，同时如果查看了cube github 代码中的一些demo的话，发现还是很不错的但是一些实践没有在文档展现出来，还好我们可以从cube 的产品网站找点有意义的东西参考网站 https://statsbot.co/docs 比如一些好的阅读全文

posted @ 2019-05-04 15:01 荣锋亮阅读(389) 评论(0) 推荐(0)

Optimize Cube.js Performance with Pre-Aggregations

摘要：转自：https://cube.dev/blog/high-performance-data-analytics-with-cubejs-pre-aggregations/ 可以了解 Pre-Aggregations的处理流程 This is an advanced tutorial. If you 阅读全文

posted @ 2019-05-04 09:32 荣锋亮阅读(524) 评论(0) 推荐(0)

cube.js 学习（九）cube 的pre-aggregation

摘要：我们可以使用cube的pre-aggregation 加速数据的查询，以下为一张来自官方的pre-aggregation 架构参考架构图 pre-aggregation schema preAggregations: { amountByCreated: { type: `rollup`, mea 阅读全文

posted @ 2019-05-03 13:15 荣锋亮阅读(499) 评论(0) 推荐(0)

cube.js 学习（八）backend部署模式

摘要： cube.js 从设计上就进行了系统上的分层，backend，frontend，backend 是cube.js 的核心对于cube.js backend 的部署官方也提供了好多中方法部署模型 serverless 目前主要是aws的应用场景 heroku 基于heroku 提供的pg 以及应用阅读全文

posted @ 2019-05-03 13:14 荣锋亮阅读(904) 评论(0) 推荐(0)

cube.js 学习（七）cube.js type 以及format 说明

摘要： cube.js 对于measure以及dimension 提供了丰富的数据类型，基本满足我们常见应用的开发，同时对于不同类型也提供了格式化的操作 measure类型 number 格式 purchasesRatio: { sql: `${purchases} / ${count} * 100.0` 阅读全文

posted @ 2019-05-03 10:59 荣锋亮阅读(567) 评论(0) 推荐(0)

cube.js 学习（六）cube.js segments 说明

摘要： segments 是你需要查询的数据的子集，实际上filter 也可以做类似的事情，但是，目前这个设计估计是为了更好的数据查询吧，同时在操作界面上我们也可以看出来参考格式 segments: { sfUsers: { sql: `location = 'San Francisco'` } } 参阅读全文

posted @ 2019-05-03 09:40 荣锋亮阅读(321) 评论(0) 推荐(0)

cube.js 学习（五）cube.js joins 说明

摘要： cube.js 也支持join，参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 一个简单demo cube("Authors", 阅读全文

posted @ 2019-05-03 09:39 荣锋亮阅读(350) 评论(0) 推荐(0)

cube.js 学习（四）cube.js cube 说明

摘要： cube 是cube.js data schema 的核心，里面定义了生成sql 的说明一个比较全的schema 例子 cube(`Users`, { sql: `select * from users`, joins: { Organizations: { relationship: `belo 阅读全文

posted @ 2019-05-03 09:30 荣锋亮阅读(1114) 评论(0) 推荐(0)

cube.js 学习（三）cube.js data schema

摘要： cube.js的 data schema 类似graphql 的type 定义，但是cube.js 的data schema 更偏向于dsl，其中抽象了进行数据分析应用开发中的东西，自己提炼了measures , dimensions,cube 说明 cube 这个是用来进行实体，或者说是数据库表阅读全文

posted @ 2019-05-03 08:51 荣锋亮阅读(1120) 评论(0) 推荐(0)

piplinedb 团队加入confluen

摘要：这个消息对于使用pipelinedb 的人来说，可能有点不好，因为官方已经明确说明了，pipelinedb 截止到1.0 版本，将不再维护了，基本就要靠社区了，但是pipelinedb 团队还是比较好的，在文章中也给用户的提了一些迁移建议：使用confluent的ksql 代替pipelined 阅读全文

posted @ 2019-05-02 09:15 荣锋亮阅读(614) 评论(0) 推荐(0)

cube.js 学习（二）cube.js与 graphql2chartjs的比较

摘要： cube.js 是目前看到从设计以及理念上很不错的数据分析事件，graphql2chartjs 是hasura graphql-engine 团队开发的一个类库基于graphql，以下做一些比较 cube.js 组件更丰富（backend，frontend），graphql2chartjs 就是一阅读全文

posted @ 2019-05-01 22:28 荣锋亮阅读(935) 评论(0) 推荐(0)

cube.js 学习（一）简单项目创建

摘要： cube.js 是一个很不错的模块化分析框架，基于schema生成sql 同时内置可代码生成，可以快速的搞定 web 分析应用的开发安装cli 工具 npm install -g cubejs-cli 创建简单应用使用cli cubejs create pg-demo -d postgres 准阅读全文

posted @ 2019-05-01 22:13 荣锋亮阅读(2859) 评论(0) 推荐(0)

cube.js 开源模块化分析框架

摘要： cube.js 是一款很不错的模块化web 应用分析框架。cube.js 的设计主要是面向serverless 服务，但是同时也支持所有rdbms, cube.js不是一个单体应用，包含了以下部分： backend cube.js scheme 类似ORM ，方便数据模型的分析 cube.js q 阅读全文

posted @ 2019-05-01 21:36 荣锋亮阅读(2680) 评论(0) 推荐(0)

kubefuse 让Kubernetes 资源成为fuse 文件系统

摘要： kubefuse 是基于fuse 开发的文件系统，我们可以像访问文件系统一样访问Kubernetes 资源,使用python开发支持以下特性：可以使用方便的linux tools： ls、 vim 、cat 像文件系统一样查看Kubernetes 资源像文件系统一样访问Kubernetes 资阅读全文

posted @ 2019-05-01 17:01 荣锋亮阅读(884) 评论(0) 推荐(0)

sshfs 试用

摘要： sshfs 是基于fuse 开发的可以像使用本地系统一样，通过ssh 协议访问远端服务器文件，有好多方便的用途数据同步数据加密访问做为共享数据卷（基于给容器使用）安装 yum install -y fuse-sshfs 支持的参数 sshfs --help usage: sshfs [use 阅读全文

posted @ 2019-05-01 16:46 荣锋亮阅读(1111) 评论(0) 推荐(0)

几个方便的基于es 的开源文档索引系统

摘要： Apache Tika 比较有名的内容提取工具 FsCrawler 使用java 开发，内部使用了Tika Ambar nodejs，python应用开发，轻量，支持基于docker 的快速部署，同时支持各种文档类型，ocr。。。。参考资料 https://ambar.cloud/blog/201 阅读全文

posted @ 2019-04-30 16:45 荣锋亮阅读(791) 评论(0) 推荐(0)

导航

公告