摘要: 之前的文章中,说了如何通过Calcite构建一个Tablesaw的适配器,这篇来说说处理时间类型字段遇到的两个问题: 时间转换问题 时间不正确问题 1、时间转换问题 在定义Tablesaw对Calcite的类型映射的时候,就定义了相应的类型关系: enum DataFrameFieldType { 阅读全文
posted @ 2020-12-12 20:13 Gin.p 阅读(289) 评论(0) 推荐(0) 编辑
摘要: Tablesaw是Java领域中一个比较好用的数据分析工具,可以对数据集进行清洗、转换、统计等。如果能使用Sql对数据集进行查询,那就更完美了。使用Calcite这个开源项目完全可以做到,按照官网所说,Calcite适配了Csv、Elasticsearch、Druid等数据源,适配Tablesaw更 阅读全文
posted @ 2020-12-12 14:32 Gin.p 阅读(658) 评论(0) 推荐(0) 编辑
摘要: 关于怎么用docker-compose部署Spring Cloud应用,这个就不多说了,在网上能找的相关的资料,docker相关的中文文档:https://yeasy.gitbook.io/docker_practice/compose/commands 这里主要记录一下遇到的问题。 1、如何启动项 阅读全文
posted @ 2020-09-06 19:39 Gin.p 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 最近发现Websocket发送超过6w个字节的时候就会自动断开连接,前端控制台没有报错信息,Websocket后端也没有报错信息,这就迷了。网上一搜,方案大致两种:消息分片和调整消息限制长度。消息分片不考虑,那么只有调整消息限制长度的方案。 #1、调整tomcat容器的限制 在Websocket的配 阅读全文
posted @ 2020-02-22 14:01 Gin.p 阅读(5350) 评论(4) 推荐(3) 编辑
摘要: 最近操作Docker删除没用镜像的时候,因为偷懒的关系,直接强制删除容器,殊不知在到了删除镜像的时候,系统提示镜像被占用,心里就觉得凉了,卧槽,,我删的什么东西啊,原来我删了PG数据库的容器,草。我没想到也有删库跑路的一天,顶了。 最后还是重新把数据库的容器run起来,把最近的数据重新恢复,但是不是 阅读全文
posted @ 2020-02-22 11:48 Gin.p 阅读(1836) 评论(0) 推荐(0) 编辑
摘要: 上一篇讲了在已经安装了PG数据库的情况下,安装全文搜索插件zhparser遇到的问题。在一个全新的环境中安装带有全文搜索插件zhparser的PG数据库,可以使用已经做好的Docker镜像,在安装的过程中,我来说说我遇到过的问题,大部分问题来自postgresql镜像。 #1、拉取zhparser的 阅读全文
posted @ 2019-10-27 10:36 Gin.p 阅读(1094) 评论(1) 推荐(0) 编辑
摘要: 在PG数据库的基础上加装zhparser中文全文搜索插件,说实话,挺怕这些单独编译安装的插件的,因为安装PG数据库方法的不同,最后可能导致安装的插件各种安装不上,这里说一下我遇到的坑,系统环境是Centos7, yum安装的PG9.6。 #1、INSTALL 关于安装方法,可以直接到上面看https 阅读全文
posted @ 2019-04-26 15:58 Gin.p 阅读(2728) 评论(0) 推荐(0) 编辑
摘要: 在实际使用Presto的过程中,经常会有以下的一些需求。 添加一个新的Catalog 对不再使用的Catalog希望把它删除 修改某个Catalog的参数 但在Presto中如果进行上述的修改,需要重启Presto服务才可以生效,这给集群维护带来额外的工作量之外,还给上层应用带来很不好的使用体验。 阅读全文
posted @ 2018-08-19 14:16 Gin.p 阅读(3250) 评论(1) 推荐(1) 编辑
摘要: After building Presto for the first time, you can load the project into your IDE and run the server. We recommend using IntelliJ IDEA. Because Presto 阅读全文
posted @ 2018-08-19 11:34 Gin.p 阅读(4458) 评论(0) 推荐(0) 编辑
摘要: NiFi是一个易于使用,功能强大且可靠的系统来处理和分发数据。 本文讲述如何用NiFi将Http的Json数据传到Druid。国外的一篇文章讲到如何用NiFi将推文传到Druid, "https://community.hortonworks.com/articles/177561/streamin 阅读全文
posted @ 2018-06-23 11:38 Gin.p 阅读(653) 评论(0) 推荐(0) 编辑