摘要: 一、问题 首先,我们思考这样一个问题: 访问k8s集群中的pod, 客户端需要知道pod地址,需要感知pod的状态。那如何获取各个pod的地址?若某一node上的pod故障,客户端如何感知? 二、k8s service 什么是service 是发现后端pod服务; 是为一组具有相同功能的容器应用提供 阅读全文
posted @ 2018-07-10 16:10 网易数帆 阅读(1092) 评论(0) 推荐(0) 编辑
摘要: 1.获取官方镜像 从dockerhub获取官方的zookeeper镜像: 2.了解镜像内容 拉取完镜像后,通过 我们可以查看到关于该镜像的一些基本信息: 即,该zookeeper的版本是3.4.10,conf目录在/conf,基于该镜像启动的容器的entrypoint为 默认传入的参数为 基于该镜像 阅读全文
posted @ 2018-07-10 16:08 网易数帆 阅读(443) 评论(0) 推荐(1) 编辑
摘要: 已经有好一阵子没有写博文了,今天给大家带来一篇最近一段时间开发相关的文章:在impala和kudu上支持runtime filter。 大家搜索下实践者社区,可以发现前面已经有好几位同学写了这个主题的博文(都是我们组的^_^),说明这个功能在数据库领域的重要性,所以,嘿嘿,再敲一遍黑板:“重点,必考 阅读全文
posted @ 2018-07-10 16:02 网易数帆 阅读(663) 评论(0) 推荐(0) 编辑
摘要: 去年10月份放下了一手打造的缓存服务(NKV和NCR),投身到新成立的数据科学中心从事大数据存储相关的工作,新的部门、新的项目、新的知识,脚踏实地,从零开始。 第一款调研的对象是cloudera公司刚开源的kudu产品,可以将其理解为是hadoop系统中的hdfs,一个存储引擎,但是和hdfs的不同 阅读全文
posted @ 2018-07-10 16:00 网易数帆 阅读(1685) 评论(0) 推荐(0) 编辑
摘要: 本篇将向大家介绍如何快捷的安装部署GreenPlum测试集群,大家可以跟着我一块儿实践一把^_^ 1.主机资源 申请2台网易云主机,操作系统必须是RedHat或者CentOS,配置尽量高一点。如果是sa统一初始化的物理机,这里不再描述,因为中间有很多操作(比如关闭puppet服务等等) 2.下载安装 阅读全文
posted @ 2018-07-10 15:57 网易数帆 阅读(1467) 评论(1) 推荐(0) 编辑
摘要: 在《 【大数据之数据仓库】选型流水记》一文中有提及,当时没有测试GreenPlum的quicklz压缩算法和ORCA查询优化器,考虑到quicklz压缩算法因为版权问题不会开源(详情请参阅: https://github.com/greenplum-db/gpdb/blob/master/src/b 阅读全文
posted @ 2018-07-10 15:56 网易数帆 阅读(2469) 评论(0) 推荐(0) 编辑
摘要: 1.背景 一张UML类图可以简单的说明GreenPlum和DeepGreen之间的关系: GreenPlum: 主页:http://greenplum.org/ 源码:开源,https://github.com/greenplum-db/gpdb, 主页:http://greenplum.org/ 阅读全文
posted @ 2018-07-10 15:54 网易数帆 阅读(1220) 评论(0) 推荐(0) 编辑
摘要: 谈到GreenPlum,肯定会有同事说HAWQ!是的,在本系列第一篇选型流水记里,也有提到。因为对HAWQ接触有限,没有深入具体了解,所以很多信息都是来自于博文,人云亦云,我把看过的资料简要整理,希望对感兴趣的同事有一些帮助^_^ HAWQ的身世:https://www.pivotalguru.co 阅读全文
posted @ 2018-07-10 15:52 网易数帆 阅读(1320) 评论(0) 推荐(0) 编辑
摘要: 这是【kudu pk parquet】的第二篇,query2在kudu和parquet上的对比解析,其中kudu包含有不能下发的谓词。 3台物理机,1T规模的数据集,impala和kudu版本是我们修改后支持runtime filter的版本,结果对比如下图: 纵坐标表示耗时,矮表示性能好,耗时短, 阅读全文
posted @ 2018-07-10 15:49 网易数帆 阅读(952) 评论(0) 推荐(0) 编辑
摘要: ARKit介绍 ARKit是iOS11引入的一个全新的框架,使用Visual Inertial Odometry(VIO,视觉惯性里程计)来精确跟踪现实世界中的真实场景。相比其它设备平台,ARKit中的VIO可以将传感器数据和CoreMotion的数据融合在一起,从而提供更为精确的信息。ARKit可 阅读全文
posted @ 2018-07-10 15:46 网易数帆 阅读(1451) 评论(0) 推荐(0) 编辑