摘要:项目介绍 名称: DataLink['deitə liŋk]译意: 数据链路,数据(自动)传输器语言: 纯java开发(JDK1.8+)定位: 满足各种异构数据源之间的实时增量同步,一个分布式、可扩展的数据同步系统开源地址:https://github.com/ucarGroup/DataLink 阅读全文
posted @ 2018-10-11 10:26 神州优车技术 阅读 (1294) 评论 (3) 编辑
摘要:项目介绍 名称: DataLink['deitə liŋk]译意: 数据链路,数据(自动)传输器语言: 纯java开发(JDK1.8+)定位: 满足各种异构数据源之间的实时增量同步,一个分布式、可扩展的数据同步系统开源地址:https://github.com/ucarGroup/DataLink 阅读全文
posted @ 2018-10-11 10:26 神州优车技术 阅读 (1294) 评论 (3) 编辑
摘要:一、租约详解 Why租约 HDFS的读写模式为 "write-once-read-many",为了实现write-once,需要设计一种互斥机制,租约应运而生租约本质上是一个有时间约束的锁,即:在一定时间内对租约持有者(也就是客户端)赋予一定的权限 HDFS租约模型 <Lease>Lease和DFS 阅读全文
posted @ 2018-01-05 07:26 神州优车技术 阅读 (1246) 评论 (0) 编辑
摘要:一、数据交换平台定义(百度百科) 数据交换平台是指将分散建设的若干应用信息系统进行整合,通过计算机网络构建的信息交换平台,它使若干个应用子系统进行信息/数据的传输及共享,提高信息资源的利用率,成为进行信息化建设的基本目标,保证分布异构系统之间互联互通,建立中心数据库,完成数据的抽取、集中、加载、展现 阅读全文
posted @ 2018-01-02 14:22 神州优车技术 阅读 (3384) 评论 (2) 编辑
摘要:一、概述 为了提升集群的HA,Kafka从0.8版本开始引入了副本(Replica)机制,增加副本机制后,每个副本可以有多个副本,针对每个分区,都会从副本集(Assigned Replica,AR)中,选取一个副本作为Leader副本,所有读写请求都由Leader副本处理,其余的副本被称为Follw 阅读全文
posted @ 2018-01-01 15:58 神州优车技术 阅读 (1101) 评论 (0) 编辑
摘要:一,什么是 StreamCQL StreamCQL(Stream Continuous Query Language)是一个类似SQL的声明式语言, 目的是在流计算平台(目前也就是jstrom)的基础之上提供简单易用的类SQL语言,从而能够降低开发人员开发流计算拓扑的门槛,使得相关拓扑任务的开发人员 阅读全文
posted @ 2017-12-27 14:37 神州优车技术 阅读 (481) 评论 (0) 编辑
摘要:公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性。 正常情况下,我们配置HBase的Replication需要在主集群上Hbase的shell里进行如下一系列的配置。 登录到HMaste 阅读全文
posted @ 2017-12-27 11:29 神州优车技术 阅读 (322) 评论 (0) 编辑
摘要:由于ZooKeeper的数据模型简单且全部在内存中,ZooKeeper的速度非常快。它提供了一系列保证(Guarantees): • 顺序一致性(Sequential Consistency) • 原子性(Atomicity) • 单一视图(Single System Image) • 可靠性(Re 阅读全文
posted @ 2017-12-26 17:43 神州优车技术 阅读 (460) 评论 (0) 编辑
摘要:一、ZooKeeper是什么? ZooKeeper是一个高性能的分布式协调服务。 那么什么又是分布式协调服务呢? 背景:互联网的快速发展以及对系统性能要求的不断提高,使计算机系统由集中式逐渐衍变成分布式。分布式系统的出现,大幅度提高了系统的整体处理速度、降低了对单台服务器硬件的需求、减少了由于单点问 阅读全文
posted @ 2017-12-26 09:17 神州优车技术 阅读 (111) 评论 (0) 编辑
摘要:elasticsearch6.0.0 源码本地环境搭建步骤如下: 1、资源准备 ElasicSearch版本:6.0.0: https://github.com/elastic/elasticsearch 安装jdk(jdk1.8以上,本人用的是1.8.0_131) 安装gradle(3.3以上,本 阅读全文
posted @ 2017-12-20 13:55 神州优车技术 阅读 (2677) 评论 (1) 编辑
摘要:代码 模型图 源码分析 阅读全文
posted @ 2017-11-15 11:58 神州优车技术 阅读 (188) 评论 (0) 编辑