博客园 - 神州优车技术
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=150358
2020-03-26T09:28:33Z
神州优车技术
https://www.cnblogs.com/ucarinc/
feed.cnblogs.com
https://www.cnblogs.com/ucarinc/p/11831353.html
block missing问题排查流程 - 神州优车技术
当集群出现block missing异常时,一般的排查流程如下: 首先检查是否有datanode处于dead或Decommissioned状态,如果是,尝试恢复datanode,一般block missing会自行消失 如果所有datanode都处于健康状态,则查看是否有datanode的block
2019-11-10T11:05:00Z
2019-11-10T11:05:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】当集群出现block missing异常时,一般的排查流程如下: 首先检查是否有datanode处于dead或Decommissioned状态,如果是,尝试恢复datanode,一般block missing会自行消失 如果所有datanode都处于健康状态,则查看是否有datanode的block <a href="https://www.cnblogs.com/ucarinc/p/11831353.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/11831280.html
hive-staging文件产生的原因和解决方案 - 神州优车技术
通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。关于该目录的生成位置策略可参考该文章:ht
2019-11-10T10:49:00Z
2019-11-10T10:49:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。关于该目录的生成位置策略可参考该文章:ht <a href="https://www.cnblogs.com/ucarinc/p/11831280.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/9770990.html
增量数据同步中间件DataLink分享(已开源) - 神州优车技术
datalink,数据同步,数据交换
2018-10-11T02:26:00Z
2018-10-11T02:26:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】datalink,数据同步,数据交换 <a href="https://www.cnblogs.com/ucarinc/p/9770990.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8064447.html
HDFS租约实践 - 神州优车技术
一、租约详解 Why租约 HDFS的读写模式为 "write-once-read-many",为了实现write-once,需要设计一种互斥机制,租约应运而生租约本质上是一个有时间约束的锁,即:在一定时间内对租约持有者(也就是客户端)赋予一定的权限 HDFS租约模型 <Lease>Lease和DFS
2018-01-04T23:26:00Z
2018-01-04T23:26:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】一、租约详解 Why租约 HDFS的读写模式为 "write-once-read-many",为了实现write-once,需要设计一种互斥机制,租约应运而生租约本质上是一个有时间约束的锁,即:在一定时间内对租约持有者(也就是客户端)赋予一定的权限 HDFS租约模型 <Lease>Lease和DFS <a href="https://www.cnblogs.com/ucarinc/p/8064447.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8167728.html
kafka副本机制之数据可靠性 - 神州优车技术
一、概述 为了提升集群的HA,Kafka从0.8版本开始引入了副本(Replica)机制,增加副本机制后,每个副本可以有多个副本,针对每个分区,都会从副本集(Assigned Replica,AR)中,选取一个副本作为Leader副本,所有读写请求都由Leader副本处理,其余的副本被称为Follw
2018-01-01T07:58:00Z
2018-01-01T07:58:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】一、概述 为了提升集群的HA,Kafka从0.8版本开始引入了副本(Replica)机制,增加副本机制后,每个副本可以有多个副本,针对每个分区,都会从副本集(Assigned Replica,AR)中,选取一个副本作为Leader副本,所有读写请求都由Leader副本处理,其余的副本被称为Follw <a href="https://www.cnblogs.com/ucarinc/p/8167728.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8073660.html
StreamCQL编写jstorm拓扑任务入门 - 神州优车技术
一,什么是 StreamCQL StreamCQL(Stream Continuous Query Language)是一个类似SQL的声明式语言, 目的是在流计算平台(目前也就是jstrom)的基础之上提供简单易用的类SQL语言,从而能够降低开发人员开发流计算拓扑的门槛,使得相关拓扑任务的开发人员
2017-12-27T06:37:00Z
2017-12-27T06:37:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】一,什么是 StreamCQL StreamCQL(Stream Continuous Query Language)是一个类似SQL的声明式语言, 目的是在流计算平台(目前也就是jstrom)的基础之上提供简单易用的类SQL语言,从而能够降低开发人员开发流计算拓扑的门槛,使得相关拓扑任务的开发人员 <a href="https://www.cnblogs.com/ucarinc/p/8073660.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8124713.html
HBase0.98使用ReplicationAdmin管理集群同步 - 神州优车技术
公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性。 正常情况下,我们配置HBase的Replication需要在主集群上Hbase的shell里进行如下一系列的配置。 登录到HMaste
2017-12-27T03:29:00Z
2017-12-27T03:29:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性。 正常情况下,我们配置HBase的Replication需要在主集群上Hbase的shell里进行如下一系列的配置。 登录到HMaste <a href="https://www.cnblogs.com/ucarinc/p/8124713.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8068409.html
ZooKeeper保证之单一视图(Single System Image) - 神州优车技术
由于ZooKeeper的数据模型简单且全部在内存中,ZooKeeper的速度非常快。它提供了一系列保证(Guarantees): • 顺序一致性(Sequential Consistency) • 原子性(Atomicity) • 单一视图(Single System Image) • 可靠性(Re
2017-12-26T09:43:00Z
2017-12-26T09:43:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】由于ZooKeeper的数据模型简单且全部在内存中,ZooKeeper的速度非常快。它提供了一系列保证(Guarantees): • 顺序一致性(Sequential Consistency) • 原子性(Atomicity) • 单一视图(Single System Image) • 可靠性(Re <a href="https://www.cnblogs.com/ucarinc/p/8068409.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7822509.html
初识ZooKeeper - 神州优车技术
一、ZooKeeper是什么? ZooKeeper是一个高性能的分布式协调服务。 那么什么又是分布式协调服务呢? 背景:互联网的快速发展以及对系统性能要求的不断提高,使计算机系统由集中式逐渐衍变成分布式。分布式系统的出现,大幅度提高了系统的整体处理速度、降低了对单台服务器硬件的需求、减少了由于单点问
2017-12-26T01:17:00Z
2017-12-26T01:17:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】一、ZooKeeper是什么? ZooKeeper是一个高性能的分布式协调服务。 那么什么又是分布式协调服务呢? 背景:互联网的快速发展以及对系统性能要求的不断提高,使计算机系统由集中式逐渐衍变成分布式。分布式系统的出现,大幅度提高了系统的整体处理速度、降低了对单台服务器硬件的需求、减少了由于单点问 <a href="https://www.cnblogs.com/ucarinc/p/7822509.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/8073066.html
elasticsearch 源码本地环境搭建 - 神州优车技术
elasticsearch6.0.0 源码本地环境搭建步骤如下: 1、资源准备 ElasicSearch版本:6.0.0: https://github.com/elastic/elasticsearch 安装jdk(jdk1.8以上,本人用的是1.8.0_131) 安装gradle(3.3以上,本
2017-12-20T05:55:00Z
2017-12-20T05:55:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】elasticsearch6.0.0 源码本地环境搭建步骤如下: 1、资源准备 ElasicSearch版本:6.0.0: https://github.com/elastic/elasticsearch 安装jdk(jdk1.8以上,本人用的是1.8.0_131) 安装gradle(3.3以上,本 <a href="https://www.cnblogs.com/ucarinc/p/8073066.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7838196.html
Cat 跨线程之 TaggedTransaction 用法和原理分析 - 神州优车技术
代码 模型图 源码分析
2017-11-15T03:58:00Z
2017-11-15T03:58:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】代码 模型图 源码分析 <a href="https://www.cnblogs.com/ucarinc/p/7838196.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7838154.html
Cat 跨线程之 ForkedTransaction 用法和原理分析 - 神州优车技术
代码 模型图 代码和流程分析 new一个ForkT在干嘛?1.初始化当前线程的消息树根节点消息Id2.创建子线程中的事务,并设置自己的根节点和父节点的消息Id3.在消息树的当前节点加入一个额外的event节点,并且把子线程的msgId记录下来 linkasRunAway的具体逻辑 子线程的fork在
2017-11-15T03:48:00Z
2017-11-15T03:48:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】代码 模型图 代码和流程分析 new一个ForkT在干嘛?1.初始化当前线程的消息树根节点消息Id2.创建子线程中的事务,并设置自己的根节点和父节点的消息Id3.在消息树的当前节点加入一个额外的event节点,并且把子线程的msgId记录下来 linkasRunAway的具体逻辑 子线程的fork在 <a href="https://www.cnblogs.com/ucarinc/p/7838154.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7834456.html
如何在yarn上运行Hello World(二) - 神州优车技术
在之前的一篇文章我们介绍了如何编写在yarn集群提交运行应用的AM的yarnClient端,现在我们来继续介绍如何编写在yarn集群控制应用app运行的核心模块 ApplicationMaster. 首先,介绍下我们要在yarn集群上运行的应用程序 HelloWorld. 这个应用很简单,就是一个主
2017-11-14T12:25:00Z
2017-11-14T12:25:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】在之前的一篇文章我们介绍了如何编写在yarn集群提交运行应用的AM的yarnClient端,现在我们来继续介绍如何编写在yarn集群控制应用app运行的核心模块 ApplicationMaster. 首先,介绍下我们要在yarn集群上运行的应用程序 HelloWorld. 这个应用很简单,就是一个主 <a href="https://www.cnblogs.com/ucarinc/p/7834456.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7826085.html
jest for elasticsearch - 神州优车技术
elasticsearch(后面简称es) 背景: 目前项目应用中对es的操作用的是http(自己封装)的一套方法;有些数据处理起来还是需要定制开发处理,不是很方便。正好需要对本项目重新进行改造,于是采用第三方工具包jest 对es的操作进行重新的梳理改造。 why use jest 官方有个大致的
2017-11-13T06:13:00Z
2017-11-13T06:13:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】elasticsearch(后面简称es) 背景: 目前项目应用中对es的操作用的是http(自己封装)的一套方法;有些数据处理起来还是需要定制开发处理,不是很方便。正好需要对本项目重新进行改造,于是采用第三方工具包jest 对es的操作进行重新的梳理改造。 why use jest 官方有个大致的 <a href="https://www.cnblogs.com/ucarinc/p/7826085.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7815738.html
如何在yarn上运行Hello World(一) - 神州优车技术
1.YARN是什么 YARN (Yet Another Resource Negotiator,另一种资源协调者) 是hadoop上的一种资源调度器,它是一个通用资源管理系统,可以为上层应用提供统一的资源管理和调度. 2.yarn的结构 <!--5f39ae17-8c62-4a45-bc43-b32
2017-11-10T09:40:00Z
2017-11-10T09:40:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】1.YARN是什么 YARN (Yet Another Resource Negotiator,另一种资源协调者) 是hadoop上的一种资源调度器,它是一个通用资源管理系统,可以为上层应用提供统一的资源管理和调度. 2.yarn的结构 <!--5f39ae17-8c62-4a45-bc43-b32 <a href="https://www.cnblogs.com/ucarinc/p/7815738.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7811081.html
Cat 客户端如何构建调用链消息树 - 神州优车技术
场景 & 代码 Inner0 中的某方法调用了 Inner1,代码 Inner1的代码很简单, Cat通过一个线程本地变量来保存调用链的相关信息,其中核心的数据结构是消息树和操作栈。消息树用来存数据,操作栈用来构建节点的层次关系。 在上面的调用过程中,这两个数据结构状态的变化如下 更复杂的场景 数据
2017-11-09T11:41:00Z
2017-11-09T11:41:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】场景 & 代码 Inner0 中的某方法调用了 Inner1,代码 Inner1的代码很简单, Cat通过一个线程本地变量来保存调用链的相关信息,其中核心的数据结构是消息树和操作栈。消息树用来存数据,操作栈用来构建节点的层次关系。 在上面的调用过程中,这两个数据结构状态的变化如下 更复杂的场景 数据 <a href="https://www.cnblogs.com/ucarinc/p/7811081.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/ucarinc/p/7810618.html
Cat 客户端采用什么策略上报消息树 - 神州优车技术
策略分类 目前搞清楚两种 第一种(蓝色):默认服务器列表中选一个,算法核心是根据应用名的哈希值取模。也就是说同一个应用始终打到同一台服务器上,如果这台服务器挂了,另选一台服务器。 第二种(红色):应用指定服务器列表。 处理逻辑: 第一步是找应用列表,先找应用指定的,没有的话,然后一堆判断,最后找默认
2017-11-09T10:29:00Z
2017-11-09T10:29:00Z
神州优车技术
https://www.cnblogs.com/ucarinc/
【摘要】策略分类 目前搞清楚两种 第一种(蓝色):默认服务器列表中选一个,算法核心是根据应用名的哈希值取模。也就是说同一个应用始终打到同一台服务器上,如果这台服务器挂了,另选一台服务器。 第二种(红色):应用指定服务器列表。 处理逻辑: 第一步是找应用列表,先找应用指定的,没有的话,然后一堆判断,最后找默认 <a href="https://www.cnblogs.com/ucarinc/p/7810618.html" target="_blank">阅读全文</a>