摘要：
方式1 原因：namenode元数据被破坏，需要修复解决：恢复一下namenode 一路选择Y，一般就OK了 方式2 Need to copy the edits file to the journal node (I have 3 journal node s101 s102 s103) http 阅读全文
posted @ 2018-10-31 09:11
大数据从业者FelixZh
阅读(4121)
评论(0)
推荐(0)
摘要：
Lambda架构由Storm的作者Nathan Marz提出。旨在设计出一个能满足。实时大数据系统关键特性的架构，具有高容错、低延时和可扩展等特。 Lambda架构整合离线计算和实时计算，融合不可变（Immutability，读写分离和隔离 一系列构原则，可集成Hadoop，Kafka，Storm， 阅读全文
posted @ 2018-10-29 09:30
大数据从业者FelixZh
阅读(6950)
评论(0)
推荐(0)
摘要：
国内某大数据供应商 岗位要求1、本科以上学历，计算机及相关专业毕业。2、对大数据处理有强烈兴趣，掌握至少一种主流开源技术方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉开源组件开发、系统调优、高可用等技术。3、具备1-3年以上Java开发经验，掌握Python/Sc 阅读全文
posted @ 2018-10-27 09:16
大数据从业者FelixZh
阅读(1630)
评论(0)
推荐(0)
摘要：
前些日子为了搞清楚Kerberos原理，把MIT的Kerberos经典对话看了几遍，终于有了一个稍微清晰的认识，这里稍微记录下，因为Kerberos是使用传统加密技术实现的一个认证机制，所以顺便备忘下关于加密的一些知识概念。本文组织如下： 关于Kerberos 认证授权 加密术语 单点登录 Kerb 阅读全文
posted @ 2018-10-26 10:44
大数据从业者FelixZh
阅读(13479)
评论(0)
推荐(4)
摘要：
This method can be used to create a launcher for any application, not just IntelliJ IDEA. For any launcher in Unity what you need to create is a .desk 阅读全文
posted @ 2018-10-11 16:43
大数据从业者FelixZh
阅读(2239)
评论(0)
推荐(0)
摘要：
Namespaces 使用示例 Viewing namespaces Creating a new namespace Deleting a namespace Subdividing your cluster using Kubernetes namespaces Viewing namespac 阅读全文
posted @ 2018-10-10 17:11
大数据从业者FelixZh
阅读(409)
评论(0)
推荐(0)
摘要：
1、Docker网络模式 在讨论Kubernetes网络之前，让我们先来看一下Docker网络。Docker采用插件化的网络模式，默认提供bridge、host、none、overlay、maclan和Network plugins这几种网络模式，运行容器时可以通过–network参数设置具体使用那 阅读全文
posted @ 2018-10-10 11:27
大数据从业者FelixZh
阅读(4734)
评论(0)
推荐(0)
摘要：
1、Ingress 在Kubernetes中，服务和Pod的IP地址仅可以在集群网络内部使用，对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务，在Kubernetes中可以通过NodePort和LoadBalancer这两种类型的服务，或者使用Ingress。 插曲 start 一、 阅读全文
posted @ 2018-10-10 10:29
大数据从业者FelixZh
阅读(721)
评论(0)
推荐(0)
摘要：
1、入门概述 本文以在容器云上部署一个nexus3应用为例，通过通过一步步的操作，帮助用户快速的对Kubernetes有一个快速和整体的认识。通过快速入门，可以提供如下知识内容： 在集群中部署一个容器的应用 对部署的应用进行弹性伸缩 使用新版本的软件更新容器化应用 对容器话应用进行Debug 在开始 阅读全文
posted @ 2018-10-10 09:57
大数据从业者FelixZh
阅读(551)
评论(0)
推荐(0)
摘要：
Dcoker Docker 这个东西所扮演的角色，容易理解，它是一个容器引擎，也就是说实际上我们的容器最终是由Docker创建，运行在Docker中，其他相关的容器技术都是以Docker为基础，它是我们使用其他容器技术的核心。 Docker-Compose Docker-Compose 是用来管理你 阅读全文
posted @ 2018-10-09 16:54
大数据从业者FelixZh
阅读(3007)
评论(0)
推荐(3)
摘要：
最近在玩flink部署在k8s上，但是k8s以前没玩过，参照前几天写的文章可部署一个简单的k8shttps://www.cnblogs.com/felixzh/p/9726244.html 在参照flink官网实施flink部署到k8s集群：下图来自flink官网，图中提到kubectl proxy 阅读全文
posted @ 2018-10-08 15:58
大数据从业者FelixZh
阅读(3936)
评论(0)
推荐(0)
摘要：
本文介绍在centos7.3使用kubeadm快速离线安装kubernetes 1.10。 采用单master，单node（可以多node），占用资源较少，方便在笔记本或学习环境快速部署，不适用于生产环境。 所需文件百度盘连接 链接：https://pan.baidu.com/s/1iQJpKZ9P 阅读全文
posted @ 2018-09-29 18:59
大数据从业者FelixZh
阅读(2723)
评论(1)
推荐(0)
摘要：
install etcd 准备证书 https://www.kubernetes.org.cn/3096.html 在master1需要安装CFSSL工具，这将会用来建立 TLS certificates。 export CFSSL_URL="https://pkg.cfssl.org/R1.2" 阅读全文
posted @ 2018-09-29 18:49
大数据从业者FelixZh
阅读(723)
评论(0)
推荐(0)
摘要：
1、Kubernetes是什么 Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运 阅读全文
posted @ 2018-09-29 14:11
大数据从业者FelixZh
阅读(1008)
评论(0)
推荐(0)
摘要：
解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本， 阅读全文
posted @ 2018-09-27 19:54
大数据从业者FelixZh
阅读(2298)
评论(0)
推荐(0)
摘要：
NameNode与Secondary NameNode 很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，其实并不是在这样。文章Secondary Namenode - What it really do? (需FQ)写的很通俗易懂， 阅读全文
posted @ 2018-09-27 19:36
大数据从业者FelixZh
阅读(1988)
评论(0)
推荐(0)
摘要：
原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了 解决办法： 这个可以忽略，或者使用 https://issues.apache.org/jira/brows 阅读全文
posted @ 2018-09-27 10:47
大数据从业者FelixZh
阅读(795)
评论(0)
推荐(0)
摘要：
今天用一个停车场问题来加深对Disruptor的理解。一个有关汽车进入停车场的问题。当汽车进入停车场时，系统首先会记录汽车信息。同时也会发送消息到其他系统处理相关业务，最后发送短信通知车主收费开始。看了很多文章，里面的代码都是大同小异的，可能代码真的是很经典。以下代码也是来源网络，只是自己手动敲的， 阅读全文
posted @ 2018-09-27 09:23
大数据从业者FelixZh
阅读(2441)
评论(0)
推荐(0)
摘要：
一个仅仅部署在4台服务器上的服务，每秒向Database写入数据超过100万行数据，每分钟产生超过1G的数据。而每台服务器（8核12G）上CPU占用不到100%，load不超过5。这是怎么做到呢？下面将给你描述这个架构，它的核心是一个高效缓冲区设计，我们对它的要求是： 1，该缓存区要尽量简单 2，尽 阅读全文
posted @ 2018-09-27 09:20
大数据从业者FelixZh
阅读(1242)
评论(0)
推荐(0)
摘要：
相对于无锁技术，Disruptor对于架构思维的转变，才是其最大亮点。 Pub Event 说到RingBuffer做的队列，通常都说的是“一读一写“，或者“多读一写“。而Disruptor天生是为“广播“设计，也就是1个Producer，多个Consumer消费同1条消息。 有了“广播“，就能很好 阅读全文
posted @ 2018-09-27 09:08
大数据从业者FelixZh
阅读(433)
评论(0)
推荐(0)
摘要：
背景 Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲后，获得了业界关注。2011年，企业应用软件专家Mar 阅读全文
posted @ 2018-09-27 09:03
大数据从业者FelixZh
阅读(526)
评论(0)
推荐(0)
摘要：
Requirements Software Requirements Flink runs on all UNIX-like environments, e.g. Linux, Mac OS X, and Cygwin (for Windows) and expects the cluster to 阅读全文
posted @ 2018-09-26 17:59
大数据从业者FelixZh
阅读(385)
评论(0)
推荐(0)
摘要：
https://tech.meituan.com/SQL_parser_used_in_mtdp.html 数据库作为核心的基础组件，是需要重点保护的对象。任何一个线上的不慎操作，都有可能给数据库带来严重的故障，从而给业务造成巨大的损失。为了避免这种损失，一般会在管理上下功夫。比如为研发人员制定数据 阅读全文
posted @ 2018-09-26 17:19
大数据从业者FelixZh
阅读(854)
评论(0)
推荐(0)
摘要：
A Kafka client that publishes records to the Kafka cluster. The producer is thread safe and sharing a single producer instance across threads will gen 阅读全文
posted @ 2018-09-25 17:35
大数据从业者FelixZh
阅读(1108)
评论(0)
推荐(0)
摘要：
很高兴地告诉大家，具备新的里程碑意义的功能的Kafka 0.11.x版本（对应 Confluent Platform 3.3）已经release，该版本引入了exactly-once语义，本文阐述的内容包括： Apache Kafka的exactly-once语义； 为什么exactly-once是 阅读全文
posted @ 2018-09-25 17:25
大数据从业者FelixZh
阅读(602)
评论(0)
推荐(0)
摘要：
Exactly-once Semantics are Possible: Here’s How Kafka Does it I’m thrilled that we have hit an exciting milestone the Kafka community has long been wa 阅读全文
posted @ 2018-09-25 17:23
大数据从业者FelixZh
阅读(530)
评论(0)
推荐(0)
摘要：
Tumbing Windows：滚动窗口，窗口之间时间点不重叠。它是按照固定的时间，或固定的事件个数划分的，分别可以叫做滚动时间窗口和滚动事件窗口。Sliding Windows：滑动窗口，窗口之间时间点存在重叠。对于某些应用，它们需要的时间是不间断的，需要平滑的进行窗口聚合。 例如，可以每30s记 阅读全文
posted @ 2018-09-25 09:56
大数据从业者FelixZh
阅读(1441)
评论(0)
推荐(1)
摘要：
Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进行窗口操作，以及程序员如何从window提供的功能中获得最大的收益。 窗口化的Flink程序的一般结构如下，第一个代码段中是分 阅读全文
posted @ 2018-09-25 09:52
大数据从业者FelixZh
阅读(2436)
评论(0)
推荐(0)
摘要：
https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/event_timestamp_extractors.html 根据官网描述，Flink提供预定义的时间戳提取/水位线发射器。如下： Flink provides abst 阅读全文
posted @ 2018-09-21 17:39
大数据从业者FelixZh
阅读(782)
评论(0)
推荐(0)
摘要：
If you are building a Realtime streaming application, Event Time processing is one of the features that you will have to use sooner or later. Since in 阅读全文
posted @ 2018-09-21 16:29
大数据从业者FelixZh
阅读(859)
评论(0)
推荐(0)
浙公网安备 33010602011771号