摘要：I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processi 阅读全文
摘要：https://github.com/claudemamo/kafka-web-console http://github.com/pinterest/doctorkafka http://github.com/yahoo/kafka-manager http://github.com/linked 阅读全文
摘要：http://kafka.apache.org/documentation/#ecosystem https://cwiki.apache.org/confluence/display/KAFKA/Ecosystem 转至元数据结尾 由 Jay Kreps创建, 最终由 Ray Chiang修改于 阅读全文
摘要：Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址：https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因：gradle版本太高，降低到4.8 阅读全文
摘要：国内某大数据供应商 岗位要求1、本科以上学历，计算机及相关专业毕业。2、对大数据处理有强烈兴趣，掌握至少一种主流开源技术方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉开源组件开发、系统调优、高可用等技术。3、具备1-3年以上Java开发经验，掌握Python/Sc 阅读全文
摘要：本文介绍在centos7.3使用kubeadm快速离线安装kubernetes 1.10。 采用单master，单node（可以多node），占用资源较少，方便在笔记本或学习环境快速部署，不适用于生产环境。 所需文件百度盘连接 链接：https://pan.baidu.com/s/1iQJpKZ9P 阅读全文
摘要：前言 最新开始捣鼓flink，fucking the code之前，编译是第一步。 编译环境 win7 java maven 编译步骤 https://ci.apache.org/projects/flink/flink-docs-release-1.6/start/building.html 官方 阅读全文
摘要： 阅读全文
摘要：Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节... 阅读全文
摘要：前言概述 1. JavaSSL认证 SSL(Secure Socket Layer安全套接层)，及其继任者传输层安全(Transport ;ayer Security，TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。 2. Kerberos认证 + 阅读全文
摘要：1.下载postgresql安装包和依赖包 依赖包包括：gcc、zlib、readline等 yum install -y zlib-devel gcc readline readline-devel postgresql包下载地址： https://ftp.postgresql.org/pub/s 阅读全文
摘要：postgresql在线安装很简单 进入官网： https://www.posthttps://www.postgresql.org/gresql.org/ 如文档所示，在线安装步骤与命令： sudo yum install -y https://download.postgresql.org/pu 阅读全文
摘要：当update时连接dl.google.com超时，原因是当前ip无法ping到google（墙）。 解决方法： 1. 使用站长工具查询可用IP http://ping.chinaz.com/dl.google.com 2. sudo vim /etc/hosts 阅读全文
摘要：解决方法：将info文件夹更名 sudo mv /var/lib/dpkg/info /var/lib/dpkg/info.bk 新建一个新的info文件夹 sudo mkdir /var/lib/dpkg/info 安装修复 sudo apt-get update sudo apt-get ins 阅读全文
摘要：一、问题 在使用 apt-get update 在 Ubuntu 环境更新包资源时，出现了以下报错： Ign http://repo.mysql.com trusty/mysql-tools Translation-en Fetched 3,164 B in 1min 42s (30 B/s) Re 阅读全文
摘要：错误描述： [root@nna hadoop-3.2.2]# start-dfs.sh Starting namenodes on [nna nns] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is 阅读全文
摘要：近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 阅读全文
摘要：中文版见微信公众号：大数据从业者 18 Jan 2021 Jun Qin Stream processing applications are often stateful, “remembering” information from processed events and using it t 阅读全文
摘要：a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=netcat a1.sources.r1.bind=master a1.sources.r1.port=44444 a1.sinks.s1.type=hive a1.sinks.s 阅读全文
摘要：本文项目源码见github：https://github.com/felixzh2020/felixzh-learning-flink/tree/master/canal 版本信息 产品版本 Flink 1.11.1 flink-cdc-connectors 1.1.0 Java 1.8.0_231 阅读全文
摘要：本文主要阐述的是Kafka可靠性相关参数中的一个，即unclean.leader.election.enable。 随着Kafka版本的变更，有的参数消失，也有的参数被加入进来，而传承下来的参数一般都不太会修改既定的默认值，而unclean.leader.election.enable参数却是其中的 阅读全文
摘要：作者：LittleMagic 大数据领域 SQL 化开发的风潮方兴未艾（所谓"Everybody knows SQL"），Flink 自然也不能“免俗”。 Flink SQL 是 Flink 系统内部最高级别的 API，也是流批一体思想的集大成者。 用户可以通过简单明了的 SQL 语句像查表一样执行 阅读全文
摘要：https://stackoverflow.com/questions/35652665/java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-in-the-ha 93 29 I'm not able to run 阅读全文
摘要：一、 首先添加四块硬盘 二、reboot重启并对磁盘进行初始化设置 reboot重启 三、搭建raid5 1，yum install -y mdadm //安装madam (madam是Linux下的raid管理工具) 2，mdadm -C /dev/md0 -ayes -l5 -n3 -x1 /d 阅读全文
摘要：前言 硬件磁盘阵列（Hardware RAID） 简单来说就是全部通过用硬件来实现RAID功能的就是硬RAID，比如：各种RAID卡，还有主板集成能够做的RAID都是硬RAID。 所以硬 RAID 就是用专门的RAID控制器（RAID 卡）将硬盘和电脑连接起来，RAID控制器负责将所有的RAID成员 阅读全文
摘要：Problem There are time we would want to remove a ZK node in a secure cluster which is ACL protected. Something as below ACLs [zk: xyz.com:2181(CONNECT 阅读全文
摘要：一、概述 1、Kafka的权限分类 1）、身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers 阅读全文
摘要：while I add catalogs in sql-gateway-defaults.yaml: catalogs: name: catalog_hive type: hive hive-conf-dir: /opt/software/flink-sql-gateway-0.1-SNAPSHOT 阅读全文
摘要：最近有项目需求，flink写hive，暂不考虑性能要求。用hive jdbc简单封装了个sinkToHive，在开启kerberos的环境中，遇到如题的错误。 还有一个现象就是，首次hive操作是成功的，之后才是java.sql.SQLException: org.apache.thrift.tra 阅读全文
摘要：14 Jul 2020 Kostas Kloudas (@kkloudas) With the rise of stream processing and real-time analytics as a critical tool for modern businesses, an increas 阅读全文
摘要：7 3 I'm trying to save dataframe in table hive. In spark 1.6 it's work but after migration to 2.2.0 it doesn't work anymore. Here's the code: blocs .t 阅读全文
摘要：6 2 I am submitting a job to YARN (on spark 2.1.1 + kafka 0.10.2.1) which connects to a secured hbase cluster. This job, performs just fine when i am 阅读全文
摘要：详细报错日志 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache. 阅读全文
摘要：在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态： 这里的默认显示单位是kb，我的服务器是128G内存，所以数字显得比较大。这个命令几乎是每一个使用过Linux的人必会的命令，但越是这样的命令，似乎真正明白的人越少 阅读全文
摘要：有些依赖不想使用maven管理或者使用maven下载不下来，而又不想在本地maven仓库手动上传依赖 那就手动导入个lib文件夹吧。 1、在src下创建lib目录，将jar包放入其中 2、右键lib文件夹，选择Add as Library即可 阅读全文
摘要：哪些原因可能会导致JAVA进程被kill呢？ Java应用程序的问题：发生OOM导致进程Crash JVM自身故障：JVM或JDK自身的Bug导致进程Crash 被操作系统OOM-Killer 该如何去排查问题呢？ Java应用程序的问题：发生OOM导致进程Crash 这种情况主要取决于研发代码质量 阅读全文
摘要：Java线程池概述 线程池技术在并发时经常会使用到，java中的线程池的使用是通过调用ThreadPoolExecutor来实现的。 ThreadPoolExecutor提供了四个构造函数,最后都会归结于下面这个构造方法： /** * Creates a new {@code ThreadPoolE 阅读全文
摘要：nmon开源性能监控工具，用于监控linux系统的资源消耗信息，并能把结果输出到文件中，然后通过nmon_analyser工具产生数据文件与图形化结果。 一、安装软件 下载nmon安装包：http://nmon.sourceforge.net/pmwiki.php?n=Site.Download选择 阅读全文
摘要：为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重 阅读全文