大数据从业者

摘要： Kafka 0.11新功能介绍：空消费组延迟rebalance 在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout 阅读全文

摘要： http://curator.apache.org/index.html Welcome to Apache Curator Welcome to Apache Curator What is Curator? What is Curator? Curator n ˈkyoor͝ˌātər: a k 阅读全文

摘要： linux是一个很能自动产生文件的系统，日志、邮件、备份等。虽然现在硬盘廉价，我们可以有很多硬盘空间供这些文件浪费，让系统定时清理一些不需要的文件很有一种爽快的事情。不用你去每天惦记着是否需要清理日志，不用每天收到硬盘空间不足的报警短信，想好好休息的话，让我们把这个事情交给机器定时去执行吧。 1.删 阅读全文

摘要： When we are talking about performance of Kafka Producer, we are really talking about two different things: latency: how much time passes from the time 阅读全文

摘要： 问题原因是velocity的日志框架导致（velocity是使用自己封装的日志框架记录日志的），velocity在初始化Logger时，如果没有读取到配置文件，则会使用默认的velocity.log做为文件输出路径，源代码里使用了 File file = new File(“velocity.log 阅读全文

摘要： 一、查看哪些IP连接本机 netstat -an 二、查看TCP连接数 1)统计80端口连接数netstat -nat|grep -i "80"|wc -l2）统计httpd协议连接数ps -ef|grep httpd|wc -l3）、统计已连接上的，状态为“establishednetstat - 阅读全文

摘要： 虽说这个算是正常现象，等的时间也太久了吧。分钟级了。这个RECOVERY里面的WAL有点多余。有这么久的时间，早从新读取kafka写入hdfs了。纯属个人见解。 阅读全文

摘要： kafka-connect-hdfs中操作hdfs的HdfsStorage.class中需要做修改 当然 url的相应配置得改成hdfs://nameservice/*，因为要HA 啊。不能按照原来的要求了，原来的要求如下： 虽然实例化storage时候不用url了，往hive load还是要的。 阅读全文

摘要： 修改配置文件一般需要指定用户、用户组、端口、访问IP段，当然这些都有默认值，然后启动程序和测试。 关于配置文件的一点补充： 出处：　http://www.xiaomastack.com/2016/01/22/tinyproxy/ 阅读全文

摘要： Supervisor 是基于 Python 的进程管理工具，只能运行在 Unix-Like 的系统上，也就是无法运行在 Windows 上。Supervisor 官方版目前只能运行在 Python 2.4 以上版本，但是还无法运行在 Python 3 上，不过已经有一个 Python 3 的移植版  阅读全文

摘要： 文章在Centos 6.5 linux平台上演示一下如何进行编译安装zlib软件，并配置相关的选项加载使用。示范从下载到安装并配置进行使用过程一系列整套讲解，希望可以给网友考虑使用，谢谢。 文章在Centos 6.5 linux平台上演示一下如何进行编译安装zlib软件，并配置相关的选项加载使用。示 阅读全文

摘要： 1. http://pypi.python.org/pypi/xlwt 和http://pypi.python.org/pypi/xlrd下载xlwt-0.7.4.tar.gz和xlrd-0.7.7.tar.gz。 2. 解压，如我把它们解压到F：DOWNLOAD下。 3. cmd,在命令行输入F： 阅读全文

摘要： user nobody; #启动进程,通常设置成和cpu的数量相等 worker_processes 1; #全局错误日志及PID文件 #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error 阅读全文

摘要： jdk问题 阅读全文

摘要： 解决办法： 双击server，勾选上【Server Options】里面的【Publish module contexts to separte XML files】，如下图即可。 阅读全文

摘要： 在出现此错误的项目上单击鼠标右键》Build Path》Configure Build Path 阅读全文

摘要： 阅读全文

摘要： 2017-03-13 15:40:15,003 ERROR [com.hisense.hitv.service.dotexc.impl.DotExcPolicyServiceImpl.updateDotExcPolicy(DotExcPolicyServiceImpl.java:61)] - <or 阅读全文

摘要： elasticsearch原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch 阅读全文

摘要： 服务介绍 随着实时分析技术的发展及成本的降低，用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博，微盘，云存储，弹性计算平台等十多个部门的多个产品的日志搜索分析业务，每天处理约32亿条(2TB)日志。 技术架构 简单介绍一下服务的技术架构： 这是一个再常见不过的架构了： （1）Kafka：接收 阅读全文

摘要： 背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于EL 阅读全文

摘要： Build path specifies execution environment J2SE-1.5. There are no JREs installed in the workspace that are strictly compatible with this environment.  阅读全文

摘要： Why do Kafka consumers connect to zookeeper, and producers get metadata from brokers? Ask Question Why do Kafka consumers connect to zookeeper, and pr 阅读全文

摘要： // MIT License // // Copyright (c) 2016 Michel Kraemer // Copyright (c) 2005 JSON.org // // Permission is hereby granted, free of charge, to any person obtaining // a copy of this software and associ... 阅读全文

摘要： /* JSON_checker.h */ typedef struct JSON_checker_struct { int valid; int state; int depth; int top; int* stack; } * JSON_checker; extern JSON_checker new_JSON_checker(int depth... 阅读全文

摘要： 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 阅读全文

摘要： 当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件： 1、输入的数据来自可靠的数据源和可靠的接收器； 2、应用程序的metadata被application的driver持久化了(ch 阅读全文

摘要： 阅读全文

摘要： yum update 阅读全文

摘要： cxf整合spring，报错信息如下： Multiple annotations found at this line:- cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found 阅读全文