摘要： Spark sql提供了丰富的内置函数供猿友们使用，辣为何还要用户自定义函数呢？实际的业务场景可能很复杂，内置函数hold不住，所以Spark sql提供了可扩展的内置函数接口：哥们，你的业务太变态了，我满足不了你，自己按照我的规范去定义一个sql函数，该怎么折腾就怎么折腾！ 例如，MySQL数据库 阅读全文

摘要： 转载：http://www.cnblogs.com/huxi2b/p/4757098.html 在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数？ “我应 阅读全文

摘要： 在集群中部署Storm应用程序的时候报错，并通过jdk自带的jconsole监控发现，永久代内存瞬间爆炸了 org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cacheSer 阅读全文

摘要： 如果想观察JVM进程占用的堆内存，可以通过命令工具jmap或者可视化工具jvisualvm.exe。JVM这些启动参数都拥有默认值，如果想了解JVM的内存分配策略，最好手动设置这些启动参数。再通过JDK提供的工具的统计结果，进行对比，就比较容易理解这些内存分配的理论知识。运行环境是win7 32位操 阅读全文

摘要： 把本地项目初始化之后上传到github上出现问题：fatal: unable to get credential storage lock: File exists 解决办法：是因为我上传用的git帐号和我把github建项目的帐号不一致导致的 阅读全文

摘要： Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。 基本数据类型 Request和Res 阅读全文

摘要： 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看 阅读全文

摘要： 1.获取指定主机指定组件的信息列表 2.获取主机列表 3.获取主机的各种状态 注意：最后一个参数还可以换成"host_state"， 用来判断机器健康状态 : "HEALTHY/HEARTBEAT_LOST 4.获取服务状态 5.获取组件信息 6.获取指定主机上的服务 7.获取服务状态 8.获取集群 阅读全文

摘要： 1.找到你需要修改的配置的最新版本 2.用正确的“tag”读取配置类型 注意：此处的tag=version1384716039631要换做第一步获取的最新的tag 3.把希望修改的部分保存为一个新的配置版本 注意：要确保用一个独一无二的tag，建议使用version+时间戳 4.重启所有组件或者服务 阅读全文

摘要： 转载自：http://blog.csdn.net/a822631129/article/details/51313145 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode，这就 阅读全文