-涂涂-

摘要： 1、查询jdk版本号 两条命令都会产生输出，把输出的文件删除就可以卸载openjdk了 假如两条命令列出文件为A和B 在运行命令 卸载完毕 阅读全文

摘要： Storm并行度 wordcount 统计job代码 public class WordCountTopology { private static final String SENTENCE_SPOUT_ID = "sentence-spout"; private static final Str 阅读全文

摘要： Kafka参数详解 每个kafka broker中配置文件server.properties默认必须配置的属性如下： broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket. 阅读全文

摘要： flume参数： 此配置定义名为a1的单个代理。a1有一个侦听端口44444上的数据的源，一个缓冲内存中事件数据的通道，以及一个将事件数据记录到控制台的接收器。 根据scource、channel、sink划分 1、Sources Flume中常用的Source有NetCat，Avro，Exec，S 阅读全文

摘要： 通过flume收集其他机器上flume的监测数据，发送到本机的kafka进行消费。 环境：slave中安装flume，master中安装flume+kafka（这里用两台虚拟机，也可以用三台以上） 通过监控test.log文件的变化，收集变化信息发送到主机的flume中，再发送到kafka中进行消费 阅读全文

摘要： 环境：两台虚拟机（ 每台都有flume） 第一台slave作为消息的产生者 第二台master作为消息的接收者 IP（192.168.83.133） 原理：通过监听slave中文件的变化，获取变化信息，发送到另一台电脑。 1、slave上配置conf里面的example.conf(标红的注意下) 2 阅读全文

摘要： 1，查看kafka topic列表，使用--list参数 2，查看kafka特定topic的详情，使用--topic与--describe参数 列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息 3、Kafka 删除 阅读全文

摘要： 正常情况下，你安装好ubuntu16.04版本之后，系统会自带 python2.7版本，如果需要下载新版本的python3.5，就需要进行更新。下面给出具体教程： 1.首先在ubuntu的终端ternimal输入命令： sudo apt-get install python3.5 2.指定默认打开的 阅读全文

摘要： 为了实现远程kafka通信，我可谓是呕心沥血。期间各种bug各种调，太煎熬了 (T.T) 介绍： 我用一台虚拟机作为远程消息的发送方，用本地电脑主机作为消息的接收方 虚拟机：安装java，kafka，zookeeper 主机：eclipse，注意我没有说在主机上也要安装kafka的 1、虚拟机部署 阅读全文

摘要： Storm主要的应用场景就是流式数据处理，例如实时推荐系统，实时监控系统等。 storm中的相关概念 在storm中，分布式的计算结构指的是一个topology(拓扑)，一个topology由流式数据，spouts(流生产者)，以及bolts(具体操作者)组成。Storm的topologies和其他 阅读全文