shan_zhayidian

摘要： 一、source 1、avro source 侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。 channels – type – The component type name, needs to be 阅读全文

摘要： 创建数据库目录 MongoDB的数据存储在data目录的db目录下，但是这个目录在安装过程不会自动创建，所以你需要手动创建data目录，并在data目录中创建db目录。 以下实例中我们将data目录创建于根目录下(/)。 注意：/data/db 是 MongoDB 默认的启动的数据库路径(--dbp 阅读全文

摘要： 国内在技术选型中考虑最多的三种。 从延迟看：Storm和Flink原生支持流计算，对每条记录处理，毫秒级延迟，是真正的实时计算，对延迟要求较高的应用建议选择这两种。Spark Streaming的延迟是秒级。 从容错看 ：Spark Streaming和Flink都支持最高的exactly-once 阅读全文

摘要： ack机制，即producer发送消息的确认机制，会影响到kafka的消息吞吐量和安全可靠性，二者不可兼得，只能平均； ack的取值有三个1、0、-1 ack=0，producer只发送一次消息，无论consumer是否收到； ack=-1，producer发送的消息，只有收到分区内所有副本都成功写 阅读全文

摘要： kafka常用命令 1、启动kafka服务 nohup bin/kafka-server-start.sh config/server.properties & 2、停止kafka服务 ./kafka-server-stop.sh 3、查看所有的话题 bin/kafka-topics.sh --li 阅读全文

摘要： 50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提 阅读全文

摘要： 时间不一致可能会报 region is not online错误。重启了hadoop集群主机之后，hadoop集群log中的时间一直不是系统时间，不知是装系统时的遗留问题（安装系统时区没有更改过）还是怎么。通过浏览http://hadoop:60010/jmx可看到user.timezone（时区） 阅读全文

摘要： 首先创建一个httpUtil类，方便访问网页： 1 package com.jh.azkaban; 2 3 import java.io.*; 4 import java.net.HttpURLConnection; 5 import java.net.MalformedURLException; 阅读全文

摘要： [root@localadmain lisi]# mv shell01.sh /bin[root@localadmain bin]# shell01.sh -bash: /bin/shell01.sh: 权限不够 [root@localadmain bin]# chmod a+x shell01.s 阅读全文

摘要： kafka--开源的分布式事件流平台；其应用场景一般是在生产者的生产速度远远大于消费者的消费速度时会用到kafka的消息队列机制； kafka的核心组件包括：kafka服务--（Broker是server的实例）用来维护整个集群的正常运行、生产者--producer用来生产数据，数据的发布者、消费者 阅读全文