摘要：bin/kafka-producer-perf-test.sh --num-records 5000000 --record-size 5000 \ --topic kafkatopic2 \ --broker-list bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance kafka... 阅读全文

摘要：spark1.4起，在启动master进程时候，同时会有一个restful的服务器，可以接受RESTFUL的请求， 以下是提交应用的示例 示例spark-streaming程从kafka中读取数据并写入到elasticsearch,都是在容器中使用的，遇到如下问题：org.apache.spark. 阅读全文

摘要：1.怎么理解spark streaming中的dstream? 它是spark streaming的基础数据结构,代表着(time,RDD)序列,有两种生成方式,一种是基于流数据创建(kafka,socket...),一种是基于已有的dstream进行转换产生.在spark streaming作业运 阅读全文

摘要：1.SPARK－SQL 执行几个集市表的ETL报错，出错为空指针异常，推断的表中数据内容有问题，同事重新生成一HIVE表后导入数据，问题消除，未找到根本原因 2.SQOOP提交时按队列 sqoop -D mapred.job.queue.name=queuename SQOOP通过METASTORE 阅读全文

摘要：kafka-console-consumer.sh --topic TOPIC_KEYWORD --from-beginning --zookeeper localhost报异常,Exception in thread "main" java.lang.NoSuchMethodError: kafk 阅读全文

摘要：主要需要设置的是conf文件夹中的server.properties文件， broker.id,不同的机器节点，使用不同的id号，不能重复。 num.network.threads=8 num.partitions=8 配置环境变量 vi /home/ochadoop/.bash_profile e 阅读全文

摘要：brokers和消费者使用zk来获取状态信息和追踪消息坐标。 每一个partition是一个有序的，不可变的消息序列。 只有当partition里面的file置换到磁盘文件以后，才开放给消费者来消费。 每一个partition是跨服务器地被复制到其他地方，为了容错的目的。 这个partition可以 阅读全文

摘要：http://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为... 阅读全文

摘要：kafka-server-start.sh config/server.properties & kafka-server-stop.sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --par... 阅读全文