随笔分类 -  大数据技术与框架

摘要：http://qindongliang.iteye.com/blog/2212619 先来看下hue的架构图： （1）Hue是什么？ Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。 （2）Hue能干什么？ 1，访问HDFS和文件浏览 2，通过web调试和开 阅读全文

摘要：http://blog.csdn.net/xukai871105/article/details/392526530 前言 MQTT是IBM开发的一个即时通讯协议。MQTT是面向M2M和物联网的连接协议，采用轻量级发布和订阅消息传输机制。Mosquitto是一款实现了 MQTT v3.1 协议的开源... 阅读全文

摘要：http://m.oschina.net/blog/82059本文主旨在于，对目前Android平台上最主流的几种消息推送方案进行分析和对比，比较客观地反映出这些推送方案的优缺点，帮助大家选择最合适的实施方案。方案1、使用GCM服务（Google Cloud Messaging）简介：Google推... 阅读全文

摘要：http://blog.csdn.net/xiaolang85/article/details/37821209前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转... 阅读全文

摘要：http://www.iteblog.com/archives/1084Kafka Web Console是一款开源的系统，源码的地址在https://github.com/claudemamo/kafka-web-console中。Kafka Web Console也是用Scala语言编写的Jav... 阅读全文

摘要：http://blog.csdn.net/honglei915/article/details/37760631消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一... 阅读全文

摘要：http://www.wtoutiao.com/p/18d5RY0.html在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的现状和未来、如何规模化运行、如何适应LinkedIn的开源策略以及如何适应整体的技术栈等... 阅读全文

摘要：http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm... 阅读全文

摘要：最近老遇到hbase的regionserver自动挂掉的情况 日志总是看不出什么原因不得已弄了个定时任务，任务的脚本类似是：pssh -H "bluejoe1 bluejoe2..." "/usr/local/hbase/bin/hbase-daemon.sh start regionserver"... 阅读全文

摘要：http://www.aboutyun.com/forum.php?mod=viewthread&tid=12358&page=11.DataFrame是什么？2.如何创建DataFrame?3.如何将普通RDD转变为DataFrame？4.如何使用DataFrame？5.在1.3.0中，提供了哪些... 阅读全文

摘要：http://blog.csdn.net/oopsoom/article/details/42061077一、Spark SQL External DataSource简介 随着Spark1.2的发布，Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口，来让... 阅读全文