上一页 1 2 3 4 5 6 ··· 16 下一页

2016年1月11日

【转载】Apache kafka原理与特性(0.8V)

摘要： http://blog.csdn.net/xiaolang85/article/details/37821209前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转... 阅读全文

posted @ 2016-01-11 13:47 白乔 阅读(161) 评论(0) 推荐(0)

2016年1月10日

【转载】Apache Kafka监控之Kafka Web Console

摘要： http://www.iteblog.com/archives/1084Kafka Web Console是一款开源的系统，源码的地址在https://github.com/claudemamo/kafka-web-console中。Kafka Web Console也是用Scala语言编写的Jav... 阅读全文

posted @ 2016-01-10 20:23 白乔 阅读(224) 评论(0) 推荐(0)

【转载】Kafka实现篇之消息和日志

摘要： http://blog.csdn.net/honglei915/article/details/37760631消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一... 阅读全文

posted @ 2016-01-10 18:04 白乔 阅读(319) 评论(0) 推荐(0)

kafka集群安装与配置

摘要： 一、集群安装1. Kafka下载：可以从kafka官方网站（http://kafka.apache.org）上找到下载地址，再wgetwgethttp://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压该文件： tar z... 阅读全文

posted @ 2016-01-10 15:56 白乔 阅读(421) 评论(0) 推荐(0)

2016年1月9日

【转载】Kafka介绍及升级经验分享

摘要： http://blog.talkingdata.net/?p=3165背景当时的现状：开始使用Kafka的时候，使用的版本是0.7.2，当时的目的是为了替代kestrel，主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题：吞吐量、数据量、一份数据... 阅读全文

posted @ 2016-01-09 16:29 白乔 阅读(454) 评论(0) 推荐(0)

【转载】Kafka High Availability

摘要： http://www.haokoo.com/internet/2877400.htmlKafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则... 阅读全文

posted @ 2016-01-09 16:25 白乔 阅读(160) 评论(0) 推荐(0)

【转载】LinkedIn是如何优化Kafka的

摘要： http://www.wtoutiao.com/p/18d5RY0.html在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的现状和未来、如何规模化运行、如何适应LinkedIn的开源策略以及如何适应整体的技术栈等... 阅读全文

posted @ 2016-01-09 11:20 白乔 阅读(230) 评论(0) 推荐(0)

【转载】Apache Kafka：下一代分布式消息系统

摘要： http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm... 阅读全文

posted @ 2016-01-09 10:50 白乔 阅读(256) 评论(0) 推荐(0)

【转载】apache kafka系列之-监控指标

摘要： 原文地址：http://blog.csdn.net/lizhitao/article/details/245819071、监控目标1.当系统可能或处于亚健康状态时及时提醒，预防故障发生2.报警提示 a.短信方式 b.邮件2、监控内容2.1 机器监控Kafka服务器指标CPU LoadDisk IOM... 阅读全文

posted @ 2016-01-09 10:42 白乔 阅读(750) 评论(0) 推荐(0)

2015年11月15日

自动恢复被挂掉的hbase region server

摘要： 最近老遇到hbase的regionserver自动挂掉的情况 日志总是看不出什么原因不得已弄了个定时任务，任务的脚本类似是：pssh -H "bluejoe1 bluejoe2..." "/usr/local/hbase/bin/hbase-daemon.sh start regionserver"... 阅读全文

posted @ 2015-11-15 17:58 白乔 阅读(394) 评论(0) 推荐(0)

beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误

摘要： 采用beeline连接hive server是遭遇到如下错误：5: jdbc:hive2://bluejoe0/default> select * from hive_triples where subject='' limit 1;Error: Error while processing sta... 阅读全文

posted @ 2015-11-15 17:39 白乔 阅读(3042) 评论(0) 推荐(0)

2015年11月14日

sqoop-1.4.6安装配置

摘要： 1. 下载sqoop-1.4.6并解压wget http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gztar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-a... 阅读全文

posted @ 2015-11-14 20:58 白乔 阅读(433) 评论(0) 推荐(0)

2015年10月13日

spark RDD的元素顺序（ordering）测试

摘要： 通过实验发现： foreach()遍历的顺序是乱的 但： collect()取到的结果是依照原顺序的 take()取到的结果是依照原顺序的为什么呢？？？？另外，可以发现： take()取到了指定数目的元素，就不再多取了scala> val rdd = sc.makeRDD((0 to... 阅读全文

posted @ 2015-10-13 23:22 白乔 阅读(1146) 评论(0) 推荐(0)

2015年10月9日

【转载】常用Maven插件介绍

摘要： http://www.cnblogs.com/crazy-fox/archive/2012/02/09/2343722.html我们都知道Maven本质上是一个插件框架，它的核心并不执行任何具体的构建任务，所有这些任务都交给插件来完成，例如编译源代码是由maven- compiler-plugin完... 阅读全文

posted @ 2015-10-09 21:05 白乔 阅读(188) 评论(0) 推荐(0)

2015年10月7日

【转载】Spark SQL 1.3.0 DataFrame介绍、使用

摘要： http://www.aboutyun.com/forum.php?mod=viewthread&tid=12358&page=11.DataFrame是什么？2.如何创建DataFrame?3.如何将普通RDD转变为DataFrame？4.如何使用DataFrame？5.在1.3.0中，提供了哪些... 阅读全文

posted @ 2015-10-07 19:38 白乔 阅读(527) 评论(0) 推荐(0)

SparkSQL之数据源

摘要： 准备json文件：cat /root/1.json{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}可以尝试传统方法：val people = sqlContext.read.json("fil... 阅读全文

posted @ 2015-10-07 18:40 白乔 阅读(195) 评论(0) 推荐(0)

2015年10月5日

spark集成hive遭遇mysql check失败的问题

摘要： 问题： spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at lin... 阅读全文

posted @ 2015-10-05 13:14 白乔 阅读(461) 评论(0) 推荐(0)

2015年10月4日

hive启动报错： Found class jline.Terminal, but interface was expected

摘要： 故障：[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interfac... 阅读全文

posted @ 2015-10-04 21:26 白乔 阅读(668) 评论(0) 推荐(0)

2015年10月3日

hive,spark的远程调试设置

摘要： spark的远程调试spark-env.sh文件里面，加上下面配置即可：if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,... 阅读全文

posted @ 2015-10-03 18:46 白乔 阅读(649) 评论(0) 推荐(0)

2015年10月2日

【白乔原创】写二十年的代码是一种什么样的体验？

摘要： 原文发表于知乎，http://www.zhihu.com/question/35100740/answer/62354943知乎原帖，点击此处点赞:)【多图预警】【20年码农】70后老人，来自皖南山区纯的农村娃，大学之后才有的编程经历受前面一个兄弟的启发，截点图说说自己的这段历程，后面有时间再补充文... 阅读全文

posted @ 2015-10-02 21:52 白乔 阅读(312) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 ··· 16 下一页

导航