摘要:准备工作 下载及配置Maven3:http://www.cnblogs.com/leefreeman/archive/2013/03/05/2944519.html 下载Nexus:http://nexus.sonatype.org/downloads/ 安装配置Nexus Nexus提供了两种安装 阅读全文
posted @ 2016-02-14 15:57 TonyChai 阅读 (86) 评论 (0) 编辑
摘要:secureCRT上传下载sz下载,下载可以指定目录rz上传压缩tartar -czf a.tar.gz atar -xzf pig.tar.gz -C ./t/Linux下创建一个任意大小文件创建文件名"test",文件大小1000MB:dd if=/dev/zero of=test bs=1M ... 阅读全文
posted @ 2015-12-04 16:18 TonyChai 阅读 (65) 评论 (0) 编辑
摘要:前言欢迎加入我们。这是一份针对实习生/毕业生的服务端开发入门与进阶指南。遇到问题及时问你的 mentor 或者直接问我。 建议:尽量用google查找技术资料。有问题在stackoverflow找找,大部分都已经有人回答。多看官方的技术文档。ibm developerworkers的文章质量整体上有... 阅读全文
posted @ 2015-11-06 17:28 TonyChai 阅读 (96) 评论 (0) 编辑
摘要:一个对象实例占用了多少字节,消耗了多少内存?这样的问题在c或c++里使用sizeof()方法就可以得到明确答案,在java里好像没有这样的方法(java一样可以实现),不过通过jmap工具倒是可以查看出一个对象的占用内存的大小,这里介绍一种通过分析java代码计算内存使用情况的方法。注意,一下讨论的... 阅读全文
posted @ 2015-09-07 17:28 TonyChai 阅读 (161) 评论 (0) 编辑
摘要:实时流处理系统必须要能在24/7时间内工作,因此它需要具备从各种系统故障中恢复过来的能力。最开始,Spark Streaming就支持从driver和worker故障恢复的能力。本文谈及Spark Streaming容错的改进和零数据丢失的实现。【编者按】本文来自SparkStreaming项目带头... 阅读全文
posted @ 2015-07-15 12:16 TonyChai 阅读 (126) 评论 (0) 编辑
摘要:1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分... 阅读全文
posted @ 2015-07-15 11:01 TonyChai 阅读 (251) 评论 (0) 编辑
摘要:Apache Curator入门实战Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。1.Zookeeper安装部署Zookeeper的部署很简单,如果已经有Java运... 阅读全文
posted @ 2015-07-15 10:55 TonyChai 阅读 (215) 评论 (0) 编辑
摘要:Spark是基于内存计算的大数据并行计算框架。因为其基于内存计算,较Hadoop中MapReduce计算框架具有更高的实时性,同时保证了高效容错性和可伸缩性。从2009年诞生于AMPLab到现在已经成为Apache顶级开源项目,并成功应用于商业集群中。学习Spark就需要了解其架构及运行机制。Spa... 阅读全文
posted @ 2015-07-14 18:24 TonyChai 阅读 (187) 评论 (0) 编辑
摘要:Scala的集合框架类比Java提供了更多的一些方便的api,使得使用scala编程时代码变得非常精简,尤其是在Spark中,很多功能都是由scala的这些api构成的,所以,了解这些方法的使用,将更加有助于我们学习Scala和Spark:List,Map,Set的一些api的用法如下:Java代码... 阅读全文
posted @ 2015-07-10 10:56 TonyChai 阅读 (223) 评论 (0) 编辑
摘要:kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。strings 命令可以过滤掉二进制编码,但默认它也会过滤掉中文字符,只留有英文... 阅读全文
posted @ 2015-07-08 10:23 TonyChai 阅读 (132) 评论 (0) 编辑