摘要: 本文转自:http://tech.meituan.com/spark-tuning-basic.html 感谢原作者 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种 阅读全文
posted @ 2017-12-11 14:31 ^_TONY_^ 阅读(932) 评论(0) 推荐(0) 编辑
摘要: 当使用sparkstreaming处理流式数据的时候,它的数据源搭档大部分都是Kafka,尤其是在互联网公司颇为常见。 当他们集成的时候我们需要重点考虑就是如果程序发生故障,或者升级重启,或者集群宕机,它究竟能否做到数据不丢不重呢? 也就是通常我们所说的高可靠和稳定性,通常框架里面都带有不同层次的消 阅读全文
posted @ 2017-12-11 13:58 ^_TONY_^ 阅读(2120) 评论(1) 推荐(0) 编辑