静若清池，动如涟漪

摘要： 1.下载Windows版的NetCat https://eternallybored.org/misc/netcat/ 2.启动NetCat nc -l -p 9999 3.将SAPRK_HOME\conf\log4j.properties拷贝到项目根目录下，将“INFO”改为“ERROR”，保证只 阅读全文

摘要： 一、定义DateTime Message 参考文档：https://github.com/mgravell/protobuf-net/blob/master/src/Tools/bcl.proto DateTime中包含两个属性：value，TimeSpanScale；value为时间值，TimeS 阅读全文

摘要： 使用spark-submit提交local任务时，会输出很多Info信息： 可以修改log4j的日志级别，只输出关键信息： 1.修改$SPARK_HOME/conf/log4j.properties 如果有log4j.properties.template，则复制一份为log4j.propertie 阅读全文

摘要： 参考文章：http://blog.csdn.net/dabokele/article/details/52602412 根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类 Transformations Window Op 阅读全文

摘要： 参考文章：http://blog.csdn.net/u011518120/article/details/54604615 英文原文： Language Guide (proto3) 中文出处： Protobuf语言指南 [译]Protobuf 语法指南 中文出处是proto2的译文，proto3的 阅读全文

摘要： 一、下载Saprk程序 https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 解压到d:\spark-2.1.1-bin-hadoop2.7 二、下载winutil.exe https://github.com/ste 阅读全文

摘要： 一、Mastering Apache Spark 2 https://www.gitbook.com/book/jaceklaskowski/mastering-apache-spark/details 二、Apache Spark 2 (Scala) Workshops https://githu 阅读全文

摘要： 参考文章：http://www.cnblogs.com/cuyt/p/6141723.html 公司内部有些C#服务使用proto-net，引入了bcl.proto中的bcl.Decimal、bcl.DateTime等。对于java的proto生成代码需要对bcl.Decimal、bcl.DateT 阅读全文

摘要： 参考文章： http://blog.csdn.net/jewes/article/details/39896301 http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html RDD是什么？ RDD是Spark中的抽象数据 阅读全文

摘要： 参考文章：http://www.jianshu.com/p/60344796f8a5 在结合 Spark Streaming 及 Kafka 的实时应用中，我们通常使用以下两个 API 来获取最初的 DStream（这里不关心这两个 API 的重载）: 及 这两个 API 除了要传入的参数不同外，接 阅读全文