suinlove

摘要： https://blog.csdn.net/ywheel1989/article/details/51560312 阅读全文

摘要： 相关链接：https://www.cnblogs.com/drift-ice/p/3817269.html https://www.ibm.com/developerworks/cn/opensource/os-cn-quartz/ http://www.icartype.com/?p=140 ht 阅读全文

摘要： docker的基本概念： 镜像(image)： 容器(container)： 仓库： 问题点： 0、C#码农的大数据之路 - 使用Ambari自动化安装HDP2.6(基于Ubuntu16.04)并运行.NET Core编写的MR作业 https://www.cnblogs.com/lsxqw2004 阅读全文

摘要： Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据 阅读全文

摘要： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 参考 ZooKeeper Getting Sta 阅读全文

摘要： 一个类扩展自一个或多个特质，以便使用这些特质提供的服务。特质可能会要求使用它的类支持某个特定的特性。不过和java不同，Scala特质可以给出这些特性的缺省实现。 特质的特性： 类可以实现任意数量的特质； 特质可以要求实现它们的类具备特定的字段、方法或超类； 和Java接口不同，Scala特质可以提 阅读全文

摘要： 变长数组：数组缓冲 Scala中对于那种长度会变的数组的数据结构为ArrayBuffer。 映射 元组 阅读全文

摘要： 待完成 阅读全文

摘要： 需求：将rdd数据中相同班级的学生分到一个partition中，并根据分数降序排序。 此实例用到的repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行排序，建议直接使用repartition 阅读全文

摘要： 中置操作符（二元操作符），操作符位于两个参数之间。操作符包括字母，比如to，也可以包括操作符字符，比如1->10，等同于方法调用1.->(10) a 标识符 b 其中的标识符是一个带有两个参数的方法（一个隐式参数和一个显式参数），例如：1 to 10，实际上是一个方法调用1.to(10) 一元操作符 阅读全文