分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark

我们都知道Spark是一种流行的开源分布式处理引擎，适用于大型数据集(通常是TB级别)的分析。Spark可用于处理批量数据，实时流，机器学习和即时查询。处理任务分布在一个节点集群上，数据被缓存在内存中，以减少计算时间。到目前为止，Spark已经可以通过Scala，Java，Python和R访问，却不能通过.NET进行访问。

而.NET for Apache Spark就是旨在使.NET开发人员可以跨所有Spark API访问Apache®Spark™。

.NET for Apache Spark为C#和F#提供了高性能的API来操作Spark。使用这个.NET API，您可以访问Apache Spark的所有功能，包括SparkSQL、DataFrames、流、MLLib等等。.NET for Apache Spark允许您重用作为.NET开发人员已经拥有的所有知识、技能、代码和库。

C#/F#语言绑定到Spark将被写入一个新的Spark交互层，这提供了更容易的扩展性。这一新的Spark交互层的编写考虑了语言扩展的最佳实践，并针对交互和性能进行了优化。长期来看，这种扩展性可以用于在Spark中添加对其他语言的支持。

具体请查看GitHub：https://github.com/dotnet/spark

 

定时分享DotNet Core 相关知识！