摘要： 数据处理分为三大类： 第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。 第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。 第三类是编程模型，细分为离线编程模型、内存编程模型 阅读全文

摘要： 以前也玩过spark，但这次玩，是因为spark从1.4版本后使spark sql独立出来，想必一定不赖；另外，还支持DataFrame，底层存储支持parquet，甚至orc file。 一、parquet 和 orc 对比 我专门查了查parquet 和 orc，网上很多，我只说关键的。 1、p 阅读全文