随笔分类 -  spark

摘要：使用spark的 DataFrame 来操作mysql数据。DataFrame是比RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html这里暂时使用spark-sh... 阅读全文

摘要：由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话，需要读取cassandra数据，并把分析结果也一并存回到cassandra；因此需要研究一下spark如何读写cassandra。话说这个单词敲起来好累，说是spark，其实就是看你开发语言是否有对应的driver... 阅读全文

摘要：mesos集群部署参见上篇。运行在mesos上面和 spark standalone模式的区别是：1）stand alone需要自己启动spark master需要自己启动spark slaver（即工作的worker）2）运行在mesos启动mesos master启动mesos slaver启动... 阅读全文