摘要：spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jar 阅读全文

摘要：读学生课程分数文件chapter4-data01.txt，创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文

摘要：Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 阅读全文