摘要：安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql shell 阅读全文

摘要：读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文

摘要：1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 阅读全文

摘要：1.Spark SQL出现的 原因是什么? 目前关系数据库在大数据时代已经不能满足各种新增的用户需求。Spark SQL的出现，填补了这个鸿沟。首先，Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作；其次，可以支持大量的数据源和数据分析算法，组合使用S 阅读全文