pyspark之mysql

参考

 https://zhuanlan.zhihu.com/p/136777424

 

from pyspark.sql import SQLContext, SparkSession

if __name__ == '__main__':
    # spark 初始化
    spark = SparkSession. \
        Builder(). \
        appName('sql'). \
        master('local'). \
        getOrCreate()
    # mysql 配置(需要修改)
    prop = {'user': 'root',
            'password': 'Zrhdb#2019',
            'driver': 'com.mysql.cj.jdbc.Driver'}
    # database 地址(需要修改)
    url = 'jdbc:mysql://10.0.101.120:3306/WeiCloudDB?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false'
    # 读取表
    data = spark.read.jdbc(url=url, table='CalculationParam', properties=prop)
    # 打印data数据类型
    print(type(data))
    # 展示数据
    data.show()
    # 关闭spark会话
    spark.stop()

 

 

 

 

缺少jdbc的jar包，由于使用的python环境是Anaconda，所以jar拷贝至C:\Anaconda3\envs\python_en_37\Lib\site-packages\pyspark\jars目录下

如果其他环境，设置sparkclasspath环境变量