2022年6月6日

初识python 之 pyspark读写hive数据

摘要： 环境准备 复制hdfs-site.xml、hive-site.xml到spark\conf目录下。 复制mysql-connector-java-5.1.49.jar到spark\jars目录下。 注意设置连接用户 ，默认为windows当前用户。 os.environ['HADOOP_USER_N 阅读全文

posted @ 2022-06-06 18:03 Simple-Sir 阅读(692) 评论(0) 推荐(0)

初识python 之 pyspark读写mysql数据

摘要： 代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/2 14:20 from pyspark.sql import SparkSession spark = SparkSession.builder.master(" 阅读全文

posted @ 2022-06-06 16:26 Simple-Sir 阅读(910) 评论(0) 推荐(0)

初识python 之 pyspark实现wordcount

摘要： 代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/6 14:20 from pyspark import SparkConf,SparkContext sparkConf = SparkConf().setMast 阅读全文

posted @ 2022-06-06 14:29 Simple-Sir 阅读(486) 评论(0) 推荐(0)

导航