06 2022 档案

初识python 之 pyspark读写hive数据
摘要:环境准备 复制hdfs-site.xml、hive-site.xml到spark\conf目录下。 复制mysql-connector-java-5.1.49.jar到spark\jars目录下。 注意设置连接用户 ,默认为windows当前用户。 os.environ['HADOOP_USER_N 阅读全文

posted @ 2022-06-06 18:03 Simple-Sir 阅读(687) 评论(0) 推荐(0)

初识python 之 pyspark读写mysql数据
摘要:代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/2 14:20 from pyspark.sql import SparkSession spark = SparkSession.builder.master(" 阅读全文

posted @ 2022-06-06 16:26 Simple-Sir 阅读(898) 评论(0) 推荐(0)

初识python 之 pyspark实现wordcount
摘要:代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/6 14:20 from pyspark import SparkConf,SparkContext sparkConf = SparkConf().setMast 阅读全文

posted @ 2022-06-06 14:29 Simple-Sir 阅读(476) 评论(0) 推荐(0)

spark 之 sparkSql操作hive数据
摘要:步骤 1.将hive-site.xml、hdfs-site.xml文件复制到项目的resources目录中 2.导入依赖 1 <dependency> 2 <groupId>org.apache.spark</groupId> 3 <artifactId>spark-hive_2.12</artif 阅读全文

posted @ 2022-06-02 11:27 Simple-Sir 阅读(1646) 评论(0) 推荐(0)

hive 之 beeline连接hive报错: hadoop is not allowed to impersonate hive(state=08S01,code=0)
摘要:场景 使用beeline连接hive时报错。 [hadoop@bigdata02 ~]$ beeline -u "jdbc:hive2://bigdata01:10000/lzh" -n hadoop -p 123 错误信息 Error: Could not open client transpor 阅读全文

posted @ 2022-06-01 11:52 Simple-Sir 阅读(787) 评论(0) 推荐(0)

导航