摘要： 1.import os os模块提供很多方法用来处理文件和目录 2.import sys sys模块提供了一系列运行环境的变量和函数，例如argv变量，argv变量是一个包含命令行参数的列表 3.from minio import Minio minio是一个对象存储服务，可以用来存储大量的数据，比 阅读全文

摘要： 元数据文件是指描述数据的数据，比如数据的格式，数据的大小，数据的类型等。 数据文件是指存储数据的文件，比如图片，视频，文档等，它是一个二进制文件。 例如： metadata.json是元数据文件，是一个json格式的文件，json格式是一种轻量级的数据交换格式，易于阅读和编写，易于机器解析和生成。 阅读全文

摘要： my_dict是一个列表，列表中包含了两个字典，for循环遍历每一个字典，get方法是字典的小助手，可以将字典中key对应的value打印出来。 code: my_dict = [{"name": "ZhangSan", "age": "10", "city": "Chengdu"},{"name" 阅读全文

摘要： 步骤： 初始化SparkSession。 使用spark.read.parquet()读取Parquet文件。 调用df.schema.json()获取schema的JSON表示。 from pyspark.sql import SparkSession # 初始化SparkSession spar 阅读全文

摘要： 可以将一个JSON编码的字符串转换回一个Python数据结构。 这个方法接受一个JSON字符串作为参数，并返回一个对应的Python对象。 这个Python对象可以是一个字典、一个列表、一个字符串、一个数字、一个布尔值或者一个None。 # 将 JSON 对象转换为 Python 字典 json_s 阅读全文

摘要： 1. 准备工作： 安装pyspark库（pip install pyspark） 2. 代码： # 导入模块from pyspark.sql import SparkSession# 创建Spark会话对象 spark = SparkSession.builder \ .appName("Read 阅读全文

摘要： 1.setdefault()方法语法 dict.setdefault(key, default=None) 说明：如果字典中包含给定的键值，那么返回该键对应的值。否则，则返回给定的默认值。 Syntax: dict.setdefault(key, default_value) Parameters: 阅读全文

摘要： 摘抄自 https://www.python100.com/html/Z32C4LDHO470.html for循环是Shell中最常用的循环方式之一，可以循环遍历一个给定的列表。在遍历目录时，我们可以使用for循环来遍历当前目录下的所有文件和文件夹。 以下是一个示例代码： echo "当前目录下的 阅读全文

摘要： 1.首先查看help basename --help Usage: basename NAME [SUFFIX] or: basename OPTION... NAME... Print NAME with any leading directory components removed. If s 阅读全文

摘要： 测试文件是tmp.txt, 指定结尾字符串是'_hist' cat tmp.txt | grep -E 'hist$' 或者 grep -E '_hist$' sar_hist_table_list.txt 阅读全文