[爬虫]2.3.1 使用Python操作文件系统

Python提供了许多内置库来处理文件系统，如os、shutil和pathlib等，这些库可以帮助你创建、删除、读取、写入文件和目录。

读取文件

在Python中，你可以使用内置的open函数来打开一个文件。open函数返回一个文件对象，你可以对这个对象进行各种操作。

以下是一个读取文件的例子：

with open('example.txt', 'r') as f:
    content = f.read()

print(content)

open函数的第一个参数是文件的路径，第二个参数是模式。在这个例子中，模式是'r'，表示读取。

使用with语句可以自动关闭文件，这是一个好习惯。

read方法可以读取文件的全部内容。如果文件很大，你可能想要使用readline或readlines方法来分行读取。

写入文件

你也可以使用open函数来写入文件。只需将模式改为'w'或'a'即可。'w'表示写入，如果文件已存在，它将被覆盖。'a'表示追加，如果文件已存在，新的内容将被添加到文件的末尾。

以下是一个写入文件的例子：

with open('example.txt', 'w') as f:
    f.write('Hello, Python!')

write方法可以将一个字符串写入文件。

操作目录

你可以使用os库来操作目录。

例如，你可以创建一个新的目录：

import os

os.mkdir('example')

你也可以删除一个目录：

os.rmdir('example')

你可以获取当前的工作目录：

cwd = os.getcwd()
print(cwd)

你也可以改变工作目录：

os.chdir('/path/to/directory')

文件路径

在处理文件路径时，你可能会遇到许多问题，如路径分隔符在不同操作系统下的差异。为了解决这些问题，你可以使用os.path或pathlib库。

以下是一些常用的路径操作：

import os

# 连接路径
path = os.path.join('directory', 'file.txt')

# 分割路径
directory, file = os.path.split(path)

# 获取文件的扩展名
extension = os.path.splitext(file)[1]

# 检查文件或目录是否存在
exists = os.path.exists(path)

这就是Python处理文件系统的基本知识。现在，你可以尝试使用这些知识来存储你爬取的数据了。
推荐阅读：

https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA

https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g