2025.2.7（周五）

在大数据分析中，很多数据来自外部API。学习如何有效地从不同的API获取数据并进行处理，能够帮助你快速构建数据管道。常见问题包括API调用的限制、如何处理分页数据、如何优化API请求等。

如何从外部API获取数据并进行数据处理？

import requests
import pandas as pd

# 假设你要从某个API获取JSON数据
url = 'https://api.example.com/data'
response = requests.get(url)
data = response.json()

# 将数据转为DataFrame
df = pd.DataFrame(data)

# 假设你需要处理分页数据
while 'next' in data:
    next_page_url = data['next']
    response = requests.get(next_page_url)
    data = response.json()
    df = pd.concat([df, pd.DataFrame(data)], ignore_index=True)

# 查看合并后的数据
print(df.head())