Python常用库和方法

import requests

res = requests.get("https://www.baidu.com")

res = requests.post("https://xxx.com/api", data={"key": "value"})

params = {"page": 1, "size": 10} res = requests.get("https://xxx.com/list", params=params)

headers = {"User-Agent": "Mozilla/5.0"} res = requests.get("https://xxx.com", headers=headers)

res.status_code # 状态码 200=成功

res.text # 文本内容（html/json字符串）

res.json() # 直接转成字典（接口必用）

res.headers # 响应头

res.cookies # cookies

# 超时设置

res = requests.get(url, timeout=5)

# 关闭警告（访问不安全https）

requests.packages.urllib3.disable_warnings()

res = requests.get(url, verify=False)

 

pip install pandas

import pandas as pd

# 读取 Excel

df = pd.read_excel("data.xlsx")

# 读取 CSV

df = pd.read_csv("data.csv")

# 读取 SQL

df = pd.read_sql("select * from table", conn)

df.head() # 前5行

df.tail() # 后5行

df.info() # 字段类型

df.describe() # 统计（均值、最大最小）

df.shape # (行数, 列数)

df.columns # 列名

df.dtypes # 每列类型

df.dropna() # 删除空值

df.fillna(0) # 空值填充0

df.rename(columns={"old":"new"}) # 改列名

df.drop(["col1"], axis=1) # 删除列

df.sort_values("age") # 排序

df.drop_duplicates() # 去重

df.groupby("class")["score"].mean() # 按班级求平均分

df.to_excel("new.xlsx", index=False)

 

1、上下拼接（行拼接）concat

两个表结构一样，像 Excel 复制粘贴到下面。

import pandas as pd

df1 = pd.read_excel("表1.xlsx")

df2 = pd.read_excel("表2.xlsx")

# 上下拼接

df = pd.concat([df1, df2], ignore_index=True)

ignore_index=True：重新生成行号（推荐）

不加的话，行号会保留原来的，可能重复

2、左右合并（列拼接）merge

按某个共同字段（如 id、姓名、单号）关联，类似 SQL 的 join。

（1）内连接（只保留两边都有的）

df = pd.merge(df1, df2, on='订单号', how='inner')

（2）左连接（以左边表为主）

df = pd.merge(df1, df2, on='订单号', how='left')

（3）右连接 / 全连接

df = pd.merge(df1, df2, on='订单号', how='right')

df = pd.merge(df1, df2, on='订单号', how='outer')

（4）如果两个表关键字段名不一样

df = pd.merge(df1, df2, left_on='id', right_on='user_id', how='left')

3、简单横向拼接（不按关键字，直接拼列）

df = pd.concat([df1, df2], axis=1)