pandas

学习目标：

• 大致了解 pandas 库的 DataFrame 和 Series 数据结构
• 存取和处理 DataFrame 和 Series 中的数据
• 将 CSV 数据导入 pandas 库的 DataFrame
• 对 DataFrame 重建索引来随机打乱数据

创建 Series 的一种方法是构建 Series 对象。例如：

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

 

您可以将映射 string 列名称的 dict 传递到它们各自的 Series，从而创建DataFrame对象。如果 Series 在长度上不一致，系统会用特殊的 NA/NaN 值填充缺失的值。例如：

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })

 但是在大多数情况下，您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据，并创建特征定义：

california_housing_dataframe = pd.read_csv("https://download.mlcc.google.cn/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

california_housing_dataframe.head()

california_housing_dataframe.hist('housing_median_age')

 

访问数据

您可以使用熟悉的 Python dict/list 指令访问 DataFrame 数据：

cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
cities['City name']

<class 'pandas.core.series.Series'>

0    San Francisco
1         San Jose
2       Sacramento
Name: City name, dtype: object

操控数据

您可以向 Series 应用 Python 的基本运算指令。例如：

 

对于更复杂的单列转换，您可以使用 Series.apply。像 Python 映射函数一样，Series.apply 将以参数形式接受 lambda 函数，而该函数会应用于每个值。

下面的示例创建了一个指明 population 是否超过 100 万的新 Series：

 population.apply(lambda val: val > 1000000)

 DataFrames 的修改方式也非常简单。例如，以下代码向现有 DataFrame 添加了两个 Series：

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities

练习 1

通过添加一个新的布尔值列（当且仅当以下两项均为 True 时为 True）修改 cities 表格：

• 城市以圣人命名。
• 城市面积大于 50 平方英里。

cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities