pandas去除重复的列

Pandas提供了duplicated、Index.duplicated、drop_duplicates函数来标记及删除重复记录。

duplicated函数用于标记Series中的值、DataFrame中的记录行是否是重复，重复为True，不重复为False。

函数定义：

• pandas.DataFrame.duplicated(self, subset=None, keep='first')

• pandas.Series.duplicated(self, keep='first')

其中参数解释如下：

• subset：用于识别重复的列标签或列标签序列，默认所有列标签

• keep='first'：除了第一次出现外，其余相同的被标记为重复

• keep='last'：除了最后一次出现外，其余相同的被标记为重复

• keep=False：所有相同的都被标记为重复

 

若index有相同的

d = df[~df.index.duplicated(keep='last')]
keep可取 first，last. first指保留第一个值，last则保留最后一个值。