python处理换行符

当前我的场景是数据中存在大量样本，内容差异仅在于换行符，导致去重的时候，两者都被保留了下来，非我所愿。
几经测试，对于pandas的dataframe，可以使用下面的方式去除换行符
df = df.replace(’\n’,’’, regex=True)
一般情况下的文本也是可以如此处理