2021年4月25日
vaex读取和处理大型文件的方法
摘要： 1、针对pandas在对读取超过上G的数据时速度较慢，并且即使读取后，可能由于文件过大使用pandas的方法导致死机的情况较多。 2、vaex属于DataFrame的一个扩展性，针对大型文件的处理，特别好用，其机理是采用“映射”的方式，并不把数据直接读取到内存里面。其相关的介绍和使用教程，API等可 阅读全文
posted @ 2021-04-25 22:51 时海涛|Thomas 阅读(3814) 评论(0) 推荐(1)