12 2016 档案

解决python字典结构内存暴涨问题
摘要：背景：当读取一个key value数据的时候，python的字典结构会造成内存使用扩10倍左右，无可容忍。此文解决这个问题 数据：word2vec训练的结果，word对应400维的词向量。词表共1.6G左右 解决方案：利用python的class array进行解决。 步骤：1、将原始数据，转化成k 阅读全文

posted @ 2016-12-15 13:24 百小度治哥 阅读(7764) 评论(1) 推荐(0)

导航