SGTC 开发心得

太累了。。。
首先要准备0d,1d,2d的feature,之前是把所有0d,1d的feature整理好放到同一个对象里，训练的时候直接导入这个对象，而加入2D的特征后这个方法就有些鸡肋。一是一定会有不同的需求变换不同的2D特征，这样频繁存取一个大约几个G的数据有些得不偿失，而且标准的图像识别的做法也是现场读取文件。

但直接读jeqsp.out会极大地拖累性能，解析一个文件大约需要一到两秒，在summit上尤其慢。

现在想的折衷的办法是预处理，使用sgtc.sgd里的name_list来获取valid directory,然后进去解析jeqsp.out,再写两个文件，pg1d.out和b2d.out，这是两个存成pickle的numpy对象，python可以直接load,这样后面在读取时比较节省时间。

之后估计会这样，在预处理时，将feature分成0d,1d和2d,0d 和 name_list 以及 meta_info 存在一个dataheader中放在数据的根目录，1d和2d做成文件存在各个目录中。上层提供统一的loader接口（torch, tensorflow等）。

后面要做一个EfficentNetB0的架构，解析2d特征，用卷积卷出1d的特征，将通道拼合在一起，再加两个FC，出预测结果