摘要: 调整partition数量,每次reduece和distict的时候都应该调整,数量太大和太小都不好,通常来讲保证一个partition的大小在1~2G左右为宜 调整excutors 调整core 调整内存 使用cache (但是在内存不够的情况下,最好不要用,可能会频繁GC) 尽量减少shuffl 阅读全文
posted @ 2018-02-03 16:28 沙中世界 阅读(202) 评论(0) 推荐(0)
摘要: 1、tile 元素重复函数 第二个参数是一维 第二个参数是二维 第二个参数是三维 2、expand_dims 元素增加维度 3、求accuracy precision recall 4、不使用科学计数法 阅读全文
posted @ 2018-02-03 15:48 沙中世界 阅读(285) 评论(0) 推荐(0)