happyyoung's blog

摘要： 论文：https://www.cs.toronto.edu/~ranzato/publications/DistBeliefNIPS2012_withAppendix.pdf 译文：大规模分布式深度网络 摘要 最近，无监督特征学习和深度学习的相关工作表明，训练大模型可以显著提高模型的性能。本文，我们 阅读全文

摘要： https://gcc.gnu.org/onlinedocs/gcc/Optimize-Options.html 阅读全文

摘要： 参考链接 https://wiki.python.org/moin/ExtensionTutorial 阅读全文

摘要： NUMA（Non Uniform Memory Access Architecture，非统一内存访问架构） socket：多个core的封装，对应于cpu插槽。名字没啥特殊含义，感觉是随便起的。 core：cpu物理核。 超线程：cpu虚拟化技术。通常一个物理核会虚拟化成两个逻辑核（process 阅读全文

摘要： request-reply 可以先启动client，再启动server。 publish-subscribe parallel pipeline http://zguide.zeromq.org/page:all https://github.com/zeromq/libzmq 阅读全文

摘要： Parameter Server Postoffice类 阅读全文

摘要： RDMA 阅读全文

摘要： 论文：https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/mapreduce-osdi04.pdf 译文： MapReduce：大规模集群上的简化数据处理 阅读全文

摘要： 参考链接：http://www.cs.cmu.edu/~muli/file/ps.pdf http://www.cs.cmu.edu/~muli/file/parameter_server_osdi14.pdf http://www.cs.cmu.edu/~muli/file/parameter_s 阅读全文

摘要： BytePS是一个高性能通用的分布式训练框架。支持TensorFlow，Keras，PyTorch和MXNet，可以跑在TCP和RDMA（Remote Direct Memory Access，远程直接内存访问）网络上。BytePS的性能比现有的开源分布式训练框架都好很多，例如，在流行的公有云上，用 阅读全文