随笔分类 -  分布式和并行计算

摘要：下午锁车后仍然显示未锁车，于是上网一看，哈啰服务器崩溃。好在一小时后系统恢复了。 网上说哈啰电单车平均日单量约为 400 万，而滴滴和美团的电单车日单量分别达到 300 万和 100 万左右。这就意味着瞬时峰值的事务处理可能需要几十万的并发处理能力才行。 崩溃的情况无外乎以下几种： 1 黑客攻击。因 阅读全文

摘要：最近北辰请了几个老师来做报告，光是做并行的老师就三个。 做大规模优化的老师认为做这样的问题是把问题进行分割； 华工的老师没有提是否用了超算，但是强调了并行模型的几种类型，包括主从式，岛屿式，单元式以及层次式。 今天上午李院长的报告则是讲到如果并行程序出现一些结点变慢，问题可能是出在数据不平衡，或者受 阅读全文

摘要：个人目前的大数据的理解是分布式，具体到一些培训机构给出的教程，狭义上就是spark编程。 但是看了很多这些教程和书籍，对并行处理仍然有一些想不通的地方，比如GPU的cuda编程，线程和线程之间并行计算前后出现读写不同步的问题如何解决，加锁吗。 又比如map-reduce操作，往往书本和教程中给出的结 阅读全文