2024 年 2月 27 日随笔档案 - dddddcoke

2024年2月27日

摘要：分布式系统谷歌三剑客 Distributed File System(Google FIle System) 如何有效存储数据？ Nosql底层需要一个文件系统 Bigtable = Nosql database 怎么链接底层存储和上层数据 Map Reduce 怎么快速处理数据 GFS C++ 阅读全文

posted @ 2024-02-27 12:46 dddddcoke 阅读(1) 评论(0) 推荐(0) 编辑

【系统设计】笔记18 map reduce

摘要：大数据职位分布式数据处理框架 count the word frequency of a web page? for循环，存在hashmap 缺点：只有一台机器，慢，内存大小受限。多台机器，并行处理合并的时候是瓶颈。 map把任务打散，reduce把任务合并 step1 input 输入 0 阅读全文

posted @ 2024-02-27 05:31 dddddcoke 阅读(4) 评论(0) 推荐(0) 编辑