随笔分类 -  storage

摘要：SSD属于半导体器件，目前主流SSD都采用NAND flash芯片。与磁盘相比，主要有以下优势：更高的随机访问性能，无寻道时间；低能耗；对温度和震动具有更强的适应性。SSD最大的问题是寿命和可靠性，擦除一定次数后SSD会损毁。此外：随着位密度上升，flash芯片的可靠性和寿命下降，这是容量和可靠性的矛盾；RAID不太适合SSD，因为SSD RAID中相关设备故障的概率很高；关于SSD可靠性的研究很多，毁誉参半，SSD的可靠性仍待证明。可靠性是部署SSD到商业系统的障碍。flash芯片还具有三个关键的技术限制：不能就地覆盖，写一个page之前必须擦除整个block；不能随机写，一个block内的 阅读全文

摘要：这几天一直在找bug。我的测试数据集是116个linux源码的打包文件（未压缩），116个文件差不多50GB的数据。原型系统是完美重删，应该可以发现所有的重复数据。但是我连续备份两次数据集（分别称为job1和job2），发现总会漏掉很小一部分（50GB的数据量，漏掉若干KB，大概就是几个数据块）的重复数据。到底是哪里出现了问题？在检查了几遍原型的逻辑后，没有发现错误，对几个小数据集的测试也显示完全正确（重删率和恢复出的数据都是对的）；将哈希表和SHA1全部改用成熟的Gnome Library和openssl后，问题依旧；重复试验，出问题的文件会变化，说明和数据集本身无关。于是开始使用md5su 阅读全文

摘要：实验服务器的磁盘是最近买的，当卖家问我要普通的还是高级的， 我选择了普通，现在追悔莫及。今天的分析更加详细。首先发现每次实验，出错的文件都不一样，所以应该不是临界条件的问题。下表总结了出错的位置，原始数据是数据的正确格式，第一次备份和第二次备份分别代表两次连续备份，我恢复出两次备份的数据与原始数据进行比较，发现错误都是某个字符发生了变化：文件名原始数据第一次备份第二次备份linux-2.6.34.1.tar;;?linux-2.6.34.5.taraaelinux-2.6.35.1.tar(space)(space)$linux-2.6.35.2.taruuwlinux-2.6.35.3.ta 阅读全文

摘要：这篇文章有几个特点：第一是难懂，所谓Pastiche就是东拼西凑，涉及到很多别的技术，作者又没有一一详细解释，因此理解这篇文章俺是费了不少劲的；第二是“新颖”，其实这是篇古董文章，02年发表在OSDI，作者既没有完整实现一个系统，也没有很系统的实验，却能发表在A类会议上，我只能说作者的观察很独特。Pastiche描绘的是一个廉价的、p2p网络备份系统，它利用用户的剩余磁盘空间互相提供数据保护。遗憾的是，直到10年后的今天我也没有看到一个成熟的实现（也许是我孤陋寡闻）。但是因为很喜欢这个idea，还是决定发一篇博文。关于整个系统如何运转涉及太多细节，不一一描述，只在此记录下几个关键点。1. 观察 阅读全文