摘要：Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数，当一个job提交时，jobclient首先分析job被拆分的split数量，然后吧job.split文件放置在HDFS中，一个job的MapTas... 阅读全文

摘要：随着大数据时代的到来，合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一。经常有人问我，如何为成长型公司的大型系统部署存储架构，尤其是当这些大型系统承载视频、音频、或社交类网站时，该如何构建存储架构？以下介绍一些我们常选择的方法及各自的优点。构建存储架构时，要考虑许多问题，最明显的如存储容量、访问速度、缓存选择方案、服务器共享方式、访问协议及访问方法、安全及备份等等。首先，我们认为最好的存放地址是存放在云中，这些服务存放在云中会很安全，如Amazon S3，阿里云OSS，或 Qiniu’s 的动态系统。但是，若你是自己想存储数据的话，你可以选择不同类型的存储容量。DAS 阅读全文

摘要：1 【引题】 但凡写过技术方案的都知道，在技术方案最终落实到工程实施部署时，必须编制出当前解决方案需要部署的IT设备及环境，包括：需要的网络环境、端口、带宽、组网方式、网络安全保障措施；需配置的服务器设备性能、数量；需配置的存储数据存储设备、容量、存储速率；甚至还需考虑整个系统的备份设备容量、备份I/O数、速率、备份策略等。 严格说来，无论是系统厂商、集成公司、还是研究院、设计公司，在最终提供方案的硬件配置时，都应该以业务需求为依据、适当考虑客户业务的发展趋势和系统冗余，详细估算：当前业务需求对网络带宽、对处理能力、对数据存储容量的指标。因此，本文以自己的项目案例和经验为基础，简述计算机处.. 阅读全文