Fork me on GitHub
摘要: 数据库做拆分的几种方式:1.按功能划分(垂直切分) 将不同功能相关的表放到不同的数据库中,这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围,就需要继续对其进行深入的再切分。 2.按表中某一字段值的范围划分(水平切分) 当伴随着某一个表的数据量越来越大,以至于不能承受的时候 阅读全文
posted @ 2016-05-16 11:36 程序优化 阅读(9702) 评论(0) 推荐(0) 编辑
摘要: 在hadoop测试集群运行job的过程中发现部分运行失败,有Cannot obtain block length for LocatedBlock,使用hdfs dfs -cat ${文件}的时候也报这个错,看过代码后发现是文件未被正常关闭(flume传到hdfs上的... 阅读全文
posted @ 2016-05-16 01:55 程序优化 阅读(631) 评论(0) 推荐(0) 编辑