上一页 1 2 3 4 5 6 7 8 ··· 55 下一页
摘要: 本文将主要介绍一些常见的全局主键生成策略,然后重点介绍flickr使用的一种非常优秀的全局主键生成方案。关于分库分表(sharding)的拆分策略和实施细则,请参考该系列的前一篇文章:数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 本文原文连接:http://blog.csdn... 阅读全文
posted @ 2014-08-07 10:01 弹着钢琴设计 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 垂直切分的粒度指的是在做垂直切分时允许几级的关联表放在一个shard里.这个问题对应用程序和sharding实现有着很大的影响.关 联打断地越多,则受影响的join操作越多,应用程序为此做出的妥协就越大,但单表的路由会越简单,与业务的关联性会越小,就越容易使用统一机制处理.在 此方向上的极端方案是:... 阅读全文
posted @ 2014-08-07 10:00 弹着钢琴设计 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 系统经sharding改造之后,原来单一的数据库会演变成多个数据库,如何确保多数据源同时操作的原子性和一致性是不得不考虑的一个问题。总体上看,目 前对于一个分布式系统的事务处理有三种方式:分布式事务、基于Best Efforts 1PC模式的事务以及事务补偿机制。我们下面对这三种处理方式一一进行分析... 阅读全文
posted @ 2014-08-07 09:15 弹着钢琴设计 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 在最近做的一个项目中,由于每天核算的数据量过于庞大,需要把数据库进行分库保存。当数据分散到各个库之后,带来的数据更新操作就会存在一个一致性和完整性的问题。下面是一个典型的场景假设目前存在三个物理库,现在有一个文件,里面有1W条数据,根据分库的规则,可以把文件里面的数据分到三个库中,现在需要保证这1W... 阅读全文
posted @ 2014-08-07 09:14 弹着钢琴设计 阅读(322) 评论(0) 推荐(0) 编辑
摘要: 今天在iteye上提了一个关于++操作和线程安全的问题,一位朋友的回答一言点醒梦中人,至此我对Java线程锁有了更加深刻的认识。在这里也做个总结供大家参考。 先看几段代码吧! 代码一:[java] view plaincopypublicclassTestMultiThread2implements... 阅读全文
posted @ 2014-07-30 08:59 弹着钢琴设计 阅读(274) 评论(0) 推荐(0) 编辑
摘要: 为啥RESTFULL如此重要?2014-6-3 20:13| 发布者: admin| 查看: 57| 评论: 0|来自: java365摘要: 本文我们将讨论REST,它定义了一组体系架构原则,您可以根据这些原则设计以系统资源为中心的Web服务,这是一个非常容易让人误解的概念。本文主要是写给那些想设... 阅读全文
posted @ 2014-07-29 16:28 弹着钢琴设计 阅读(2385) 评论(0) 推荐(0) 编辑
摘要: 首先要推荐一下:http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程,强烈推荐先读一下。不过,上文没有写明一些实现的细节,比如:spill的过程,mapper生成文件的 partiti... 阅读全文
posted @ 2014-07-29 11:01 弹着钢琴设计 阅读(470) 评论(0) 推荐(0) 编辑
摘要: Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解 MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRed... 阅读全文
posted @ 2014-07-29 10:43 弹着钢琴设计 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 使用了几个月的hadoopMR,对遇到过的性能问题做点笔记,这里只涉及job的性能优化,没有接触到hadoop集群,操作系统,任务调度策略这些方面的问题。hadoop MR在做大数据量分析时候有限的计算资源情况下只能不断的优化程序。优化可以从两个方面进行:1.hadoop配置2.程序代码程序代码包括... 阅读全文
posted @ 2014-07-24 16:57 弹着钢琴设计 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 《大 数据技术丛书:Hadoop应用开发技术详解》共12章。第1~2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置;第3章是 MapReduce的使用入门,让读者了解整个开发过程;第4~5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O;第6章分析了 MapReduce的工... 阅读全文
posted @ 2014-07-24 11:14 弹着钢琴设计 阅读(305) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 55 下一页