摘要：
之前在学习mapreduce 的过程中一直不能够完全准确的理解shuffle，partition，combiner的作用，其实简单来说：shuffle： 是描述着数据从map端传输到reduce端的过程，而且我们知道的是hadoop的集群环境中，大部分map task和reduce task是在不同的node上执行，主要的开销是网络开销和磁盘IO开销，因此shuffle的主要作用相当于是 1.完整的从map task端传输到reduce task端。 2.跨节点传输数据时，尽可能减少对带宽的消耗.（注意是reduce执行的时候去拉取map端的结果） 3.减少磁盘IO开销对task的影... 阅读全文
阅读排行榜
[置顶] 视频网站:一炷香后即将为您播放精彩内容
2012-11-17 02:18 by java20130722, 239 阅读, 收藏,
摘要：
当所有视频网站都在加长广告时间来获得更多收益的时候，45秒的广告已经见怪不怪了。。。也许视频网站盈利也别无他法。于是，广告从最早的5秒，变成了10秒，然后是30秒，45秒，，，更过分的还有1分钟的。。。最夸张的一次，我看的一个视频大概就20秒，广告居然放了45秒。。。试想，这样的情况下，视频网站的访问者，对于正在推销的产品，会有怎么样的想法？哇靠！又是XXX公司的广告！正宗好凉茶，正中好声音，，，你妹啊，不过是看下一集，怎么又是45秒？长广告、短广告像上面那样动不动就很长的广告会对产品宣传产生正面的宣传效应吗？当所有网站都在通过做长广告增加收入的时候，有没有视频网站是想过通过和客户合作，通过做 阅读全文
Gson 使用简介
2012-09-12 15:23 by java20130722, 239 阅读, 收藏,
摘要：
这个网页通过正常的手段是访问不到的， 为了大家能够方便的学习Gson。 因此将原文应用到此。OverviewGson is a Java library that can be used to convert Java Objects into their JSON representation. It can also be used to convert a JSON string to an equivalent Java object. Gson is an open-source project hosted athttp://code.google.com/p/google-gso 阅读全文
Chapter04-进程终止
2012-04-08 23:33 by java20130722, 239 阅读, 收藏,
摘要：
一个进程终止的四种方式：基线程(primary thread)的入口函数自动返回.例如通常的main函数返回。在基线程的入口函数退出时必须确保：所有的该线程创建的C++对象都调用了对应的析构函数。操作系统已经释放了所有申请的线程堆栈。系统在入口函数的返回值中甚至了退出代码值(exit code)系统将减少进程内核对象(process kernel object)的引用值(usage count)在进程的一个线程中调用ExitProcess函数。 如果进程正常地从基线程(primary thread)的入口函数退出，则会自动清理和释放 资源。但是如果直接调用ExitProcess函数则就是... 阅读全文
基于事件的 NIO 多线程服务器
2013-07-22 17:39 by java20130722, 238 阅读, 收藏,
摘要：
JDK1.4 的 NIO 有效解决了原有流式 IO 存在的线程开销的问题，在 NIO 中使用多线程，主要目的已不是为了应对每个客户端请求而分配独立的服务线程，而是通过多线程充分使用用多个 CPU 的处理能力和处理中的等待时间，达到提高服务能力的目的。多线程的引入，容易为本来就略显复杂的 NIO 代码进一步降低可读性和可维护性。引入良好的设计模型，将不仅带来高性能、高可靠的代码，也将带来一个惬意的开发过程。线程模型NIO 的选择器采用了多路复用（Multiplexing）技术，可在一个选择器上处理多个套接字， 通过获取读写通道来进行 IO 操作。由于网络带宽等原因，在通道的读、写操作中是容易出现 阅读全文
浙公网安备 33010602011771号