摘要：
我所在公司所使用的生产Hive环境的几个参数配置如下：dfs.block.size=268435456hive.merge.mapredfiles=truehive.merge.mapfiles=truehive.merge.size.per.task=256000000mapred.map.tasks=2因为合并小文件默认为true，而dfs.block.size与hive.merge.size.per.task的搭配使得合并后的绝大部分文件都在300MB左右。CASE 1：现在我们假设有3个300MB大小的文件，那么goalsize = min(900MB/2,256MB) = 256MB 阅读全文
阅读排行榜
浏览器总是提示验证码输入错误
2012-09-06 22:34 by java20130722, 556 阅读, 收藏,
摘要：
今天在用浏览器的时候，发现每个网站当我输入正确的用户名/密码/验证码之后老是提示说验证码错误，我就纳了闷了，怎么回事，所有的网站都这样子，后来在用QQ邮箱登录的时候，QQ邮箱网页提示我可能设置禁用了cookie，后来在浏览器进行设置就可以了。具体的设置网上有不少教程，我就不赘述了，在此向大家提示这个问题，自己也以备后用。 阅读全文
组合，聚合，关联，依赖 的区别
2013-04-07 15:45 by java20130722, 551 阅读, 收藏,
摘要：
组合，聚合，关联，依赖 的区别依赖与关联依赖(Dependency) :含义:是类与类之间的连接,表示一个类依赖于另外一个类的定义;依赖关系仅仅描述了类与类之间的一种使用与被使用的关系;体现:在Java和C++中体现为局部变量、方法/函数的参数或者是对静态方法的调用;举例:人依赖于水和空气；汽车依赖汽油；UML图表示的依赖关系：依赖：比如说我要过河，没有桥怎么办，我就去借来一条小船渡过去。我与小船的关系仅仅是使用（借用）的关系。表现在代码上，为依赖的类的某个方法以被依赖的类作为其参数。或者是class A 的某个方法创造了 class B 的实例抑或对class B的静态方法的调用。如果A依赖 阅读全文
REST和认证
2013-07-22 01:09 by java20130722, 550 阅读, 收藏,
摘要：
REST和认证我们在设计REST(Representational State Transfer)风格的Web service API,有一个问题经常要考虑，就是如何设计用户认证的体系(Authentication).比较传统的做法是首先有一个登陆的API，然后服务器返回一个session ID,后续的操作客户端都必须带上这个session ID，但是这样的，服务就变成了有状态了，不符合REST风格的原则。另外，由于负载均衡的存在，必须有公共存储来保存用户的Session，这也增加了系统的复杂度。所以比较好的做法是每次都传递认证信息，这样系统就是无状态的，当然由于每次都需要认证，必然降低了一些 阅读全文
Lucene Payload 的研究与应用
2013-07-18 10:06 by java20130722, 547 阅读, 收藏,
摘要：
简介 Payload(元数据)诞生于Lucene的2.2版本，它是在Lucene2.1索引文件格式的基础上扩展而来，提供了一种可以灵活配置的高级索引技术，在某些特定应用场景下能优化基于Lucene构建的应用的搜索性能。本文重点研究了Payload的实现原理、索引结构的变化、接口API，在本文的最后举例说明了Payload是如何帮助改善搜索体验的。 Lucene是最初是由DouglassR.Cutting博士发布在自己主页上的一个Java全文信息检索工具包，后来成为ApacheJakarta家族中的一个开源项目，目前已经成为Apache基金会的顶级项目。索引是现代搜索引擎的核心，建立索引的过程就 阅读全文
浙公网安备 33010602011771号