水至清则无鱼

摘要： 工作中总用到需要发送邮件的情形，但是每次都需要一个smtp服务器来转发，他们仅仅是转发而已为了一个简单的邮件还要弄个邮件服务器太麻烦了，Postfix不会装，sendmail也不熟悉。而且如果公司的邮件服务器不稳定（别说你没碰到），总是能遇到邮件发送延迟，甚至丢失的情况干嘛不自己伪造个协议，跳过通过smtp服务器这一层呢？而且可以模拟任何人给任何人发送邮件（虽然可以，但是鄙视发垃圾邮件的人）。如果你的邮件地址是a@host.com，而你要用这个邮箱发送一封邮件到to@tohost.com，你需要连接到服务器host.com上，当然这个连接可能需要认证，现在基本上都要验证，然后是发送邮件到服务器 阅读全文

摘要： 术语解释：Lucene:是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。二分查找: 二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按 阅读全文

摘要： hive的查询跟普通的hadoop mapreduce没有什么大的区别，都是对原始数据的暴力扫描，如果能够像数据库那样，使用索引，那么数据扫描的速度将会大幅度提升上次在mapreduce上使用了索引，这次在这个基础上拓展到hive里（实际上也是一个特殊的inputformat），使用示例参见如下一、创建索引（这个没啥好说的，直接看后面的源码吧）hadoop jar ./higo-manager-1.3.1-SNAPSHOT.jar com.alipay.higo.hadoop.sequenceIndex.SequenceIndexExample create /group/tbdev/ling 阅读全文

摘要： 下面正式介绍公平调度器的层次调度算法，大的思想与Capacity Scheduler类似，首先选择一个pool，然后从该pool中选择一个job，最后从该job中选择一个locality的task。其中，选择pool和job的策略相同，均采用了FairShareComparator比较器对pool或者job进行排序，然后从头到尾扫描队列，选出合适的pool或者job。选择pool时的方法：When we sort pools to choose which ones to schedule next, we place pools below their min share ahead of 阅读全文