摘要: 需求:mysql分组排序,1、取最大(小)前N位,2、取中位数本例以shop_id和cat_id字段共同分组,并对最细粒度的分组cat_id降序排列原始表:2、mysql分组排序(含组内排名)SELECT a.shop_id,a.cat_id, a.price, count(*) as rankFR... 阅读全文
posted @ 2015-07-07 16:28 MERRU 阅读(6936) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/wangpeng047/article/details/19624529Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求... 阅读全文
posted @ 2015-07-07 16:25 MERRU 阅读(200) 评论(0) 推荐(0) 编辑
摘要: http://www.importnew.com/12715.html更新:下面的代码使用Lucene 4.0版本!Lucene大大简化了在应用中集成全文搜索的功能。但实际上Lucene十分简单,我可以在五分钟之内向你展示如何使用Lucene。1. 建立索引为了简单起见,我们下面为一些字符串创建内存... 阅读全文
posted @ 2015-07-07 16:24 MERRU 阅读(91) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/tianlincao/article/details/68671271 lucene简介1.1 什么是lucene Lucene是一个全文搜索框架,而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用,它只... 阅读全文
posted @ 2015-07-07 16:23 MERRU 阅读(94) 评论(0) 推荐(0) 编辑
摘要: http://www.jcodecraeer.com/a/chengxusheji/java/2012/0610/240.html一直以来都希望自己做一个站内的搜索引擎,其实不一定是一个搜索引擎,关键是能分析网站数据的东西,java有很多开源的爬虫实现,但是开始还是从一个简单的里面了解其原理吧。总共... 阅读全文
posted @ 2015-07-07 16:19 MERRU 阅读(234) 评论(0) 推荐(0) 编辑
摘要: 实现搜索引擎功能时,HTML存于MySQL中,因此实现快照功能需要新建HTML页面(至少第一次需要新建)。http://blog.csdn.net/zhanghaotian2011/article/details/11575397原理跟用java生成jsp的servlet差不多。我们可以用print... 阅读全文
posted @ 2015-07-07 16:17 MERRU 阅读(827) 评论(0) 推荐(0) 编辑
摘要: Lucene5 实现搜索引擎功能,高亮代码package search.searchengine.cs.swjtu;import java.io.IOException; import java.nio.file.Path;import java.nio.file.Paths;import java... 阅读全文
posted @ 2015-07-07 16:15 MERRU 阅读(489) 评论(0) 推荐(0) 编辑
摘要: http://www.cnblogs.com/wzg0319/p/3678017.html搜索引擎(searchengine)也可以说是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、... 阅读全文
posted @ 2015-07-07 16:11 MERRU 阅读(459) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/hguisu/article/details/79961851. PageRank算法概述 PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链... 阅读全文
posted @ 2015-07-07 16:08 MERRU 阅读(200) 评论(0) 推荐(0) 编辑
摘要: http://www.cnblogs.com/kkgreen/archive/2012/03/25/2417036.html 就如同前面所说的, bash 命令执行的时候有输出的数据会出现! 那么如果这群数据必需要经过几道手续之后才能得到我们所想要的格式,应该如何来设定? 这就牵涉到管线命令的问题... 阅读全文
posted @ 2015-07-07 15:49 MERRU 阅读(220) 评论(0) 推荐(0) 编辑
摘要: gentle.blog.chinaunix.netCUBE与ROLLUP分析函数:--建立测试表CREATE TABLE GROUP_TEST(ID NUMBER,NAME VARCHAR2(10),VALUE NUMBER,REMARKS VARCHAR2(255));--表注释(加注释是因为我对... 阅读全文
posted @ 2015-07-07 15:48 MERRU 阅读(186) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://author... 阅读全文
posted @ 2015-07-07 15:47 MERRU 阅读(119) 评论(0) 推荐(0) 编辑
摘要: http://blog.163.com/wang_hai_fei/blog/static/309020312008728333912//etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.... 阅读全文
posted @ 2015-07-07 15:43 MERRU 阅读(97) 评论(0) 推荐(0) 编辑
摘要: http://www.hello-code.com/group/Hadoop/201407/1291.html说明:由于hadoop集群对时间要求很高,所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注:很多内容是在网上摘录,然后试验后总结,如有疑问可留言探讨。1.设置主机时间准... 阅读全文
posted @ 2015-07-07 15:39 MERRU 阅读(258) 评论(0) 推荐(0) 编辑
摘要: http://blog.sina.com.cn/s/blog_8c6d7ff60100zexn.html一、HBase Java API: 1. HbaseConfiguration 关系:org.apache.hadoop.hbase.HBaseConfiguration 作用:通过此类可以对HB... 阅读全文
posted @ 2015-07-07 15:37 MERRU 阅读(310) 评论(0) 推荐(0) 编辑
摘要: http://mrpengpengda.iteye.com/blog/1832595网上Hbase的介绍有很多,案例也不少。自己写了个Demo,进行一些简单的总结。HBase 常用类介绍。JAVA API 和 HBase数据库模型之间的关系JAVA 类Hbase 数据模型HBaseAdmin数据库(... 阅读全文
posted @ 2015-07-07 15:33 MERRU 阅读(231) 评论(0) 推荐(0) 编辑
摘要: http://www.open-open.com/lib/view/open1400644430159.html 阅读全文
posted @ 2015-07-07 15:29 MERRU 阅读(117) 评论(0) 推荐(0) 编辑
摘要: http://yugouai.iteye.com/blog/1908121窗口函数应用场景:(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询一、分析函数用于等级、百分点、n分片等。函数说明RANK()返回数据项在分组中的排名,排名相等会在名次中留下空位DENS... 阅读全文
posted @ 2015-07-07 15:24 MERRU 阅读(370) 评论(0) 推荐(0) 编辑
摘要: http://sis(URL被和谐)huok.com/forum/blogPost/list/6229.html;jsessionid=89F671F8FBD23C1162CF1908C56251C6第一部分:Hadoop 计算框架的特性 什么是数据倾斜 •由于数据的不均衡原因,导致数据分布不均匀,... 阅读全文
posted @ 2015-07-07 15:23 MERRU 阅读(144) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/longzilong216/article/details/21244985接触越多,越需要了解hive背后的理论知识以及底层的一些实现细节,会让用户更加高效地使用Hive --摘于HIVE 编程指南.----1 使用EXPLAIN 了解Hive是如何工... 阅读全文
posted @ 2015-07-07 15:21 MERRU 阅读(1141) 评论(0) 推荐(0) 编辑