会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
zhanlijun
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
下一页
2015年4月12日
lucene如何通过docId快速查找field字段以及最近距离等信息?
摘要: http://www.cnblogs.com/LBSer/p/4419052.html1 问题描述 我们的检索排序服务往往需要结合个性化算法来进行重排序,一般来说分两步:1)进行粗排序,这一过程由检索引擎快速完成;2)重排序,粗排序后将排名靠前的结果发送给个性化服务引擎,由个性化服务引擎进行深度...
阅读全文
posted @ 2015-04-12 09:31 zhanlijun
阅读(6381)
评论(0)
推荐(2)
2015年4月11日
jvm间歇性崩溃分析
摘要: http://www.cnblogs.com/LBSer/p/4417148.html1 问题描述 某服务有两台机器,每隔几天会报警load高,一开始看监控发现gc时间抖动很大,以为是发生了fullgc引起卡顿而未加注意,之后登入线上机器查看日志发现是jvm崩溃导致了服务重启从而引发gc时间...
阅读全文
posted @ 2015-04-11 10:42 zhanlijun
阅读(5077)
评论(1)
推荐(1)
地图点聚合优化方案
摘要: http://www.cnblogs.com/LBSer/p/4417127.html一、为什么需要点聚合 在地图上查询结果通常以标记点的形式展现,但是如果标记点较多,不仅会大大增加客户端的渲染时间,让客户端变得很卡,而且会让人产生密集恐惧症(图1)。为了解决这一问题,我们需要一种手段能在用户有...
阅读全文
posted @ 2015-04-11 10:29 zhanlijun
阅读(19980)
评论(6)
推荐(7)
lucene join解决父子关系索引
摘要: http://www.cnblogs.com/LBSer/p/4417074.html1 背景 以商家(Poi)维度来展示各种服务(比如团购(deal)、直连)正变得越来越流行(图1a), 比如目前美食、酒店等品类在移动端将团购信息列表改为POI列表页展示。 图1 a:商家维度展...
阅读全文
posted @ 2015-04-11 09:58 zhanlijun
阅读(4400)
评论(6)
推荐(2)
2014年11月28日
大数据计算模型使用小结(持续添加)
摘要: MPI 用MPI处理栅格(图像)数据,由于使用MPI过于复杂,因此实现了基于MPI的适用于地理栅格数据处理的并行编程模型,具体参考:一种支持多种并行环境的栅格地理计算并行算子。CUDA 用CUDA处理过图像数据,在带有gpu的普通笔记本上实现了十几倍的加速比。具体参考:多流向算法GPU并行化。M...
阅读全文
posted @ 2014-11-28 23:02 zhanlijun
阅读(949)
评论(0)
推荐(0)
spark job运行参数优化
摘要: http://www.cnblogs.com/LBSer/p/4129481.html一、问题 使用spark join两张表(5000w*500w)总是出错,报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWri...
阅读全文
posted @ 2014-11-28 22:08 zhanlijun
阅读(5763)
评论(4)
推荐(1)
2014年11月24日
lucene字典实现原理
摘要: http://www.cnblogs.com/LBSer/p/4119841.html1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能,即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就...
阅读全文
posted @ 2014-11-24 22:51 zhanlijun
阅读(17614)
评论(5)
推荐(7)
2014年11月8日
接口限流实践
摘要: http://www.cnblogs.com/LBSer/p/4083131.html一、问题描述 某天A君突然发现自己的接口请求量突然涨到之前的10倍,没多久该接口几乎不可使用,并引发连锁反应导致整个系统崩溃。如何应对这种情况呢?生活给了我们答案:比如老式电闸都安装了保险丝,一旦有人使用超大功...
阅读全文
posted @ 2014-11-08 12:47 zhanlijun
阅读(27131)
评论(3)
推荐(10)
2014年11月2日
lucene索引文件大小优化小结
摘要: http://www.cnblogs.com/LBSer/p/4068864.html 随着业务快速发展,基于lucene的索引文件zip压缩后也接近了GB量级,而保持索引文件大小为一个可以接受的范围非常有必要,不仅可以提高索引传输、读取速度,还能提高索引cache效率(lucene打开索引文件...
阅读全文
posted @ 2014-11-02 11:23 zhanlijun
阅读(9207)
评论(4)
推荐(5)
2014年10月12日
基于朴素贝叶斯的定位算法
摘要: http://www.cnblogs.com/LBSer/p/4020370.html1 定位背景介绍 一说到定位大家都会想到gps,然而gps定位有首次定位缓慢(具体可以参考之前的博文《LBS定位技术》)、室内不能使用、耗电等缺陷,这些缺陷大大限制了gps的使用。在大多数移动互联网应用例如go...
阅读全文
posted @ 2014-10-12 12:17 zhanlijun
阅读(14062)
评论(3)
推荐(2)
上一页
1
2
3
4
5
下一页
公告