zhanlijun

摘要： http://www.cnblogs.com/LBSer/p/4419052.html1 问题描述 我们的检索排序服务往往需要结合个性化算法来进行重排序，一般来说分两步：1）进行粗排序，这一过程由检索引擎快速完成；2）重排序，粗排序后将排名靠前的结果发送给个性化服务引擎，由个性化服务引擎进行深度... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4417148.html1 问题描述 某服务有两台机器，每隔几天会报警load高，一开始看监控发现gc时间抖动很大，以为是发生了fullgc引起卡顿而未加注意，之后登入线上机器查看日志发现是jvm崩溃导致了服务重启从而引发gc时间... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4417127.html一、为什么需要点聚合 在地图上查询结果通常以标记点的形式展现，但是如果标记点较多，不仅会大大增加客户端的渲染时间，让客户端变得很卡，而且会让人产生密集恐惧症（图1）。为了解决这一问题，我们需要一种手段能在用户有... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4417074.html1 背景 以商家（Poi）维度来展示各种服务（比如团购（deal）、直连）正变得越来越流行（图1a）， 比如目前美食、酒店等品类在移动端将团购信息列表改为POI列表页展示。 图1 a：商家维度展... 阅读全文

摘要： MPI 用MPI处理栅格（图像）数据，由于使用MPI过于复杂，因此实现了基于MPI的适用于地理栅格数据处理的并行编程模型，具体参考：一种支持多种并行环境的栅格地理计算并行算子。CUDA 用CUDA处理过图像数据，在带有gpu的普通笔记本上实现了十几倍的加速比。具体参考：多流向算法GPU并行化。M... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4129481.html一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWri... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4119841.html1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4083131.html一、问题描述 某天A君突然发现自己的接口请求量突然涨到之前的10倍，没多久该接口几乎不可使用，并引发连锁反应导致整个系统崩溃。如何应对这种情况呢？生活给了我们答案：比如老式电闸都安装了保险丝，一旦有人使用超大功... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4068864.html 随着业务快速发展，基于lucene的索引文件zip压缩后也接近了GB量级，而保持索引文件大小为一个可以接受的范围非常有必要，不仅可以提高索引传输、读取速度，还能提高索引cache效率（lucene打开索引文件... 阅读全文

摘要： http://www.cnblogs.com/LBSer/p/4020370.html1 定位背景介绍 一说到定位大家都会想到gps，然而gps定位有首次定位缓慢（具体可以参考之前的博文《LBS定位技术》）、室内不能使用、耗电等缺陷，这些缺陷大大限制了gps的使用。在大多数移动互联网应用例如go... 阅读全文