淘宝打折  62折  淘宝折扣
随笔-53  评论-451  文章-0  trackbacks-4

最新评论

共23页: 1 2 3 4 5 6 7 8 9 下一页 末页 
Re:10亿记录的分区讨论,高手进 Ray Wu 2012-05-22 14:39  
@吴峰 嗯 非常感谢你的回复。 我现在是考虑将统计结果作为XML保存到磁盘去。这样之前的问卷基本上不会再有答卷增加,统计结果以后可以直接从磁盘读取。 统计结果写到内存去怕不保险。
Re:10亿记录的分区讨论,高手进 吴峰 2012-05-22 10:43  
@Ray Wu 如果不用按被调查者的一些属性统计的话,加个表: QID 问卷ID TID 题目ID AID 答案ID Count 选择次数 如果数据真的很大,不能承受多这点的读写,就把 QID 问卷ID,TID 题目ID,AID 答案ID 做联合Key, 在内存里加次数,定时写到数据库。 我想这些信息仅在被调查者提交的时候做,影响应该不会特别大。 如果业务比较复杂,下面的更有灵活性点: 可以用一个服务专门分析统计结果,因为一般来说调查的东西被调查者写好了,就有结果了,静态化了,不会再更改。 在用户的答案结果表上加几个标识,标识哪些类型的统计是统计过的,哪些没有统计过,当所有的统计类型都被统计服务跑完成,和这条数据相关的所有统计结果就完成了,相当于说这个数据作用已经不大了,移动到历史表,当前表只存活动的,还有没统计完的任务的数据。 相当于预先统计,跑结果,这么大的表,千万不要运行时动态统计。 仅供参考。
Re:10亿记录的分区讨论,高手进 Ray Wu 2012-05-22 10:25  
@吴峰 我需要按问卷进行统计,统计每道题的选项被选择的次数,如有多少用户选择了男性,有多少用户选择了女性。
Re:10亿记录的分区讨论,高手进 吴峰 2012-05-22 10:17  
楼主得说清楚“经常需要做统计分析”, 是怎么个统计分析法才行,需要业务场景。要具体点的,按月,按年,按调查者,按被调查对象,还是只统计个总数。
Re:腾讯被打残吧,360去死吧 LOLj 2012-03-07 15:10  
[quote]夜闻香: [quote]Ray Wu: @shenjk 呵呵,其实有竞争是好事,只是360太惧怕竞争了,总是喜欢走偏门来打击对手[/quote] 360剑走偏门攻击对手不假 但QQ结党营私颠倒是非也不少 至少以目前的情况,我支持360多一些 如果现在不限制QQ,那么QQ的流氓行为将会越来越肆无忌惮 开QQ就显示新闻首页那个窗口你恶心不恶心? 为了打击360,这几天QQ天天弹窗体告360,这算不算流氓行为? 还有偷偷扫描用户文件这种事情大家几年前就知道了,但是软件业各人自扫门前雪不管他人瓦上霜,没有揭发而已。 目前360阵营的盛大、搜狐一类,都是疼逊抄袭其游戏、降低其广告收入的网游、咨询公...[/quote] 我挺喜欢那个QQ新闻的窗口。真不明白怎么在你眼里就是恶心的东西了。。
好像EnyimMemcachedProvider没有实现接口吧?
@Ray Wu 还得自己写一堆的维护代码。烦人。。
[quote]lcs-帅: @Ray Wu 我们的项目要求永不过期,所以………………[/quote] 那这个可能没有很好的办法 一般而言也很难达到永不过期的效果,因为服务器要重启之类的。
@Ray Wu 我们的项目要求永不过期,所以………………
[quote]lcs-帅: @Ray Wu 缓存是失效了,可是并没有删除呀。还是在内存中放着。[/quote] 每个缓存都有一个有效期,过了有效期以后就会被删除了。
@Ray Wu 缓存是失效了,可是并没有删除呀。还是在内存中放着。
[quote]lcs-帅: @Ray Wu 这个版本号是什么意思?能详细讲一下吗?或着给点资料了解下。[/quote] 你可以把版本号加在key里面,当你升级版本号时,以前的KEY对应的缓存条目将会无效。
@Ray Wu 这个版本号是什么意思?能详细讲一下吗?或着给点资料了解下。
@webaspx @不能飚车 谢谢支持!
学习了!文章不错。
这个想法不错~
@Virus-BeautyCode 谢谢
[quote]YLH:Memcached为了高性能而设计,功能少了很多。 如果内存不吃紧的话,批量删除缓存项,可以采用设置key分区,为分区加上版本号来解决。要批量删除一个分区的缓存,只需要升级一下缓存分区的版本号即可。目前我们在项目中就是采用这种方案。[/quote] 嗯 这个方案比较好 通过版本号来解决,版本号可以放在配置文件里面,只要改配置文件就行了。 没有实现不了的,只有想不到的,非常感谢!
Memcached为了高性能而设计,功能少了很多。 如果内存不吃紧的话,批量删除缓存项,可以采用设置key分区,为分区加上版本号来解决。要批量删除一个分区的缓存,只需要升级一下缓存分区的版本号即可。目前我们在项目中就是采用这种方案。
我欣赏会思考的人,不要管其他人怎么说。
共23页: 1 2 3 4 5 6 7 8 9 下一页 末页