2017 年 4月随笔档案 - 无尽的缥缈

转：聊聊Greenplum的那些事

摘要：笔者有幸从04年就开始从事大规模数据计算的相关工作，08年作为Greenplum 早期员工加入Greenplum团队（当时的工牌是“005”，哈哈），记得当时看了一眼Greenplum的架构（嗯，就是现在大家耳熟能详的那个好多个X86框框的图），就义无反顾地加入了，转眼之间，已经到了第8个年头。在阅读全文

posted @ 2017-04-28 13:42 无尽的缥缈阅读(15223) 评论(1) 推荐(4)

转:MySQL索引原理及慢查询优化

摘要：来自:http://tech.meituan.com/mysql-index.html MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸阅读全文

posted @ 2017-04-28 10:09 无尽的缥缈阅读(281) 评论(0) 推荐(0)

转:基于Flume的美团日志收集系统(一)架构和设计

摘要：美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收阅读全文

posted @ 2017-04-27 18:55 无尽的缥缈阅读(415) 评论(0) 推荐(0)

转:大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

摘要：虽然比较久，但是这套架构已经很成熟了，记录一下一般数据流向，从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1）.数据采集负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添阅读全文

posted @ 2017-04-27 17:09 无尽的缥缈阅读(420) 评论(0) 推荐(0)

mongDB网址

摘要：http://www.cnblogs.com/huangxincheng/archive/2012/02/18/2356595.html 阅读全文

posted @ 2017-04-27 16:49 无尽的缥缈阅读(157) 评论(0) 推荐(0)

转：A/B测试：实现方法

摘要：概念：http://www.aliued.cn/2010/09/13/ab-testing-basic-concept.html 我们先来看一个图：（注：感谢Algo提供本图。）上图展示了 A/B 测试的实现原理。从左到右，四条较粗的竖线代表了 A/B 测试中的四个关键角色：客户端（Client 阅读全文

posted @ 2017-04-27 11:33 无尽的缥缈阅读(293) 评论(0) 推荐(0)