大凯哥说大数据(系列一)：没有云计算就没有大数据

本文作者：肖凯，驻云科技COO，联合创始人，前IBM资深架构师，前EMC资深架构师。负责驻云云计算架构和运维团队，面向企业提供云计算咨询与运维服务，拥有超过10年的系统开发、架构设计、企业级技术咨询的经验。

以下正文

最近很多人跟我聊大数据，有客户，有朋友，还有应聘者。聊得越多却越怕谈大数据，为什么呢？比如有人跟我说他在做基因数据的大数据分析，我听到眼睛一亮，因为十几年前读书的时候做过一些基因序列分析方面的事情，知道这个很有价值但由于当时分析手段很落后也只得作罢，于是我赶紧问，你怎么分析？他说我把几千个人的基因数据片段拆分为多个维度，根据病例基因样本，放到Excel里XXXXX......

我顿时一口鲜血，#@%^#&^@#*......

这个例子虽然有些夸张，不过确实也能反应现在跟别人聊大数据时的困惑，做报表的说我做大数据分析，做工具的也说我做大数据分析。

那到底什么是大数据分析呢？

大数据分析应该至少具备三个特征：1. 客观 2. 实时 3. 多维

什么是客观？ 比如我们要分析一群人当中哪些可能有抑郁或自杀倾向， 使用调查问卷是过去常见的手段，但调查问卷看起来是客观的，实际上却颇有偏颇。因为人在做问卷的时候本身就会根据问题本身进行一些主观倾向性的回答，并不一定是客观的。那么什么是客观的呢？这个人的日常行为、作息时间、朋友关系等，这些都是客观的数据。只有通过客观数据得到的结果才是准确的。如果数据不是客观数据，分析手段就算再先进，结果也不会太准确。

什么是实时？数据是有价值的，但是数据在不同时间段价值差别就非常大了，过了黄金时间段，数据就成垃圾。比如警察叔叔在抓捕逃犯时的交通监控数据，会随着时间的推移价值越来越低。再比如我们春晚时参与抢红包互动的用户访问情况和分布数据，过了那几个小时，业务上所期望带来的广告价值就成为0了。

什么是多维？事物有多个维度，比如我们要分析一个人的征信情况来判断借款给这个人的风险是多少？只是收集他的收入情况、公司、学历、历史银行还款记录等基本信息是不够的。实际上一个人除了这些数据维度，还有更广阔的维度，比如他的消费习惯、购物情况、朋友数量和分布、所在公司的状况等等。所以数据一定要有足够多的维度分析才更精确，更有价值。

说完这些可能有同学就会问了，你说的这几点在人类历史中，计算机出现以来都一直存在啊，为什么10年前没有大数据分析，最近几年大数据分析才热门起来呢？

没错，其实数据一直都在人类社会活动中不停地产生，大数据一直都存在，那么为什么今天我们才发现大数据的价值呢？有人问数据到底有没有价值？答案一定是有的，但是挖掘数据价值的投入产出比就不好说了。因为可能分析数据要100元，但是产生的结果价值也许只有50元。

这就是为什么以前人们上网、购物、玩游戏，产生的数据也很多，但是大部分的数据都没有产生价值，因为以前开采数据价值的代价太高了。进行数据分析的前提一定是要有低廉的存储成本和大规模的计算资源，以及高效的技术手段。这样才能通过20元的投入来获得50元的数据价值。

传统的IT手段解决不了这些问题，所以以前有大数据，但是并没有大数据分析，也很少有人从海量数据中得到太多的价值。其实数据的价值就像页岩油，一直都在那里，也是有价值的，但是当技术手段不成熟时，页岩油就是没有价值。直到“ 水平井与压裂技术 ”的出现和完善，使得开采页岩气的效率和成本大幅下降，造就了目前的页岩气能源革命，也引起了石油价格大幅下跌。云计算就相当于是页岩气革命中的“水平井与压裂技术”。因为云计算技术的出现帮助我们解决了海量存储和大规模计算的问题，这才有了大数据分析。

在传统IT架构下，很多的日志、用户行为记录、交易过程信息，要么是根本没有记录，要么就是因为无法有效产生价值而把这些数据都丢弃掉了。往往一个企业的交易相关数据量也就是几百GB到几个TB而已(视频和图片除外)

所以一个企业连数据都没有多少，怎么做大数据分析？

那么要想通过大数据分析来产生业务价值，第一步要做的是什么呢？其实不是去想怎么分析，而是先规划好数据的收集，只有先存储了足够多的数据，数据的价值才能够从量变到质变，从而为业务带来价值。就比如现在很多互联网公司收集用户行为以及交易状态数据，然后通过实时或者准实时的分析，再迅速调整业务策略来提高商品销量。

所以如果希望通过大数据的分析手段来获取数据价值，首先要解决海量数据的存储问题以及必须具备大规模计算的能力，有了这两个武器，数据的价值才能够高效的发掘。

好啦~本文到这里就结束了，同时，如果喜欢我们的话就赶紧订阅我们吧~~~每天定时推送新鲜干货~~~也可以关注我们的微信公众号：架构云专家频道 每天同步更新哟~~~