大数据分析概述

大数据分析概述

• 大数据分析是什么 ？

      技术人员对老板谈大数据分析，经常说不清楚，那么对老板而言大数据分析是什么， 能解决什么问题 ？

       举个简单的例子来说明这个事情： 老A是一家工厂的老板，工厂里面有好多生产线。 为了提高工厂的生产效率老A想尽了办法，甚至从国际知名的公司挖了很多优秀的管理人员，但是结果都是来的一段时间感觉出一些效果，但是过一段时间效果就不明显了。这段时间智能工厂的概念比较热，据说能解决老A的问题。老A兴趣冲冲的找到行业的专家咨询，咨询过程如下：

       老A ：“您说智能工厂能解决我提高生产效率的问题吗 ？”

       专家：“我觉的能”

       老A ： “你们这些外行连我们生产工艺、流程都不知道，怎么能解决我们工厂的问题呢 ？”

       专家：“解决问题是靠你们自己”

       老A ： ? ? ?

       专家：“我能把你工厂生产的过程都放在你眼前，并且在异常的时候会提醒你，告诉你可能是哪地方造成效率不高的因素。你自己能解决问题了吗 ？”

       老A ： “能，只要让我看到问题在哪 ，我一定能解决问题”

 

      对技术人员来说大数据分析是什么呢 ？两个技术人员交谈如下：

      技术A ：我们有很多数据，好多个T、很多个P ；

      技术B ：你们的数据是怎么采集而来的 ，什么格式的， 怎么存储 ，要用什么模型进行分析 ？

      技术A ：网络爬虫、IOT平台、HDFS、Hadoop、Spark、回归、分类 ... ...

      通过这两个对话可以看出大数据分析对老板而言和对 技术人员而言完全是两个概念，技术人员经常无法把事情跟老板说清楚。是不是有遇到过这样的伤心事 ？ 哈哈，不管了，我是个技术人员，我们还是按照我们的文化来说大数据分析吧；

     大数据分析从技术上来说分为四层大的架构： 抓取 —— 存储 —— 计算 —— 展现

     由于数据量巨大，如果你不想一个月后就被开除，那么我们就不能几十天、几个月甚至是几年才出工作结果，因此从抓取、存储、计算都需要好的架构，速度快、容错好就看这些架构了。下面我就从这几个方面来写写我所理解的大数据分析的技术。