大数据概述与学习资源

1.了解微信、微博、小视频每天产生的数据量与数据类型

大数据的类型大致可分为三类:

1)传统企业数据(Traditionalenterprisedata):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。

2)机器和传感器数据(Machine-generated/sensor data):包括呼叫记录(CallDetail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。

3)社交数据(Socialdata):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。

时长:截止2020年1月,以用户移动互联网月使用时长计,腾讯系676亿小时,占全网42.9%;阿里系76亿小时,占全网4.8%;百度系90亿小时,占全网5.7%;头条系229亿小时,占全网14.5%;快手系80亿小时,占全网5.1%;其余合计424亿小时。BATTK自2015年至2020年一直保持着70%以上的时长市场份额

2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。

看着同行大多仍身陷库存泥潭,叶向阳庆幸自己选对了合作伙伴。

他的厦门育泰贸易有限公司与阿迪达斯合作已有13年,旗下拥有100多家阿迪达斯门店。他说,“2008年之后,库存问题确实很严重,但我们合作解决问题,生意再次回到了正轨。”

现在,叶向阳每天都会收集门店的销售数据,并将它们上传至阿迪达斯。收到数据后,阿迪达斯对数据做整合、分析,再用于指导经销商卖货。研究这些数据,让阿迪达斯和经销商们可以更准确了解当地消费者对商品颜色、款式、功能的偏好,同时知道什么价位的产品更容易被接受。

阿迪达斯产品线丰富,过去,面对展厅里各式各样的产品,经销商很容易按个人偏好下订单。现在,阿迪达斯会用数据说话,帮助经销商选择最适合的产品。首 先,从宏观上看,一、二线城市的消费者对品牌和时尚更为敏感,可以重点投放采用前沿科技的产品、运动经典系列的服装以及设计师合作产品系列。在低线城市, 消费者更关注产品的价值与功能,诸如纯棉制品这样高性价比的产品,在这些市场会更受欢迎。其次,阿迪达斯会参照经销商的终端数据,给予更具体的产品订购建 议。比如,阿迪达斯可能会告诉某低线市场的经销商,在其辖区,普通跑步鞋比添加了减震设备的跑鞋更好卖;至于颜色,比起红色,当地消费者更偏爱蓝色。

推动这种订货方式,阿迪达斯得到了经销商们的认可。叶向阳说:“我们一起商定卖哪些产品、什么产品又会热卖。这样,我们将来就不会再遇到库存问题。”

挖掘大数据,让阿迪达斯有了许多有趣的发现。同在中国南部,那里部分城市受香港风尚影响非常大;而另一些地方,消费者更愿意追随韩国潮流。同为一线城 市,北京和上海消费趋势不同,气候是主要的原因。还有,高线城市消费者的消费品位和习惯更为成熟,当地消费者需要不同的服装以应对不同场合的需要,上班、 吃饭、喝咖啡、去夜店,需要不同风格的多套衣服,但在低线城市,一位女性往往只要有应对上班、休闲、宴请的三种不同风格的服饰就可以。两相对比,高线城 市,显然为阿迪达斯提供了更多细分市场的选择。

3.大数据 人工智能 云计算 物联网 区块链的概念及相互关系。

大数据:任何形式产生的数据,有海量、多样、复杂等属性。

物联网:把任何物品与互联网连接起来进行信息交换,以实现智能化识别、定位、跟踪、监控和管理的一种网络,简言之物联网就是“物物相连的互联网”。

云计算:按使用量付费,提供可配置的共享资源,减少我们的开发、管理维护。

人工智能:人工智能英文缩写为AI,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

区块链:区块链是比特币的一个概念。是利用块链式数据结构来验证与存储数据。利用分布式节点共识算法,来生成和更新数据。利用密码学的方式,保证数据传输和访问的安全。

物联网和云计算的关系:云计算相当于人的大脑,是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据和云计算的关系:从技术上来看,大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

 4.大数据的职业前景

未来的时代将不是IT时代,而是DT的时代。”阿里巴巴创始人马云不止在一个场合重复讲到。他这里所指的DT就是Data Technology数据科技。从2008在维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写的《大数据时代》问世以来,十年间,万物互联下的数据流侵袭了我们的每一个生活场景,尤其是当“数据资产是企业核心资产”的概念深入人心之后,企业对于数据管理便有了更清晰的界定,并逐渐将大数据管理作为企业核心竞争力和武器对各行各业实施降维打击,似乎都在宣示着大数据时代的到来。

 5.大数据概述与学习资源

基础知识:java+linux

大数据技术:hadoop-hive-oozie-web-flume-python-hbase-kafka-scala-spark

posted @ 2020-09-12 19:32  钟爱国  阅读(340)  评论(0编辑  收藏  举报