1.大数据概述与学习资源

  1. 了解微信、微博、小视频每天产生的数据量与数据类型。

2018年微信每天有450亿次信息发送出,有4.1亿次音视频呼叫成功。 数据类型字符串String

 

  2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。

在体育和娱乐方面,大数据可以帮助我们训练球队,决定投拍那种题材的影视作品,以及预测比赛结果。

例如,大数据与数据分析在欧洲职业足球的应用案例中。

国外的 Hugo Mathien 通过对一批欧洲职业足球统计的原始数据进行清洗,并把一些洞察结果分享出来。他使用的数据包含了2008年至2011年的25,000多场比赛,来自11个国家的超过10,000名球员,以及多达10家数据提供商的投注赔率。

过程中,Hugo 使用Python Scrapy从多个来源中提取数据,克服了数据完整性问题,并手动构建了数据集 - 数据集采用SQL数据库的形式。这个数据集包含比赛统计,即分数、角球、犯规等、球队的出场阵容/阵型,并收录了各个球员名字与他们在每次比赛时在球场上的位置。

数据集的原始数据中也导入了来自EA Sports足球游戏的数据,比如足球员的35个属性数据。举个例子,如果某个球员在一段时间内表现不佳,他在国际足联中的统计数据会受到影响,通常在数据集中会看到相同的更新。

  3.大数据 人工智能 云计算 物联网 区块链的概念及相互关系。

大数据:任何形式产生的数据,有海量、多样、复杂等属性。

物联网:把任何物品与互联网连接起来进行信息交换,以实现智能化识别、定位、跟踪、监控和管理的一种网络,简言之物联网就是“物物相连的互联网”。

云计算:按使用量付费,提供可配置的共享资源,减少我们的开发、管理维护。

人工智能:人工智能英文缩写为AI,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

区块链:区块链是比特币的一个概念。是利用块链式数据结构来验证与存储数据。利用分布式节点共识算法,来生成和更新数据。利用密码学的方式,保证数据传输和访问的安全。

物联网和云计算的关系:云计算相当于人的大脑,是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据和云计算的关系:从技术上来看,大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

 

  4.大数据的职业前景

作为人口大国和制造大国,我国数据产生能力巨大,大数据资源极为丰富。大数据的职业前景是很大的,无论在生活还是工业,都需要大数据。未来的时代将不是IT时代,而是DT的时代。大数据作为一门基础科学,无论在数据开发及分析、物联网和人工智能算法训练领域,都有着核心技术和职位诉求,主要来说的话,当下,大数据方面的就业主要有三大方向:一是数据分析类大数据人才,二是系统研发类大数据人才,三是应用开发类大数据人才。

 

posted @ 2020-09-11 10:35  Lonely-lie  阅读(193)  评论(0)    收藏  举报