数据科学理论与实践-4.技术与工具

数据科学理论与实践-4.技术与工具

4.1数据科学的技术体系

大数据产业全景图( Big Data Landscape)

• 现阶段的大数据技术体系主要类型包括基础设施、分析工具、企业应用、行业应用、跨平台基础设施和分析工具、开源工具、数据源与App、数据资源

• 1.基础设施

为大数据产业提供基础设施服务

提供数据计算(批处理和流处理等),数据存储( NoSQL、 NewSQL、图数据库、云数据仓库等),数据加工(数据转换、数据集成等), 数据治理,数据管理与监控,集群服务,ApP开发,众包和硬件环境等服务

• 2.分析工具

主要为数据科学和大数据产业链提供大数据分析类的技术支持

数据分析平台、数据科学平台、商务智能、可视化、垂直分析、统计计算、数据服务、机器学习、人工智能、语音与自然语言理解、搜索、日志分析、社会分析、Web/移动/商业分析等

• 3.企业应用

为组织机构提供企业级应用技术或工具

包括销售、营销、客户服务、人力资本、法律、金融、生产能力、后台自动化、安全等具体服务

• 4.行业应用

行业应用解决的是行业共性问题,并为企业应用提供基础平台。

广告、教育、政府、金融/借贷、房地产、保险、健康医疗、生命科学、交通、农业、商业以及其他特定行业中的应用。

• 5.跨平台基础设施和分析工具

提供跨平台型基础设施和跨平台分析工具,例如亚马逊Web服务、 Google云平台、微软 Azure等。

• 6.开源工具

在数据科学中常用的开源工具包括:技术设计框架、查询/数据流、数据访问、协调、流处理、统计工具、人工智能/机器学习/深度学习、搜索、日志分析、可视化、协作和安全12种类型

• 7.数据源与App

提供数据内容

包括健康、物联网、金

融与经济、空气/空间/海洋、人/实体、位置智能等数据的捕获和获取服务

• 8.数据资源

生成数据的机构,包括孵化器、学校及研究机构。