大数据知识普及

2015年提出基于在线实时和离线计算的云计算在线直播系统

ArcSoft介绍：你们没听过这家公司，但是你们肯定用过他的服务。（三星、小米、vivo  oppo   还有最著名的苹果第一个提出人脸识别 face id  只要用到手机摄像头、需要美颜的都有他的存在）

1.什么是大数据

2.大数据的组件运用

需求点：基于在线实时和离线计算的云计算在线直播系统

目前主流技术:

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

阿里提供服务插件：

阿里的odps-maxCompute

1.实时nosql比较

Hbase :  https://www.cnblogs.com/jay-wu/p/12559467.html

2.new sql  =>tidb数据库

 

 

3.大数据一般企业用在哪些业务上？

pay 简单日志数据分析 ELK 统计:支付国家、地区、币种、百分比

同盾risk风控（国内标杆）:按用户统计行为，一个月交易次数、交易国家、命中策略，打分策略，决策树（打篮球=》温度、湿度、天气=》决定你今天是否打球因子）

VISA CyberSource系统（国际标杆）：支付次数、黑名单、device id、购物国家、国籍、地址、merchantId、打分策略

jollchic大数据: 标签、推送类型、行为特征

数梦工场、袋鼠云：FlinkX、数据抽取（Msql、Oracle、Hbase、txt）、聚合。给BI提供可视化界面 

 

 

 

 

--下期阿里集成组件nacos 、阿里Spring Cloud Alibaba框架 、以及蚂蚁金服 sofa框架