[Udemy] AWS Certified Data Analytics Specialty - 1.Collect

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Connect

 

Kinesis: 类似于Kafka, 分为 Data Streams（real time）, Analytics, Firehose(near real time)，区别是： 

 

overview of Kinesis:

 

 

 对于 Kineses Data Stream：

 

Kinesis Producers

 

Kinesis SDK: PutRecord(s)

 

KPL:

 

 

 

 

 

 

Kinesis Consumer - Classic

KPL产生的数据，用KCL来读.

Kinesis Connect Library 比较过时了，功能被Kinesis Firehose和 Lamdba 代替. 

 

KCL

需要DynamoDB配合做做断点续传这个还太搞很清楚

 

 

 

 

 

 

Kinesis Firehose

 

 

 

 

 

CloudWatch Logs Subscription Filter Patterns

Subscription Filter 可以流入3个目标，Firehose, Data Stream, Lambda

Near Real Time

 

Real - Time

 

Real Time Analytics

 

 SQS:

怎么发256K的消息到SQS里？

 

 

 

 

IoT， 考的很少

 

MSK

能发送10M大的数据给Kafka