AWS 无服务器 Kinesis 数据流扩展注意事项
Kinesis 数据流的扩展注意事项
Kinesis 数据流旨在处理海量数据。
流处理依赖于分片。
Lambda 以批次方式检索记录，并对每个分片调用一次您的函数。
如果 Lambda 无法处理分片中的一个消息，整个分片将被停止。
它将被停止，直到该消息被处理或数据保留结束。
为了处理剩余的消息，您的函数应该捕获错误并记录它们。
您可以使用 Amazon CloudWatch 来存储错误日志。
您可以通过以下方式调整故障处理
- 函数错误
- 最大记录年龄
- 重试尝试
- 失败目的地
例如，每秒 4,000 条记录或每秒 4 MB 的数据需要四个分片。
您需要的分片数量取决于您打算创建多少数据。
Kinesis 数据流视频的扩展注意事项
W3schools.com 与 Amazon Web Services 合作，为我们的学生提供数字培训内容。
扇出增强
增强型扇出发布是为了解决约束并改进客户获取数据的方式。
流的订阅者是增强型粉丝。
订阅后，消费者将接收来自分片的数据，持续时间长达 5 分钟。
数据将在进入时推送到消费者。
这将延迟降低到 50-70 毫秒。
增强型扇出还可提高吞吐量。
它还带来了额外的开销。
您应该检查您的流量，以及是否可以接受常规的消费者延迟。
如果您的 Lambda 函数执行时间过长或无法执行批次，流中的其他消息可能会丢失。
相关阅读
从 Amazon Kinesis 数据流读取数据使用带有增强型扇出的消费者
