AWS Kinesis 数据流的无服务器扩展注意事项
Kinesis 数据流扩展注意事项
Kinesis 数据流旨在处理海量数据。
流处理依赖于分片。
Lambda 以批次的形式检索记录，并为每个分片调用一次您的函数。
如果 Lambda 无法处理分片中的一条消息，整个分片将停止。
直到消息被处理或数据保留期结束，分片才会恢复。
为了处理剩余的消息，您的函数应捕获错误并记录它们。
您可以使用 Amazon CloudWatch 来存储错误日志。
您可以通过以下方式调整故障处理：
- 函数错误
- 最大记录年龄
- 重试次数
- 故障目标
例如，每秒 4,000 条记录或每秒 4 MB 的数据需要四个分片。
您需要多少个分片取决于您打算创建多少数据。
Kinesis 数据流扩展注意事项视频
W3schools.com 与 Amazon Web Services 合作，为我们的学生提供数字培训内容。
扇出增强
Enhanced Fan-Out 的发布旨在解决约束并改进客户获取数据的方式。
流的订阅者是增强型扇出。
订阅后，消费者从分片接收数据，持续长达 5 分钟。
数据将随之被推送到消费者。
这可以将延迟降低到 50-70 毫秒。
Enhanced Fan-Out 还可以提高吞吐量。
这也会产生额外费用。
您应该检查您的流量，并考虑常规的消费者延迟是否可接受。
如果您的 Lambda 函数执行批处理花费的时间过长或失败，流中的其他消息可能会丢失。
相关阅读
从 Amazon Kinesis Data Streams 读取数据使用增强型扇出消费者
