AWS Serverless 流式传输与消息队列在数据处理中的应用
流式传输用于数据处理
对于异步数据处理,可以使用消息服务,例如 Amazon SQS 或 SNS。
这取决于处理的类型以及您收集的数据的类型。
消息服务中的主要元素是单个消息。
一旦消息被使用,它们就会从消息服务中被删除。
要跳过流中的一条记录,您必须在函数中提供错误处理。
流式传输与消息队列在数据处理中的比较视频
W3schools.com 与 Amazon Web Services 合作,为我们的学生提供数字培训内容。
消息队列在数据处理中的应用
流是数据缓冲区,它们不关心用户对它们做了什么。
无论用户如何操作,流上的数据都会在一段时间后消失。
您需要提供错误处理。
下表显示了流式传输和消息队列之间的区别。
消息队列 | 流式传输 |
---|---|
单个消息是核心单元,消息速率可变 | 消息流通常是连续的 |
一旦消息被读取,就会被移除 | 数据在流中保留一段时间。 |
对于故障,您必须设置重试和死信队列 | 消息会一直重试,直到成功或超时 |