如何做一个优秀大数据平台架构
发布时间：2021-06-04 18:06:17 所属栏目：大数据 来源：互联网
导读：一、Lambda架构需求 如何做一个好的大数据平台架构 Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大，MR也可以实现近实时运算，但实际业务环境并非
|
一、Lambda架构需求
如何做一个好的大数据平台架构
Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大，MR也可以实现近实时运算，但实际业务环境并非如此，因此我们需要权衡，选择实时处理和批处理所需要数据量和恰当的资源。
2012年Storm的作者Nathan Marz提出的Lambda数据处理框架。Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。Lambda架构整合离线计算和实时计算，融合不可变性(Immunability)，读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组件。
二、Lambda架构的关键
如何做一个好的大数据平台架构
横向扩容
可扩展性意味着为满足日益增长的用户服务需求，同时不用对底层架构或者代码，可以通过现有机器添加内存或者磁盘资源来实现(垂直扩展)，或者可以通过在集群中添加机器实现(水平扩展)。无论是实时或者批处理，都应该能够不停服务的情况下，可以实施水平扩展。
故障容错
系统需要妥善处理故障，确保系统在某些组件发生故障的情况下，整个系统服务的可用性。可能部分组件故障会导致集群中部分节点宕机，影响了整理的SLA，但是系统还是可以相应的，系统不能有单点故障。
低延迟
很多应用对于读和写操作的延时要求非常高，要求对更新和查询的响应是低延时的。
可扩展
系统需要足够灵活，能够实现新增和修改需求，又不需要重构整个系统。实时处理和批处理隔离开，能够灵活修改需求。
易维护
开发部署不能够太复杂。
三、Lambda架构的分层
如何做一个好的大数据平台架构
在Lambda架构中新数据到达时，会被同时分派到批处理层和快速处理层。一旦数据到达批处理层，按照常规批处理时间间隔，每次都从头开始重新计算并生成批处理视图。类似地，只要新数据到达快速处理层，快速处理层就会使用新数据生成快速视图。在查询到达服务层时，它会合并快速视图和批处理视图来生成适当的查询结果。生成批处理视图后，快速视图将被丢弃，除非有新数据抵达，否则只需要查询批处理视图，因为此时批处理层中拥有所有的数据。
 （编辑：保山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
