Apache Flink 是一个开源流处理框架,具有强大的流处理和批处理能力。
特性
- 支持批处理和数据流程序的流优先运行时
- Java 和 Scala 中优雅流畅的 API
- 同时支持极高吞吐量和低事件延迟的运行时
- 基于数据流模型,支持DataStream API 中的事件时间和无序处理
- 跨不同时间语义(事件时间、处理时间)的灵活窗口(时间、计数、会话、自定义触发器)
- 具有一次性处理保证的容错能力
- 流媒体程序中的自然背压
- 用于图形处理(批处理)、机器学习(批处理)和复杂事件处理(流式处理)的库
- DataSet(批处理)API 中对迭代程序 (BSP) 的内置支持
- 自定义内存管理,可在内存和核外数据处理算法之间进行高效、稳健的切换
- Apache Hadoop MapReduce 的兼容层
- 与 YARN、HDFS、HBase 和 Apache Hadoop 生态系统的其他组件集成