title |
---|
生态系统 |
Apache Flink支持广泛的生态系统,并可与其无缝对接许多其他数据处理项目和框架。
{% toc %}
连接器提供了与各种第三方系统接口的代码
目前支持这些系统:
- Apache Kafka (sink/source)
- Elasticsearch (sink)
- Elasticsearch 2.x (sink)
- HDFS (sink)
- RabbitMQ (sink/source)
- Amazon Kinesis Streams (sink/source)
- Twitter (source)
- Apache NiFi (sink/source)
- Apache Cassandra (sink)
- Redis, Flume, and ActiveMQ (via Apache Bahir) (sink)
要使用其中一个连接器运行应用程序,通常需要安装和启动额外的第三方组件,例如消息队列的服务器。关于这些的进一步说明可以在相应的小节中找到。
这是建立在Flink之上的第三方包列表(即库,系统扩展或示例)。 Flink社区收集这些软件包的链接,但不保留它们。 因此,他们不属于Apache Flink项目,社区不能给予他们任何支持。 你的项目丢失了么? 请在 user/dev mailing list告知我们。
Apache Zeppelin
Apache Zeppelin 是一款基于Web的notebook开发工具,支持交互式数据分析, Flink as an execution engine (next to others engines)。 详情请参阅 Jim Dowling的 Flink Forward 话题 关于 在Flink运行Zeppelin.
Apache Mahout
Apache Mahout 是在机器学习库中使用,Flink将他收录为底层执行引擎。 详情请参阅 Schelter的 Flink Forward 话题 关于 Mahout-Samsara DSL。
Cascading
Cascading 级联使用户能够轻松地在Flink和其他执行引擎上构建复杂的工作流程。 Cascading on Flink是建设在 dataArtisans 和Driven, Inc。 详情请参阅Fabian Hueske的Flink Forward 话题 for more details。
Apache Beam (incubating)
Apache Beam (incubating) 是一种开源的统一编程模型,您可以使用它来创建数据处理管道。 Flink是Beam编程模型支持的后端之一。
GRADOOP
GRADOOP 在Flink之上实现可扩展的图形分析,是由莱比锡大学开发。 更多详情请查看 Martin Junghanns’ Flink Forward talk。
BigPetStore
BigPetStore 是一个包含数据生成器的基准测试套件,Flink将它收入其中。 详情请参阅 See Suneel Marthi的Flink Forward talk预览 。
FastR
FastR 在Java中快速实现了R语言。 FastR Flink 可以在Flink之上用R语言开发工作。
Apache SAMOA
Apache SAMOA (incubating) 即将推出一款基于Flink为特色的流媒体ML库。 Albert Bifet 介绍了如何运行 Flink在 SAMOA,请参阅他的 Flink Forward talk。
Python Examples on Flink
collection of examples Apache Flink的Python API的示例集合。
WordCount Example in Clojure
WordCount example 在Clojure中编写Flink程序的WordCount小示例。
Anomaly Detection and Prediction in Flink
flink-htm flink-htm是Apache Flink中用于异常检测和预测的库。 该算法基于由Numenta智能计算平台(NuPIC)实施的分层时间存储器(HTM)。
Apache Ignite
Apache Ignite 是一个高性能,集成和分布式内存平台,用于实时计算和处理大规模数据集。 详情请参阅 Flink接收器流式传输连接器 将数据注入Ignite缓存。