广州电脑培训_电脑培训班_电脑培训课程-北大青鸟电脑学校
当前位置:网站首页 > 电脑培训网-热点问答 > 正文

Apache流式处理工具(三):NiFi

作者:广州电脑培训甘发布时间:2020-10-17分类:电脑培训网-热点问答浏览:982


导读:        前两章我分别给大家讲解 Apache流式的两款处理工具,《Apache流式...

        前两章我分别给大家讲解 Apache流式的两款处理工具,《Apache流式处理工具(一):Flume》《Apache流式处理工具(二):Kafka》,那么现在给大家讲讲最后一款 Apache流式处理工具:NiFi


Apache NiFi

        与Flume和Kafka不同,NIFI可以处理任何大小的消息。在基于Web的拖放用户界面后面,NIFI在集群中运行,并提供实时控制,以便您可以轻松地管理任何源和任何目标之间的数据移动。它支持不同格式、模式、协议、速度和大小的分散和分布式源。


        NiFi可以用于具有严格安全性和合规性要求的关键任务数据流中,在那里我们可以可视化整个过程并实时进行更改。在撰写本文时,它有近200个随时可用的处理器(包括Flume和Kafka处理器),可以进行拖放、配置和立即投入使用。NiFi的一些关键特性是优先级排队、数据跟踪和每个连接的背压阈值配置。


        虽然NiFi用于创建容错生产管道,但它不会复制像Kafka这样的数据。如果节点发生故障,则可以将流定向到另一个节点,但排队等待故障节点的数据必须等待节点恢复。 NiFi不是一个成熟的ETL工具,不适合复杂的计算和事件处理(CEP)。要做到这一点,它应该连接到流式框架,如Apache Flink,Spark Streaming或Storm。


相关文章:

    《Apache流式处理工具(一):Flume》

    《Apache流式处理工具(二):Kafka》


电脑培训网-热点问答排行
最近发表
标签列表