当前位置:网站首页 > 电脑培训网-热点问答 > 正文
Apache流式处理工具(一):Flume
作者:广州电脑培训甘发布时间:2020-10-17分类:电脑培训网-热点问答浏览:756
导读:为大家简要介绍Apache流式处理工具的其中一种:Flume。这款产品性能优异,可横向伸缩,并提供插件机制,可通过定制组件进行扩展。ApacheFlume ...
为大家简要介绍Apache流式处理工具的其中一种:Flume。这款产品性能优异,可横向伸缩,并提供插件机制,可通过定制组件进行扩展。
Apache Flume
Flume部署由一个或多个使用拓扑配置的代理组成。Flume代理是一个JVM进程,它承载Flume拓扑的基本构建块,即源、通道和接收器。Flume客户机将事件发送到源,然后将它们成批地放在名为channel的临时缓冲区中,数据从该缓冲区流向连接到数据最终目的地的接收器。接收器也可以是其他Flume代理程序的后续数据源。代理可以链接,并且每个代理都有多个源、通道和接收器。
Flume是一个分布式系统,可用于收集、聚合流事件并将其传输到Hadoop中。它有许多内置的源、通道和接收器,例如Kafka通道和Avro接收器。Flume是基于配置的,它有拦截器来对通道中的数据执行简单的转换。
如果不小心,使用Flume很容易丢失数据。例如,为高吞吐量选择内存通道有一个缺点,即当代理节点关闭时,数据将丢失。文件通道将以增加延迟为代价提供持久性。即使如此,由于数据没有复制到其他节点,因此文件通道仅与底层磁盘一样的可靠性。Flume通过多跳/扇入扇出流提供了可伸缩性。对于高可用性(HA),可以水平扩展代理。
相关推荐
- 梅州信息:关于开展2024年“人人参与全民参保”“12333全国统一咨询日”活动公告|||广州学电脑培训学校
- 梅州信息:梅州市人社局开展2024年第一季度诚信文化主题宣传志愿服务活动|||广州计算机编程培训
- 东莞信息:关于清明节期间劳动能力鉴定现场鉴定服务时间安排的通告|||计算机职业技能培训班
- 韶关信息:我市举办2024年高校毕业生春季专场招聘会吸引求职者入场4300余人|||广州市北大青鸟计算机职业培训学校
- 湛江信息:察民情聚民智!湛江市“社会治理面对面”活动第三期人社专场举办|||计算机培训学校招生
- 惠州信息:“惠州市就业驿站巡礼”之大亚湾德惠社区站|||计算机专业维修学校
- 东莞信息:(石龙)石龙人社分局举办学雷锋社保志愿服务日活动|||电脑计算机编程培训学校
- 东莞信息:(沙田)春风送岗学雷锋巾帼助力促就业|||广州计算机编程培训
- 东莞信息:(石龙)阳江市人社局一行到石龙镇交流共探治理经验|||计算机培训机构
- 东莞信息:沙田社保志愿服务支队开展学雷锋社保志愿服务日活动|||广州市北大青鸟计算机职业培训学校
- 电脑培训网-热点问答排行
-
- 1广州职业培训介绍-广州市花都区东方均膳职业培训学校-培训内容-地址-联系方式
- 2东莞职业培训介绍-东莞市稻香中菜厨艺职业培训学院(麻涌考点)-培训内容-地址-联系方式
- 3从2022年软件和IT服务业收入看行业发展
- 4计算机等级考试问答-报考时选错级别科目,但已缴费可否重置修改?-北大青鸟教育-教育实力
- 5计算机等级考试问答-报名缴费重复缴了两次,会自动退费吗?-北大青鸟教育-教育实力
- 6计算机等级考试问答-没有参加过计算机一级的,可以直接报考二级吗?-北大青鸟教育-特色教育
- 7技能+学历,这是一个不同以往的选择
- 82023年9月计算机等级考试介绍-考生报名流程-北大青鸟教育-就业实力
- 9高考落榜读-广州市蓝天高级技工学校专业好不好-计算机类好么-北大青鸟计算机编程培训怎么样
- 最近发表
-
- 梅州信息:关于开展2024年“人人参与全民参保”“12333全国统一咨询日”活动公告|||广州学电脑培训学校
- 梅州信息:梅州市人社局开展2024年第一季度诚信文化主题宣传志愿服务活动|||广州计算机编程培训
- 东莞信息:关于清明节期间劳动能力鉴定现场鉴定服务时间安排的通告|||计算机职业技能培训班
- 韶关信息:我市举办2024年高校毕业生春季专场招聘会吸引求职者入场4300余人|||广州市北大青鸟计算机职业培训学校
- 湛江信息:察民情聚民智!湛江市“社会治理面对面”活动第三期人社专场举办|||计算机培训学校招生
- 惠州信息:“惠州市就业驿站巡礼”之大亚湾德惠社区站|||计算机专业维修学校
- 东莞信息:(石龙)石龙人社分局举办学雷锋社保志愿服务日活动|||电脑计算机编程培训学校
- 东莞信息:(沙田)春风送岗学雷锋巾帼助力促就业|||广州计算机编程培训
- 东莞信息:(石龙)阳江市人社局一行到石龙镇交流共探治理经验|||计算机培训机构
- 东莞信息:沙田社保志愿服务支队开展学雷锋社保志愿服务日活动|||广州市北大青鸟计算机职业培训学校
- 标签列表
-