广州天河哪里学大数据离线阶段?_广州北大青鸟学大数据哪里有?
作者:广州电脑培训甘发布时间:2020-10-19分类:软件开发培训浏览:772
1. 安全模式概述
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。
在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的时候会向namenode汇报可用的block信息,当整个系统达到安全标准时,HDFS自动离开安全模式。
假设我们设置的副本数是5,那么在Datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的副本的副本率0.999。
我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的DataNode,使得副本率不小于0.999.如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。
如果HDFS处于安全模式下,不允许HDFS客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹,修改副本数等操作。
2. 安全模式配置
与安全模式相关主要配置在hdfs-site.xml文件中,主要有下面几个属性:
dfs.namenode.replication.min: 每个数据块最小副本数量,默认为1. 在上传文件时,达到最小副本数,就认为上传是成功的。
dfs.namenode.safemode.threshold-pct: 达到最小副本数的数据块的百分比。默认为0.999f。当小于这个比例,那就将系统切换成安全模式,对数据块进行复制;当大于该比例时,就离开安全模式,说明系统有足够的数据块副本数,可以对外提供服务。小于等于0意味不进入安全模式,大于1意味一直处于安全模式。
dfs.namenode.safemode.min.datanodes: 离开安全模式的最小可用datanode数量要求,默认为0.也就是即使所有datanode都不可用,仍然可以离开安全模式。
dfs.namenode.safemode.extension: 当集群可用block比例,可用datanode都达到要求之后,如果在extension配置的时间段之后依然能满足要求,此时集群才离开安全模式。单位为毫秒,默认为30000.也就是当满足条件并且能够维持30秒之后,离开安全模式。 这个配置主要是对集群稳定程度做进一步的确认。避免达到要求后马上又不符合安全标准。
- 软件开发培训排行
- 最近发表
-
- 肇庆信息:广东省2024年二级造价工程师职业资格考试报考通知|||北大青鸟计算机培训中心
- 东莞信息:广东省2024年高校毕业生“三支一扶”招募工作启动!东莞计划招募100人|||电脑计算机编程培训学校
- 中山信息:广东省2024年二级造价工程师职业资格考试报考须知|||北大青鸟计算机培训中心
- 东莞信息:莞城街道“南粤家政”基层服务示范站和北隅社区“南粤家政”基层服务站系列活动|||计算机培训学校招生
- 东莞信息:(沙田)2024年沙田镇春风行动暨“南粤春暖”行动系列招聘会圆满举办|||大学生计算机培训学校
- 东莞信息:(横沥)横沥镇大力宣传推广使用“就莞用”码|||中专学计算机平面设计女生可以学计算机网络技术好吗
- 东莞信息:2023年东莞市国民经济和社会发展统计公报(人民生活和社会保障部分)|||电脑计算机编程培训学校
- 东莞信息:中华人民共和国档案法实施条例|||广州计算机编程培训
- 东莞信息:(横沥)横沥镇开展民营企业服务月招聘活动|||计算机培训学校招生
- 东莞信息:(塘厦)公共服务进校园,塘厦人社分局在行动|||广州计算机软件培训
- 标签列表
-