淺談hadoop安全機(jī)制及用戶組管理盛大研究院

淺談hadoop安全機(jī)制及用戶組管理

Outlines公知的安全點(diǎn)集成Kerberos服務(wù)層安全控制自定義組映射web-control客戶端安全客戶端安全?Web

ServerClientAppIllegalClientIllegalAppHadoopcluster集群安全集群安全？DataNodeJobTrackerDataNodeNameNodeSecondNameNodeTaskTrackerTaskTrackerIllegalSlaveOtherJobTracker安全問題

非法的slave節(jié)點(diǎn)添加

非法的客戶端添加

非法的應(yīng)用連接用戶身份造假WEB界面的任意訪問究根:請求者身份識別!默認(rèn)支持的安全協(xié)議Simple配置簡單、使用簡單、適合單一團(tuán)隊(duì)使用kerberos配置稍微復(fù)雜、使用稍微麻煩、可解決上述問題、較安全Kerberos簡單介紹

網(wǎng)絡(luò)認(rèn)證協(xié)議(NetworkAuthenticationProtocol)principal.kadm5KDC密鑰分發(fā)中心Principle:name/instance@REALMKeytab:用于獲取principlehadoop集成kerberosDataNodeJobTrackerNameNodeKDC(realm=HADOOP)hdfs.ketab(hdfs/_HOST@HADOOP)mapred.ketabmapred/_HOST@HADOOPclientfujie.keytabfujie@HADOOPLogAPPSecurityUtil.login()subjectKinitbypasswdkerberos配置創(chuàng)建kerberosdatabase創(chuàng)建principal、啟動KDCCore-site指定協(xié)議kerberos配置serverkeytabprincipalstartKerberos使用總結(jié)需要管理KDC培養(yǎng)程序員的操作習(xí)慣應(yīng)用程序需開發(fā)kerberos客戶端UserGroupInformation.loginUserFromKeytab流程變復(fù)雜一點(diǎn)點(diǎn)(流程化)Hive、hbase已支持kerberos安全才是王道ACL控制hadoop-policy.xmlmapred-queue-acls.xml用戶組很重要！用戶組及權(quán)限安全文件歸屬一個(gè)用戶和一個(gè)組一個(gè)用戶可歸屬多個(gè)組權(quán)限劃分:歸屬者、歸屬組、其它用戶操作類型:讀、寫、執(zhí)行Hadoop默認(rèn)使用客戶機(jī)組信息默認(rèn)組映射任意客戶端的不安全都可能破壞集群客戶端機(jī)器多映射關(guān)系不一復(fù)雜的資源權(quán)限需求無法滿足管理極其不方面是否可以自定義組信息？自定義組映射HadoopUser-groupclientuserDPMTOOLadminrpcgetGroupswrite用戶組策略usergroupteam配置某個(gè)用戶對commons可讀配置某個(gè)team對commons可讀配置某個(gè)team對擁有某個(gè)jobqueue-a權(quán)限r(nóng)esourcefujiedevdrwxr-x----hadoopdpuser02012-09-1915:32/commons/commonsdpuserqueue-aWeb-controlSimple設(shè)置

Kerberos客戶端需要配置域PseudoAuthenticationHandlersimplelogin開放數(shù)據(jù)平臺開放于優(yōu)酷土豆集團(tuán)日志采集系統(tǒng)存儲優(yōu)化引擎在