淺談hadoop安全機(jī)制及用戶組管理盛大研究院

1、Outlines 公知的安全點(diǎn) 集成集成Kerberos 服務(wù)層安全控制服務(wù)層安全控制 自定義組映射自定義組映射 web-control 客戶端安全 客戶端安全? Web Server Client App Illegal Client Illegal App Hadoop cluster 集群安全 集群安全？ DataNode JobTracker DataNode NameNode Second NameNode TaskTrackerTaskTracker Illegal Slave Other JobTracker 安全問題 非法的非法的slave節(jié)點(diǎn)添加節(jié)點(diǎn)添加 非法的客戶端添加非法

2、的客戶端添加 非法的應(yīng)用連接非法的應(yīng)用連接 用戶身份造假用戶身份造假 WEB界面的任意訪問界面的任意訪問 究根究根:請(qǐng)求者身份識(shí)別請(qǐng)求者身份識(shí)別! 默認(rèn)支持的安全協(xié)議 Simple 配置簡(jiǎn)單、使用簡(jiǎn)單、適合單一配置簡(jiǎn)單、使用簡(jiǎn)單、適合單一 團(tuán)隊(duì)使用團(tuán)隊(duì)使用 kerberos 配置稍微復(fù)雜、使用稍微麻煩、配置稍微復(fù)雜、使用稍微麻煩、 可解決上述問題、較安全可解決上述問題、較安全 Kerberos簡(jiǎn)單介紹簡(jiǎn)單介紹 網(wǎng)絡(luò)認(rèn)證協(xié)議網(wǎng)絡(luò)認(rèn)證協(xié)議(Network Authentication Protocol) principal.kadm5 KDC 密鑰分發(fā)中心 Principle:name/insta

3、nceREALM Keytab:用于獲取用于獲取principle hadoop集成kerberos DataNode JobTracker NameNode KDC(realm=HADOOP) hdfs.ketab (hdfs/_HOSTHADOOP) mapred.ketab mapred/_HOSTHADOOP client fujie.keytab fujieHADOOP Log APP SecurityUtil.login() subject Kinit by passwd kerberos配置 創(chuàng)建創(chuàng)建kerberos database 創(chuàng)建創(chuàng)建principal、啟動(dòng)、啟動(dòng)KDC

4、 Core-site 指定協(xié)議指定協(xié)議 kerberos 配置配置server keytab principal start Kerberos使用總結(jié)使用總結(jié) 需要管理需要管理KDC 培養(yǎng)程序員的操作習(xí)慣培養(yǎng)程序員的操作習(xí)慣 應(yīng)用程序需開發(fā)應(yīng)用程序需開發(fā)kerberos客戶端客戶端 UserGroupInformation.loginUserFromKeytab 流程變復(fù)雜一點(diǎn)點(diǎn)流程變復(fù)雜一點(diǎn)點(diǎn)(流程化流程化) Hive、hbase已支持已支持kerberos 安全才是王道安全才是王道 ACL控制控制 hadoop-policy.xml mapred-queue-acls.xml 用戶組很重要

5、！用戶組很重要！ 用戶組及權(quán)限安全用戶組及權(quán)限安全 文件歸屬一個(gè)用戶和一個(gè)組文件歸屬一個(gè)用戶和一個(gè)組 一個(gè)用戶可歸屬多個(gè)組一個(gè)用戶可歸屬多個(gè)組 權(quán)限劃分權(quán)限劃分:歸屬者、歸屬組、其歸屬者、歸屬組、其 它用戶它用戶 操作類型操作類型:讀讀 、寫、執(zhí)行、寫、執(zhí)行 Hadoop默認(rèn)使用客戶機(jī)組信息默認(rèn)使用客戶機(jī)組信息 默認(rèn)組映射默認(rèn)組映射 任意客戶端的不安全都可能破任意客戶端的不安全都可能破 壞集群壞集群 客戶端機(jī)器多映射關(guān)系不一客戶端機(jī)器多映射關(guān)系不一 復(fù)雜的資源權(quán)限需求無法滿足復(fù)雜的資源權(quán)限需求無法滿足 管理極其不方面管理極其不方面 是否可以自定義組信息？是否可以自定義組信息？ 自定義組映射自定

6、義組映射 Hadoop User-group client user DPM TOOL admin rpc getGroups hadoop.security.group.mapping write 用戶組策略用戶組策略 usergroupteam 配置某個(gè)用戶對(duì)commons可讀 配置某個(gè)team對(duì)commons可讀 配置某個(gè)team對(duì)擁有某個(gè)job queue-a權(quán)限 resource fujie dev drwxr-x- - hadoop dpuser 0 2012-09-19 15:32 /commons /commons dpuser queue-a Web-control Simp

7、le 設(shè)置設(shè)置 Kerberos 客戶端需要配置域客戶端需要配置域 hadoop.http.authentication.type PseudoAuthenticationHandler simplelogin 開放數(shù)據(jù)平臺(tái) 開放于優(yōu)酷土豆集團(tuán)開放于優(yōu)酷土豆集團(tuán) 日志采集系統(tǒng)日志采集系統(tǒng) 存儲(chǔ)優(yōu)化引擎存儲(chǔ)優(yōu)化引擎 在線及離線計(jì)算在線及離線計(jì)算 多樣性的數(shù)據(jù)產(chǎn)品多樣性的數(shù)據(jù)產(chǎn)品 數(shù)據(jù)平臺(tái)審計(jì)監(jiān)控?cái)?shù)據(jù)平臺(tái)審計(jì)監(jiān)控 REFERENCES 1.http:/ 0/354027.html 2./mapreduce/hadoop -permission-management/ Q&A謝謝！ Outlines 公知的安全點(diǎn) 集成集成Kerberos 服務(wù)層安全控制服務(wù)層安全控制 自定義組映射自定義組映射 web-control 安全問題 非法的非法的slave節(jié)點(diǎn)添加節(jié)點(diǎn)添加 非法的客戶端添加非法的客戶端添加 非法的應(yīng)用連接非法的應(yīng)用連接 用戶身份造假用戶身份造假 WEB界面的任意訪問界面的任意訪問 究