2023學(xué)年完整公開課版審計(jì)HDFS操作

主講：侯磊審計(jì)HDFS操作目錄0102Sentry特權(quán)模型及服務(wù)審計(jì)HDFS操作Sentry特權(quán)模型及服務(wù)1Sentry特權(quán)模型及服務(wù)Sentry針對(duì)其提供授權(quán)的每個(gè)服務(wù)使用特定的權(quán)限模型。每個(gè)特權(quán)模型指定一組權(quán)限和一組可應(yīng)用特權(quán)的對(duì)象類型。每個(gè)特權(quán)模型中的可用特權(quán)決定了Sentry授權(quán)的粒度。我們需要了解Sentry使用的特權(quán)模型，從而為自己的環(huán)境選擇適當(dāng)?shù)腟entry授權(quán)策略。Sentry提供用于SQL訪問的SELECT、INSERT和ALL權(quán)限。SQL特權(quán)模型是分層的，這意味著，如果在表上授予SELECT權(quán)限，那么也可以根據(jù)該表授予任何視圖上的權(quán)限。Sentry特權(quán)模型及服務(wù)Hive和Impala可以利用Sentry服務(wù)，Sentry服務(wù)使用數(shù)據(jù)庫來存儲(chǔ)Sentry策略，而不是使用文本文件。雖然可以繼續(xù)使用舊的方式配置Sentry策略文件(沒有Sentry服務(wù))，但最好的方法是使用Sentry服務(wù)。Sentry服務(wù)是一個(gè)守護(hù)進(jìn)程，可讓各種Hadoop生態(tài)系統(tǒng)組件執(zhí)行策略查找?？梢耘渲肧entry中的組件，使它們根據(jù)Sentry策略委派授權(quán)決策。Sentry特權(quán)模型及服務(wù)當(dāng)客戶端訪問HiveServer2時(shí),它使用HiveServer2中的Sentry綁定連接到Sentry服務(wù)。Sentry服務(wù)查詢Sentry策略數(shù)據(jù)庫，以確定客戶端是否有權(quán)在Hive中執(zhí)行操作。這是因?yàn)镾entry策略數(shù)據(jù)庫存儲(chǔ)所有授權(quán)策略。可以使用sentry-site.xml文件配置Sentry服務(wù)。審計(jì)HDFS操作2審計(jì)HDFS操作可以為HDFS操作配置兩個(gè)單獨(dú)的審計(jì)日志。hds-audit.log文件跟蹤用戶活動(dòng)(如創(chuàng)建文件和更改權(quán)限)，SecurityAuth-hdfs.audit文件跟蹤服務(wù)器級(jí)授權(quán)操作。Hadoop使用Log4j進(jìn)行日志記錄?？梢酝ㄟ^在/etc/hadoop/config目錄中的perties文件中指定logging屬性來配置HadoopLog4j。如果設(shè)置了Log4j日志記錄,Hadoop會(huì)在hdfs-audit.log文件中記錄所有HDFS操作。審計(jì)HDFS操作此日志顯示用戶sam已得到Kerberos(auth:KERBEROS)的授權(quán)。還顯示了用戶sam有權(quán)執(zhí)行以下HDFS操作。listStatus:/user/sam目錄列表。create:在/user/sam目錄中創(chuàng)建一個(gè)名為t