Isilon: Ambari automatiserad Kerberos-konfiguration med Isilon

Ej tillämpligt

Ej tillämpligt

Obs! Det här avsnittet är en del av Använda Hadoop med OneFS – Isilon-informationshubb.

I den här artikeln beskrivs hur du konfigurerar Kerberos-säkerhet med ett Ambari-hanterat Hadoop-kluster.

Kerberos är central för stark autentisering och kryptering för Hadoop, men det kan vara en utmaning att konfigurera och administrera. Ambari 2.0 introducerade en guidedriven automatiserad Kerberos-konfiguration, vilket gör processen mycket snabbare och mindre felbenägen. Från och med OneFS 8.0.0.1 kan Dell EMC Isilon-kunder utnyttja denna utmärkta funktion.

Förutsättningar

• OneFS 8.0.0.1 eller senare.
• Ambari 2.0 eller senare.
• MIT KDC körs (Processor stöds inte). Följ stegen här för att konfigurera Kerberos-infrastrukturen.
• Vidarebefordra och omvänd DNS mellan alla värdar.
• Alla tjänster körs (grönt) på Ambari Dashboard.

Aktivera Kerberos

Förkonfiguration

Innan du startar guiden måste du ange två konfigurationer och starta om alla tjänster.

• I HDFS –> Anpassad kärnplats ställer in "hadoop.security.token.service.use_ip" på "false"
• I MapReduce2 –> Advanced mapred-site lägger du till "'hadoop classpath':" i början av "mapreduce.application.classpath". Observera kolon och backticks (men kopiera inte citattecknen).

Kom igång

Navigera till Admin -> Kerberos och tryck på knappen "Enable Kerberos". Rubrikerna i det här avsnittet hänvisar till rubrikerna på Kerberos-guidesidorna.



Välj "Existing MIT KDC" (befintlig MIT-KDC), kontrollera att de förutsättningar som krävs är uppfyllda och klicka sedan på Next (nästa). Observera att Isilon inte använder Java och inte behöver JCE.

Konfigurera Kerberos/installera och testa Kerberos-klienten

Fyll i all information om KDC- och administratörsservern. I steg 3 (installera och testa Kerberos-klienten) gör Ambari-servern ett röktest för att säkerställa att du har konfigurerat Kerberos korrekt.

Konfigurera identiteter/bekräfta konfiguration

 a) Ambari-användarhuvudmän (UPN)

Ambari skapar användarhuvudmän i form av $ -$ @$ och använder sedan hadoop.security.auth_to_local i core-site.xml för att mappa befattningshavare till bara $ på filsystemet.

Isilon följer inte mappningsreglerna, så du måste ta bort -$ från alla befattningshavare i avsnittet "Ambari Principals". Isilon tar bort @$ och behöver inte alias. I ett Ambari 2.2.1-kluster som kör HDFS, ESA, MapReduce2, Tez, Hive, HBase, Historik, Sqoop, Oogli, Zooeb, Falcon, Storm, Flume, Accum esa, Ambari Metrics, Kafka, Historik, Slider och Spark gör du följande ändringar på fliken "General":

• Smokeuser Principal-namn: ${cluster-env/smokeuser}-$ @$ => ${cluster-env/smokeuser}@$
• spark.history.kerberos.principal: ${spark-env/spark_user}-$ @$ => ${spark-env/spark_user}-@$
• Stormhuvudnamn: ${storm-env/storm_user}-$ @$ => ${storm-env/storm_user}-@$
• HBase-användarhuvudman: ${hbase-env/hbase_user}-$ @$ => ${hbase-env/hbase_user}@$
• HDFS-användarhuvudman: ${hadoop-env/hdfs_user}-$ @$ => ${hadoop-env/hdfs_user}@$
• accumulo_principal_name: ${accum av-env/accumulo_user}-$ @$ => ${accum av-env/accumulo_user}@$
• trace.user: tracer-$ @$ => tracer@$

b) Tjänsteansvariga (SPN)

Ambari skapar tjänstehuvudmän, varav vissa är annorlunda än deras UNIX-användarnamn. Eftersom Isilon inte följer mappningsreglerna måste du ändra huvudnamnen så att de överensstämmer med deras UNIX-användarnamn. I Ambari 2.2.1-klustret gör du följande ändringar på fliken "Advanced":

• HDFS -> dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$
• SPINNING -> resourcemanager.principal: rm/_HOST@$ => rm/_HOST@$
• SPINNING -> nodemanager.principal: nm/_HOST@$ => sedan/_HOST@$
• MapReduce2 –> mapreduce.jobhistory.principal: jhs/_HOST@$ => mapred/_HOST@$
• Falcon -> *.dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$

 

När du har konfigurerat lämpliga befattningshavare trycker du på Next (nästa). På skärmen Confirm Configuration (bekräfta konfiguration) trycker du på Next (nästa).

Stoppa tjänster/Kerberize-kluster

Det bör lyckas att stoppa och Kerberizing-tjänster.
 

Fortsätt inte: Isilon tillåter inte Ambari att skapa nyckelflikar för Isilon-befattningshavare. I stället måste du konfigurera Kerberos manuellt på Isilon med hjälp av stegen nedan.

a) Skapa KDC som Isilon-autentiseringsprovider

Obs! Om Isilon-zonen redan är konfigurerad för att använda DIN MIT KDC kan du hoppa över dessa steg.

isi auth krb5 create --realm=$REALM --admin-server=$admin_server --kdc=$kdc_server --user=$admin_principal --password=$admin_password
isi zone zones modify --zone=$isilon_zone --add-auth-provider=krb5:$REALM

b) Skapa tjänstehuvuden för HDFS och HTTP (för WebHDFS).

isi auth krb5 spn create --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password
isi auth krb5 spn create --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password

c) Skapa alla nödvändiga proxyanvändare

I osäkra kluster kan alla användare utge sig för att vara en annan användare. I säkra kluster måste proxyanvändare uttryckligen anges.
Om du har Hive eller Oogall lägger du till rätt proxyanvändare.

isi hdfs proxyusers create oozie --zone=$isilon_zone --add-user=ambari-qa
isi hdfs proxyusers create hive --zone=$isilon_zone --add-user=ambari-qa

d) Avaktivera enkel autentisering

Endast Kerberos- eller delegeringstokenautentisering tillåts.

isi hdfs-inställningarna ändrar --zone=$isilon_zone --authentication-mode=kerberos_only

Nu när Isilon också har konfigurerats trycker du på "Next" i Ambari för att gå vidare till det sista steget i guiden.

Start- och testtjänster
 

 

Om tjänsterna inte startar, här är några knep för felsökning av Kerberos-problem:

1. På grund av en buggi måste du ställa in "archive.resourcemanager.principal" på en plats där det finns en plats där du $rm _hostname@$REALM i WEBBSAS –>Custom dvd-site. Syntaxen "_HOST" fungerar inte med Kerberos aktiverat.
2. Om du vill felsöka Java GSSAPI-/Kerberos-fel lägger du till "-Dsun.security.krb5.debug=true" i HADOOP_OPTS.
3. För HTTP 401-fel ska du använda curl med -iv för extra felsökningsinformation.
4. Se till att DNS framåt och bakåt har ställts in mellan alla värdar.

(Tillval) Stark RPC-säkerhet

I HDFS –> Custom core-site set "hadoop.rpc.protection" till "integrity" eller "privacy". Utöver autentisering garanterar integritetsgarantier att meddelanden inte har manipulerats och integritetskryptering av alla meddelanden.

Kör ett jobb!

Försök med ett MapReduce-jobb från alla klientvärdar!

kinit <some-user> yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar pi 1 1000
Job Finished in 37.635 seconds
Estimated value of Pi is 3.14800000000000000000
Congratulations--you have secured your cluster with Kerberos!

(Tillval) Avaktivera Kerberos

Rensa Isilon

Du bör först rensa Isilon. Det här är i princip det motsatta med att aktivera Kerberos.

a) Avaktivera Kerberos-autentisering

isi hdfs settings modify --authentication-mode=simple_only --zone=$isilon_zone

b) Ta bort alla proxyanvändare

isi hdfs proxyusers delete oozie --zone=$isilon_zone
isi hdfs proxyusers delete hive --zone=$isilon_zone

c) Ta bort befattningshavare

isi auth krb5 spn delete --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --all
isi auth krb5 spn delete --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --all

Observera att ovanstående kommandon endast tar bort dessa befattningshavare från Isilon, men ta inte bort dem från KDC. Använd följande kommandon för att ta bort Isilon-befattningshavare från KDC:

kadmin -p $admin_principal
kadmin: delete_principal hdfs/$isilon_smartconnect@$REALM
kadmin: delete_principal HTTP/$isilon_smartconnect@$REALM

d) Ta bort KDC som Isilon-autentiseringsprovider

isi zone zones modify --zone=$isilon_zone --remove-auth-provider=krb5:$REALM
isi auth krb5 delete --provider-name=$REALM

Rensa klienter med hjälp av Ambari

Tryck på Disable Kerberos (avaktivera Kerberos) i Admin -> Kerberos. Alla tjänster bör vara gröna.