Isilon: Ambari geautomatiseerde Kerberos-configuratie met Isilon

n.v.t.

n.v.t.

Opmerking: Dit onderwerp is onderdeel van het gebruik van Hadoop met OneFS - Isilon Info Hub.

In dit artikel wordt beschreven hoe u Kerberos-beveiliging configureert met een door Ambari beheerd Hadoop cluster.

Kerberos staat centraal bij sterke authenticatie en versleuteling voor Hadoop, maar het kan een uitdaging zijn om te configureren en beheren. Ambari 2.0 introduceerde wizardgestuurde geautomatiseerde Kerberos-configuratie, waardoor het proces veel sneller en minder foutgevoelig wordt. Vanaf OneFS 8.0.0.1 kunnen Klanten van Dell EMC Isilon gebruikmaken van deze uitstekende functie.

Vereisten

• OneFS 8.0.0.1 of hoger.
• Ambari 2.0 of hoger.
• MIT KDC wordt uitgevoerd (Arcarc wordt niet ondersteund). Volg de stappen hier om uw Kerberos-infrastructuur in te stellen.
• Dns doorsturen en omkeren tussen alle hosts.
• Alle services worden uitgevoerd (groen) op het Ambari-dashboard.

Kerberos inschakelen

Preconfiguratie

Voordat u de wizard start, moet u twee configuraties instellen en alle services opnieuw opstarten.

• In HDFS -> Aangepaste core-site stelt 'hadoop.security.token.service.use_ip' in op 'false'
• Voeg in MapReduce2 -> Advanced mapred-site "'hadoop classpath':" toe aan het begin van 'mapreduce.application.classpath'. Noteer de dubbele punt en de backticks (maar kopieer de aanhalingstekens niet).

Aan de slag

Ga naar Admin -> Kerberos en druk op de knop "Enable Kerberos". De titels in dit gedeelte verwijzen naar de titels van de Kerberos-wizardpagina's.



Selecteer "Existing MIT KDC" (Bestaande MIT KDC) en zorg ervoor dat aan de vereisten wordt voldaan en klik vervolgens op "Volgende". Isilon maakt geen gebruik van Java en heeft de JCE niet nodig.

Kerberos-client configureren/installeren en testen

Vul alle KDC- en adminserverinformatie in. Bij stap 3 (Installatie en test van Kerberos-client) voert de Ambari-server een rooktest uit om ervoor te zorgen dat u Kerberos correct hebt geconfigureerd.

Configureren van identiteiten/Configuratie bevestigen

 a) Ambari User Principals (UPN's)

Ambari maakt gebruikers principals in de vorm $ -$ @$ en gebruikt vervolgens hadoop.security.auth_to_local in core-site.xml om de principals toe te passen in slechts $ op het bestandssysteem.

Isilon voldoet niet aan de toewijzingsregels, dus u moet het -$ verwijderen van alle principals in de sectie "Ambari Principals". Isilon zal de @$ stripen, dus er is geen aliasing nodig. In een Ambari 2.2.1-cluster met HDFS, DOEL, MapReduce2, Tez, Hive, HBase, Sqoop, Oozie, Zookeeper, Falcon, Storm, Flume, Accumulo, Ambari Metrics, Kafka, Oregon, Mabay, Slider en Spark, voert u de volgende wijzigingen uit op het tabblad 'Algemeen':

• Hoofdnaam Van de Rookgebruiker: ${cluster-env/smokeuser}-$ @$ => ${cluster-env/smokeuser}@$
• spark.history.kerberos.principal: ${spark-env/spark_user}-$ @$ => ${spark-env/spark_user}-@$
• Hoofdnaam storm: ${storm-env/storm_user}-$ @$ => ${storm-env/storm_user}-@$
• HBase-gebruikers principal: ${hbase-env/hbase_user}-$ @$ => ${hbase-env/hbase_user}@$
• HDFS-gebruikers principal: ${hadoop-env/hdfs_user}-$ @$ => ${hadoop-env/hdfs_user}@$
• accumulo_principal_name: ${accumulo-env/accumulo_user}-$ @$ => ${accumulo-env/accumulo_user}@$
• trace.user: tracer-$ @$ => tracer@$

b) Service Principals (SPN's)

Ambari maakt service principals, waarvan sommige anders zijn dan hun UNIX-gebruikersnamen. Nogmaals, omdat Isilon de toewijzingsregels niet nakomt, moet u de hoofdnamen aanpassen aan hun UNIX-gebruikersnamen. Breng in het Ambari 2.2.1 cluster de volgende wijzigingen aan op het tabblad 'Geavanceerd':

• HDFS -> dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$
• AANGEVER -> bronmanager.principal: rm/_HOST@$ => tijd/_HOST@$
• ENERGEERGE -> bestendig.nodemanager.principal: nm/_HOST@$ => polyester/_HOST@$
• MapReduce2 -> mapreduce.jobhistory.principal: jhs/_HOST@$ => mapred/_HOST@$
• Falcon -> *.dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$

 

Nadat u de juiste principals hebt geconfigureerd, drukt u op 'Next'. Druk in het scherm 'Confirm Configuration' op 'Next'.

Stop Services/Kerberize Cluster

Stoppen en kerberizing van services zou moeten slagen.
 

Ga niet verder: Isilon staat Ambari niet toe om keytabs te maken voor Isilon principals. In plaats daarvan moet u Kerberos handmatig configureren op Isilon met behulp van de onderstaande stappen.

a) KDC maken als een Isilon auth-provider

Opmerking: Als deze Isilon zone al is geconfigureerd om uw MIT KDC te gebruiken, kunt u deze stappen overslaan.

isi auth krb5 create --realm=$REALM --admin-server=$admin_server --kdc=$kdc_server --user=$admin_principal --password=$admin_password
isi zone zones modify --zone=$isilon_zone --add-auth-provider=krb5:$REALM

b) Maak service principals voor HDFS en HTTP (voor WebHDFS).

isi auth krb5 spn create --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password
isi auth krb5 spn create --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password

c) Noodzakelijke proxygebruikers maken

In onbeveiligde clusters kan elke gebruiker zich voordoen als een andere gebruiker. In beveiligde clusters moeten proxygebruikers expliciet worden gespecificeerd.
Als u Hive of Oozie hebt, voegt u de juiste proxygebruikers toe.

isi hdfs proxyusers create oozie --zone=$isilon_zone --add-user=ambari-qa
isi hdfs proxyusers create hive --zone=$isilon_zone --add-user=ambari-qa

d) Eenvoudige verificatie uitschakelen

Alleen kerberos- of overdrachtstokenauthenticatie is toegestaan.

isi hdfs-instellingen wijzigen --zone=$isilon_zone --authentication-mode=kerberos_only

Nu Isilon ook is geconfigureerd, drukt u op 'Next' in Ambari om door te gaan naar de laatste stap van de wizard.

Start- en testservices
 

 

Als services niet starten, zijn hier enkele trucs voor het opsporen van Kerberos-problemen:

1. Als gevolg van een bug in 'POUNDS', moet u de 'resourcemanager.principal' instellen op 'polyester'/$rm_hostname@$REALM in 'TOEPASSING ' ->Aangepaste site voor het maken van een nieuwe locatie. De syntaxis '_HOST' werkt niet als Kerberos is ingeschakeld.
2. Als u Java GSSAPI/Kerberos-fouten wilt opsporen, voegt u "-Dsun.security.krb5.debug=true" toe aan HADOOP_OPTS.
3. Voor HTTP 401-fouten gebruikt u curl met -iv voor extra foutopsporingsinformatie.
4. Zorg ervoor dat forward en reverse DNS is ingesteld tussen alle hosts.

(Optioneel) Sterke RPC-beveiliging

In HDFS -> Aangepaste core-siteset "hadoop.rpc.protection" op "integriteit" of "privacy". Naast authenticatie garandeert integriteit dat berichten niet zijn geknoeid en versleutelt privacy alle berichten.

Voer een taak uit!

Probeer vanaf elke clienthost een MapReduce-taak!

kinit <some-user> yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar pi 1 1000
Job Finished in 37.635 seconds
Estimated value of Pi is 3.14800000000000000000
Congratulations--you have secured your cluster with Kerberos!

(Optioneel) Kerberos uitschakelen

Isilon opschonen

U moet Eerst Isilon opruimen. Dit is in feite het omgekeerde van het inschakelen van Kerberos.

a) Kerberos-authenticatie uitschakelen

isi hdfs settings modify --authentication-mode=simple_only --zone=$isilon_zone

b) Proxygebruikers verwijderen

isi hdfs proxyusers delete oozie --zone=$isilon_zone
isi hdfs proxyusers delete hive --zone=$isilon_zone

c) Principals verwijderen

isi auth krb5 spn delete --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --all
isi auth krb5 spn delete --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --all

Houd er rekening mee dat de bovenstaande opdrachten deze principals alleen uit Isilon verwijderen, maar ze niet uit de KDC verwijderen. Gebruik deze opdrachten om de Isilon principals uit de KDC te verwijderen:

kadmin -p $admin_principal
kadmin: delete_principal hdfs/$isilon_smartconnect@$REALM
kadmin: delete_principal HTTP/$isilon_smartconnect@$REALM

d) KDC verwijderen als Isilon authenticatieprovider

isi zone zones modify --zone=$isilon_zone --remove-auth-provider=krb5:$REALM
isi auth krb5 delete --provider-name=$REALM

Clients opschonen met behulp van Ambari

Druk op "Disable Kerberos" in Admin -> Kerberos. Alle services moeten groen worden.