Isilon: Isilon ile Ambari Otomatik Kerberos Yapılandırması (İngilizce)

yok

yok

Not: Bu konu, OneFS ile Hadoop Kullanma - Isilon Bilgi Merkezi'nin bir parçasıdır.

Bu makalede, Kerberos güvenliğini Ambari tarafından yönetilen hadoop kümesiyle yapılandırma açıklanmaktadır.

Kerberos, Hadoop için güçlü kimlik doğrulama ve şifrelemeye merkezidir ancak bunu yapılandırmak ve yönetmek zor olabilir. Ambari 2.0, işlemi çok daha hızlı ve daha az hataya neden olan sihirbaz tabanlı otomatik Kerberos yapılandırmasını kullanıma sunar. OneFS 8.0.0.1 sürümünden itibaren Dell EMC Isilon müşterileri bu mükemmel özellikten yararlanır.

Önkoşullar

• OneFS 8.0.0.1 veya üstü.
• Ambari 2.0 veya üstü.
• MIT KDC çalışıyor (Heimdal desteklenmez). Kerberos altyapınızı kurmanız için aşağıdaki adımları izleyin.
• Tüm ana bilgisayarlar arasında DNS'i ileri ve geri alın.
• Ambari Panosunda tüm hizmetler (yeşil) çalışıyor.

Kerberos'u Etkinleştir

Yapılandırma Öncesi

Sihirbazı başlatmadan önce iki yapılandırma ayarlamanız ve tüm hizmetleri yeniden başlatmanız gerekir.

• HDFS'de -> Özel çekirdek sitesi "hadoop.security.token.service.use_ip" öğesini "false" (yanlış) olarak ayarla
• MapReduce2 -> Advanced mapred-site add "mapreduce.application.classpath" (mapreduce.application.classpath) öğesinin başına "'hadoop classpath':" komutunu ekleyin. İki nokta üst üste ve arka işaretleri not edin (ancak tırnak işaretlerini kopyalamayın).

Başlarken

Admin - Kerberos (Yönetici -> Kerberos) öğesine gidin ve "Enable Kerberos" (Kerberos'u Etkinleştir) düğmesine basın. Bu bölümdeki başlıklar Kerberos sihirbaz sayfalarının başlıklarına bakın.



"Existing MIT KDC" (Mevcut MIT KDC) öğesini seçin ve ön koşullar karşılandıktan sonra "Next" (İleri) öğesine tıklayın. Isilon'un Java kullanmaz ve JCE'ye ihtiyacı olmadığını unutmayın.

Kerberos'u Yapılandırma / Kerberos İstemcisi Yükleme ve Test

Tüm KDC ve yönetici sunucu bilgilerini doldurun. 3. adımda (Kerberos İstemcisini Yükleme ve Test Etme) Ambari sunucusu, Kerberos'u doğru şekilde yapılandırdığınıza emin olmak için duman testi gerçekleştirir.

Kimlikleri Yapılandırma /Yapılandırmayı Onaylama

 a) Ambari Kullanıcı Baş Sorumluları (UPN'ler)

Ambari, $ -$ @$ biçiminde kullanıcı sorumluları oluşturur ve ardından hadoop.security.auth_to_local için core-site.xml dosyasındaki ana bilgisayarları filesystem üzerindeki $ 'a eşler.

Isilon, eşleme kurallarına uymaz, bu nedenle "Ambari Principals" (Ambari Sorumluları) bölümünde yer alan tüm sorumlulardan -$ öğesini kaldırmanız gerekir. Isilon , @$ üzerinden şeritler. Bu nedenle diğer ad gerekmez. HDFS, BAKI, MapReduce2, Aitken, Hive, HBase, Chromebook, Sqoop, Oozie, Zoooop, Falcon, Storm, Flume, Accumulo, Ambari Metrics, Bellenim, Bellenim, Mahout, Slider ve Spark çalıştıran Ambari 2.2.1 kümesinde "General" sekmesinde aşağıdaki değişiklikleri yapın:

• Smokeuser Ana Adı: ${cluster-env/smokeuser}-$ @$ => ${cluster-env/smokeuser}@$
• spark.history.kerberos.principal: ${spark-env/spark_user}-$ @$ => ${spark-env/spark_user}-@$
• Fırtına baş adı: ${storm-env/storm_user}-$ @$ => ${storm-env/storm_user}-@$
• HBase kullanıcı yöneticisi: ${hbase-env/hbase_user}-$ @$ => ${hbase-env/hbase_user}@$
• HDFS kullanıcı yöneticisi: ${hadoop-env/hdfs_user}-$ @$ => ${hadoop-env/hdfs_user}@$
• accumulo_principal_name: ${accumulo-env/accumulo_user}-$ @$ => ${accumulo-env/accumulo_user}@$
• trace.user: tracer-$ @$ => tracer@$

b) Servis Sorumluları (SPN'ler)

Ambari, bazıları UNIX kullanıcı adlarının dışında olan servis sorumluları oluşturur. Isilon, eşleme kurallarına uymaysa da UNIX kullanıcı adlarını eşleştirmek için asıl adları değiştirebilirsiniz. Ambari 2.2.1 kümesinde, "Gelişmiş" sekmesinde aşağıdaki değişiklikleri yapın:

• HDFS -> dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$
• VELAYET -> neden.resourcemanager.principal: rm/_HOST@$ => tutucu/_HOST@$
• VELAYET -> nodemanager.principal: nm/_HOST@$ => bilgi düzeyi/_HOST@$
• MapReduce2 -> mapreduce.jobhistory.principal: jhs/_HOST@$ => mapred/_HOST@$
• Falcon -> *.dfs.namenode.kerberos.principal: nn/_HOST@$ => hdfs/_HOST@$

 

Uygun sorumluları yapılandırdıktan sonra "next" (İleri) düğmesine basın. "Confirm Configuration" (Yapılandırmayı Onayla) ekranında "Next" (İleri) düğmesine basın.

Hizmetleri Durdurma / Kümeyi Kerberize

Durdurma ve Kerberizing hizmetleri başarılı olacaktır.
 

Devam edin: Isilon, Ambari'nin Isilon sorumluları için anahtar sekmeleri oluşturmasını izin vermez. Bunun yerine, aşağıdaki adımları kullanarak Isilon'da Kerberos'u manuel olarak yapılandırmalısiniz.

a) Isilon kimlik doğrulama sağlayıcısı olarak KDC oluşturma

Not: Bu Isilon bölgesi MIT KDC'nizi kullanmak üzere zaten yapılandırılmışsa bu adımları atlayabilirsiniz.

isi auth krb5 create --realm=$REALM --admin-server=$admin_server --kdc=$kdc_server --user=$admin_principal --password=$admin_password
isi zone zones modify --zone=$isilon_zone --add-auth-provider=krb5:$REALM

b) HDFS ve HTTP için servis sorumluları oluşturma (WebHDFS için).

isi auth krb5 spn create --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password
isi auth krb5 spn create --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --user=$admin_principal --password=$admin_password

c) Gerekli proxy kullanıcılarını oluşturma

Güvenliksiz kümelerde, herhangi bir kullanıcı diğer herhangi bir kullanıcının özelliklerini taklit ediyor olabilir. Güvenli kümeler, proxy kullanıcılarının açıkça belirtilmelidir.
Hive veya Oozie'niz varsa uygun proxy kullanıcılarını takın.

isi hdfs proxyusers create oozie --zone=$isilon_zone --add-user=ambari-qa
isi hdfs proxyusers create hive --zone=$isilon_zone --add-user=ambari-qa

d) Basit kimlik doğrulamayı devre dışı bırakma

Yalnızca Kerberos veya temsilci belirteci kimlik doğrulamasına izin verilir.

isi hdfs ayarları --zone=$isilon_zone --authentication-mode=kerberos_only

Isilon da yapılandırıldığından sihirbazın son adımına devam etmek için Ambari'deki "Next" (İleri) düğmesine basın.

Hizmetleri Başlatma ve Test Edin
 

 

Hizmetler başlatılamıyorsa Kerberos sorunlarının ayıklaması için bazı püf noktaları aşağıda açıklanmaktadır:

1. TEMSİYİNDE bulunan bir hata nedeniyle , "neden.resourcemanager.principal" dosyasını, GÖRECİCİ -> Özel bir hesaplama sitesinde bulunan ve $rm_hostname@$REALM_hostname@$REALM olarak ayarlamanız gerekir. "_HOST" söz dizimi Kerberos etkinken çalışmaz.
2. Java GSSAPI/Kerberos hatalarının hata ayıklamak için hata ayıklamak için "-Dsun.security.krb5.debug=true" dosyasını HADOOP_OPTS.
3. HTTP 401 hataları için ekstra hata ayıklama bilgileri için curl with -iv kullanın.
4. Tüm ana bilgisayarlar arasında ileri ve ters DNS'nin ayarlandığından emin olun.

(İsteğe bağlı) Güçlü RPC Güvenliği

HDFS'de -> Özel çekirdek sitesi "hadoop.rpc.protection" öğesini "bütünlük" veya "gizlilik" olarak ayarlamış. Kimlik doğrulamaya ek olarak bütünlük, mesajların değiştirilmediğini garanti eder ve gizlilik tüm mesajları şifreler.

İş çalıştırın!

Herhangi bir istemci ana bilgisayarından mapReduce işi deneyin!

kinit <some-user> yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar pi 1 1000
Job Finished in 37.635 seconds
Estimated value of Pi is 3.14800000000000000000
Congratulations--you have secured your cluster with Kerberos!

(İsteğe bağlı) Kerberos'u devre dışı bırakma

Isilon'da Temizleme

Öncelikle Isilon'u temizlemeniz gerekir. Bu, Esasen Kerberos'ın etkinleştirilmesinin tersidir.

a) Kerberos kimlik doğrulamasını devre dışı bırakma

isi hdfs settings modify --authentication-mode=simple_only --zone=$isilon_zone

b) Tüm proxy kullanıcılarını silme

isi hdfs proxyusers delete oozie --zone=$isilon_zone
isi hdfs proxyusers delete hive --zone=$isilon_zone

c) Sorumluları silme

isi auth krb5 spn delete --provider-name=$REALM --spn=hdfs/$isilon_smartconnect@$REALM --all
isi auth krb5 spn delete --provider-name=$REALM --spn=HTTP/$isilon_smartconnect@$REALM --all

Yukarıdaki komutların yalnızca Isilon'dan bu sorumluları kaldıran ancak KDC'den kaldıran komutların olmadığını unutmayın. Isilon sorumlularını KDC'den kaldırmak için şu komutları kullanın:

kadmin -p $admin_principal
kadmin: delete_principal hdfs/$isilon_smartconnect@$REALM
kadmin: delete_principal HTTP/$isilon_smartconnect@$REALM

d) Isilon kimlik doğrulama sağlayıcısı olarak KDC'yi kaldırma

isi zone zones modify --zone=$isilon_zone --remove-auth-provider=krb5:$REALM
isi auth krb5 delete --provider-name=$REALM

Ambari kullanarak istemcileri temizleme

Admin - Kerberos (Yönetici - Kerberos) bölümünde "Disable Kerberos" (Kerberos'uDevre> Dışı Bırak) düğmesine basın. Tüm hizmetler yeşil renkte yanar.