Symptoms
Dotčené
produktyBrocade X7-8, X7-4, 7730 a 7720 se systémem FOS v9.1.x nebo FOS v9.2.0
. Opraveno ve verzích
Brocade FOS v9.1.1c, v9.2.0a a vyšších jsou ohroženy
pouze produkty 7. generace.
U ředitelů 7. generace (X7-8 a X7-4) s nainstalovaným blade serverem s portem FC64-48 nebo FC32-X7-48 hrozí jak přetečení, tak chyby "ověření". U modulů blade portů FC32-64 a FC32-48 nainstalovaných v ředitelích 7. generace nehrozit selhání.
U přepínačů 7. generace (G730 a G720) hrozí pouze selhání zahlcení vyrovnávací paměti. Tyto přepínače nejsou vystaveny riziku selhání
"Verify" (Ověřit).Aby bylo možné dále ohrozit infrastrukturu, musí docházet k závažnému zahlcení, což vede k přílišné správě podsítí pomocí nástroje Traffic
Optimizer. Pokud se kdy vyskytla tato úroveň odezvy, zobrazí se následující zpráva RASlog:
[TO-1006], 1011618/1002267, FID 128, INFO, Switch_100, toky určené do zařízení dev02 byly přesunuty do PG_OVER_SUBSCRIPTION_4G_16G PG., cfs_ctrlr.c, řádek: 1470, comp:cfsd, ltime:2023/05/17-06:15:33:923058
Akce oversubscription management pomocí aplikace Traffic Optimizer je k dispozici pouze ve firmwaru FOS v9.1.x.
Produkty
7. generace se systémem FOS v9.0.x nejsou vystaveny riziku závad.
Podmínky
rizika zahlcené vyrovnávací pamětiAby došlo k zahlcení vyrovnávací paměti, je nutné kromě nutnosti periody závažného zahlcení také konfigurovat porty F-porty na řídicím či přepínači Gen 7
z výchozí hodnoty na větší počet vyrovnávacích pamětí. Fos ve
výchozím nastavení přiřadí maximálně 28 vyrovnávacích pamětí.
Každý řídicí nebo přepínač 7. generace, který má maximální počet vyrovnávacích pamětí F-Port vyšší než výchozí hodnoty používané fos
, jsou potenciálně ohroženy a může být ohrožen jakýkoli ředitel X7-8 nebo X7-4, který dříve spouštěl funkci FOS v9.0.x, a může dojít k
chybám "verify". V obou případech se nástroj Traffic Optimizer musí také pokusit spravovat směrování rámců v reakci na
nadměrnou událost, která byla způsobena zahlcením.
Chcete-li určit příčiny a přepínače, které mohou být ohroženy, použijte k zobrazení využití
vyrovnávací paměti příkaz "portbuffershow". Pokud je celkové využití všech vyrovnávacích pamětí u portů na stejném čipu ASIC/čipu, které jsou také zónovány společně, přidáno do hodnoty vyšší než 256 vyrovnávacích pamětí, pak je považován za ohrožený přepínač Gen 7 pro případ, že dojde k přetečení vyrovnávací paměti, jestliže je nutné provést přetížení ze služby Traffic Optimizer. K selhání nedojde při každé události oversubscription management, protože počet vyrovnávacích pamětí spravovaných v době, kdy událost potřebuje překročit 256, zatímco nástroj Traffic Optimizer spravuje přílišné množství, ale konfigurace na potenciálně více než 256 vyrovnávacích pamětí představuje riziko pro přepínač.
Pokud je ve výše uvedeném příkladu všech 8 portů F-ports společně v jedné zóně, je přepínač vystaven riziku zahlcení vyrovnávací paměti rámce
, zatímco aplikace Traffic Optimizer spravuje stav přetáčení, protože celkový počet využití vyrovnávací paměti je v tomto příkladu 360.
V následujícím příkladu, kde nejsou všechny porty F-Port společně zónovány, však nebude tento přepínač ohrožen, protože dvě zóny (zobrazené zeleně) celkem až 232 vyrovnávacích pamětí a 128 vyrovnávacích pamětí.
Maximální počet portů využívaných pro oversubscription management je 8 portů. Pokud je ze stejného čipu ASIC zónováno více než 8 portů, celkem 8 portů s nejvyššími hodnotami využití vyrovnávací paměti, abyste určili riziko.
POZNÁMKA: U ředitelů a přepínačů Gen 7, které nikdy neměly změněny počty vyrovnávací paměti F-Port z výchozího nastavení, není ohroženo, aby došlo k tomuto problému s přetečením vyrovnávací paměti rámce. Maximální hodnota použitá jako výchozí nastavení maximální/vyhrazené vyrovnávací paměti je 28 pro produkty 7. generace, nicméně v závislosti na typu přepínače a rychlosti optického připojení může být alokováno méně vyrovnávacích pamětí. Zákazníci
, kteří ve výchozím nastavení nezvýšili maximální/vyhrazený počet vyrovnávacích pamětí, nebudou mít problém s přetečením
vyrovnávací paměti. I když je 8 portů společně zónováno, při použití maximální výchozí alokace 28 vyrovnávacích pamětí na port je celková hodnota maximálního
využití vyrovnávací paměti pouze 224 rámců.
Podmínky "ověření" rizika
selháníKromě problému s přetečením vyrovnávací paměti mohou být ředitelé X7-8 a X7-4 potenciálně vystaveni riziku pro "ověření" chybových zpráv, pokud jsou v tomto pořadí splněny následující podmínky:
- Ředitel X7-8 nebo X7-4, dříve spuštěný na fos v9.0.x
- Ředitel se poté upgraduje na FOX v9.1.x.
- Ředitel pak má porty F, které se odhlasují a přihlašují se ve verzi v9.1.x.
- Ředitel poté narazí na přetíženou událost, která vyžaduje správu nástroje Traffic Optimizer.
- Ředitel poté provede převzetí služeb při selhání HA (upgrade firmwaru způsobí převzetí služeb při selhání).
- Ředitel narazí na další událost podepisující funkci, která vyžaduje správu nástroje Traffic Optimizer.
U řídicích systémů X7-8 nebo X7-4, které splňují všechny tyto podmínky, může být v určeném pořadí ohroženo, aby při řízení přílišného množství informací nástroje Traffic Optimizer narazili na chyby "ověření".
- U ředitelů X7-8 nebo X7-4, které se spustily pouze na firmwaru FOS v9.1.x, není ohroženo chybou "verify", protože pro všechny porty se používá pouze programovací model v9.1. Vedoucí 7. generace musí být dříve spuštěni se systémem FOS verze 9.0.x, aby byli náchylní k tomuto problému.
- U ředitelů X7-8 nebo X7-4, u kterých při spuštění firmwaru FOS v9.1.x docházet k chybě "ověření" nehrozí úplné vypnutí/vypnutí a zapnutí, protože všechny porty budou po opětovném spuštění používat programování v9.1
Příznaky
Ředitelé a přepínače 7. generace, u kterých došlo k události oversubscription management, budou sledovat následující
protokol RASlog nástroje Traffic Optimizer:
[TO-1006], 1011618/1002267, FID 128, INFO, Switch_100, toky určené do zařízení b1a02 byly přesunuty do PG_OVER_SUBSCRIPTION_4G_16G PG., cfs_ctrlr.c, řádek: 1470, comp:cfsd, ltime:2023/05/17-06:15:33:923058
Další příznaky, které se mohou objevit kvůli těmto zjištěným problémům, mohou být následující:
- Na odkazu může být pozorován velký počet chyb CRC, které nejsou opraveny výměnou optického/kabelu.
- Rámce mohou být zahozeny, kredit na odkaz může být ztracen.
- Porty mohou být vadné, asic se může zastavit a může být vadný
- Ředitel může zaznamenat neočekávané převzetí služeb při selhání HA nebo dokonce úplné restartování vedoucího.
- U přepínačů může do dojít k úplnému restartu
Cause
Správa přílišného odběru pomocí funkce Traffic Optimizer za určitých podmínek může způsobit selhání
ovlivňující přenos rámců nebo portů, které jsou spravovány. V případě závažného zahlcení by tato selhání mohla také
ovlivnit výkon jiných démonů operačního systému Fabric OS (FOS), které jsou aktivní na přepínači, což vedlo k časovým limitům
sledování softwaru, což vedlo k selhání HA nebo panice přepínače.
Ředitelé a přepínače 7. generace (X7-8, X7-4, 7730 a 7720), které se potýkají s přetečením vyrovnávacích pamětí rámců při pokusu
o správu a přesměrování přetížených toků v reakci na závažné zahlcení, mohou způsobit neočekávané chyby. Pokud
počet rámců zahltí vyrovnávací paměť používanou ke správě zpracování přetížení, můžete
tyto přebytečné rámce během zpracování aplikace Traffic Optimizer vynechat. Tyto nadbytečné rámce mohou být potenciálně přepsány jinými rámci, což vede
k chybám CRC v rámci rámce nebo dokonce chybám portu, pokud jsou informace v záhlaví přepsány. V případě závažného zahlcení může správa těchto přehlábených/nadměrných rámců vést k blokování jiných démonů FOS, což může vést k
vypršení časového limitu sledovacího zařízení. Kritické démony, u kterých vypršel časový limit, způsobí selhání HA nebo přerušení restartování přepínače.
Kromě možné manipulace s přetečením snímků mohou ředitelé systémů X7-8 a X7-4, kteří dříve pracovali na firmwaru FOS v9.0.x a později upgradovali systém FOS v9.1.x, po selhání HA dojít k chybám ověření (včetně chyb způsobených upgrady firmwaru na vyšší verze verze v9.1.x). Během oversubscription management aplikace Traffic Optimizer se zobrazí několik chybových zpráv "verify" v důsledku zjištěného konfliktu při programování portů vytvořených, když se některé porty, ale ne všechny porty resetují na adrese v9.1.x. Konflikt mezi programováním správy zahlcení na portech, které nebyly nikdy resetovány při verzi v9.0.x a později došlo ke správě zahlcení při používání v9.1.x na portech, které byly resetovány, se může objevit po události ha převzetí služeb při selhání.
Resolution
Náhradní řešení
" Na riziku mohou ředitelé a přepínače deaktivovat funkci traffic optimizer oversubscription management.
Vypněte v aplikaci Traffic Optimizer následující příkaz cli z účtu údržby a deaktivujte akci oversubscription
management.
maintenance> serviceexec trafoptptic --enableosclassification 0
POZNÁMKA: Příkaz údržby je nutné spustit na všech logických přepínačích v šasi.
POZNÁMKA: Nastavení bude trvalé v případě selhání a cyklů napájení
Nápravná akce
Softwarové řešení dodané ve verzích FOS v9.1.1c a vyšších zabrání těmto selháním. Stejná řešení jsou také k dispozici
ve verzích FOS v9.2.0a a vyšších verzích fos v9.2.x. Upgrade na tyto verze firmwaru FOS zabrání přetečení rámců z důvodu přílišné správy podepisování a také zabrání "ověření" chyb na řídicích
členech X7.
U jakéhokoli řídicího nebo přepínače 7. generace (X7-8, X7-4, 7730 a 7720) je stále spuštěna verze firmwaru FOS v9.0.x, která může být "ohrožena"
, aby se vyskytly popsané problémy, doporučujeme před upgradem počkat na vydání firmwaru FOS v9.1.1c.
Vedoucí a přepínače 7. generace, které aktuálně pracují na vydáních v9.1.x nebo v9.2.0 a jsou ohroženy,
by měly implementovat náhradní řešení. Deaktivace funkce Traffic Optimizer oversubscription Management zabrání
vzniku chyb přetečení a "ověření" vyrovnávací paměti. Po upgradu na verzi v9.1.1c nebo v9.2.0a lze akci oversubscription
management znovu aktivovat pomocí následujícího příkazu:
Zadejte následující příkaz cli z účtu údržby a znovu povolte akci oversubscription management v aplikaci Traffic Optimizer.
maintenance> serviceexec trafopt ceo --enableosclassification 1
POZNÁMKA: Příkaz údržby je nutné spustit na všech logických přepínačích v šasi.
Každý řídicí člen nebo přepínač 7. generace, u kterého již došlo k selhání "přetečení vyrovnávací paměti", bude nutné provést úplný restart
, aby se plně obnovil po selhání:
Ředitelé: Vypnutí/zapnutí slotu na dotčených přepínačích blade
portů: Restartujte (úplné restartování) přepínače.
1. možnost: Proveďte výše uvedenou akci restartování a poté implementujte náhradní řešení, čímž deaktivujete akci oversubscription management v nástroji Traffic Optimizer
Option 2: Proveďte upgrade na verzi FOS s řešením a poté proveďte výše uvedenou akci restartování.
Upgrade na verzi FOS s poskytnutým řešením zabrání selhání "zahlcení vyrovnávací paměti", ale
jakmile dojde k selhání, problém vyřeší pouze úplné restartování asic.
Upgrade na verzi fos pomocí poskytnutého řešení zabrání chybovému
stavu "Verify" a automaticky jej obnoví bez dalších kroků.
Po upgradu na verzi FOS, která obsahuje řešení, bude provedena kontrola interní paměti, která určí, zda ředitel nebo přepínač dříve narazil na selhání a vyžaduje restartování, aby se z chybového stavu obnovil.
Pokud po upgradu firmwaru FOS na verzi s řešením zjistíte stav selhání, zobrazí se následující protokol RASlog:
2023/06/01-17:07:50 (GMT), [C5-1057], 5, SLOT 2 | ŠASI, DŮLEŽITÉ, Switch_3
, S10, C0: Čip HW ASIC je v nekonzistentním stavu = 0x1002.
Pokud je výše uvedený protokol RASlog pozorován po upgradu FOS, pak ředitel nebo přepínač před upgradem narazil na selhání "přetečení vyrovnávací paměti
" a bude nutné provést úplný restart, aby se plně obnovil ze stavu selhání:
Ředitelé: Vypnutí/zapnutí slotu na dotčených přepínačích blade
portů: Restartujte (úplné restartování) přepínače.
Affected Products
Connectrix DS-7720B, Connectrix DS-7730B, Connectrix ED-DCX7-4B, Connectrix ED-DCX7-8B