Avamar treg sikkerhetskopieringsytelse – slik feilsøker og identifiserer du flaskehalser (RESOLUTION PATH)

  
Typiske symptomer på treg sikkerhetskopieringsytelse:

• Sikkerhetskopieringen kan ikke fullføres i det planlagte vinduet. Aktivitetsskjermen rapporterer «Klient tidsavbrudd – slutt»
• Sikkerhetskopiering får ikke en sjanse til å starte før det planlagte vinduet avsluttes. Aktivitetsskjermen rapporterer «Client time out - start» (Klient tidsavbrudd – start)
• Datasanering mislykkes jevnlig med MSG_ERR_BACKUPSINPROGRESS eller MSG_ERR_TRYAGAINLATER 

Se Løsning for en liste over årsaker.

Samle inn informasjon:
Samle inn detaljert informasjon om problemet: 

• Informasjon som kreves av kundestøtte når du undersøker problemer med sikkerhetskopiering av Avamar-klient.

Fastslå hvilken del av sikkerhetskopieringskjeden som har det mest alvorlige flaskehalsen:
Følgende skjema viser hovedkomponentene i et sikkerhetskopieringssystem.  


Flaskehalser finnes ALLTID, men vi bør arbeide for å forstå hvor de er.
Hvis vi kan gjøre dette og redusere flaskehalsen, bør ytelsen forbedres. 
Når en flaskehals er redusert, kan en annen flaskehals bli tydelig. Målet vårt er å komme i en situasjon der varigheten av sikkerhetskopieringen er akseptabel. 


Avamar-flaskehalser på serversiden:
Hvis alle sikkerhetskopier til en Avamar-server er trege, bør du vurdere muligheten for et problem på serversiden.  
Hvis alle sikkerhetskopieringer til en Avamar-server er trege på bestemte tider på dagen, bør du vurdere en konflikt på serversiden eller en nettverksflaskehals.
Hvis det er et ytelsesproblem med én eller noen få sikkerhetskopieringsklienter, må du fokusere på hver klient alene.


Servertilstand:
En god Avamar-server vil sannsynligvis ikke være en flaskehals for sikkerhetskopiering. 

Kontroller tilstanden til sikkerhetskopieringsserveren.  

• Avamar: Slik kjører du proactive_check.pl-skriptet for helsesjekk på en Avamar-server
• Hvis det sendes sikkerhetskopier til Data Domain, kan du sjekke informasjon om DD Autosupport eller koble til Data Domain-støtte for å bekrefte at det er sunt

Avamar begrenser klienttilkoblinger for å bevare akseptable ytelsesnivåer.
Se Avamar: Hvor mange samtidige klientøkter kan gjøres på Avamar-serveren? (versjon 6.1 og nyere)  

Serverkonflikt:

Hvis noen ganger på dagen sikkerhetskopieringsytelsen er dårlig, kan dette tyde på en konflikt.

• Skriptet sched.sh kan gi en visuell fremstilling av aktiviteter som kjørte parallelt med den trege sikkerhetskopieringen.
• Se Avamar: Slik bruker du skriptet sched.sh til å kontrollere historisk aktivitet for sikkerhetskopiering, replikering og vedlikehold på en Avamar-server.
• Se etter pågående vedlikeholdsoppgaver ved å kjøre status.dpn
• Kontroller hvor mange klientøkter som er aktive

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Ordne vedlikeholds- og sikkerhetskopieringsplaner slik at de ikke overlapper hverandre.
• Se gjennom utdataene for status.dpn og de øverste kommandoene for å kontrollere belastningen på datanodene
• Kjør mapall iostat -x  på datanodene. Kontroller %dllit og %idle og %util for å se om I/O-båndbredden til en disk er mettet.
• Hvis du vil isolere en bestemt klients ytelse, tester du sikkerhetskopieringen når Avamar-serveren ikke utfører vedlikeholdsoppgaver eller andre sikkerhetskopier eller replikeringer.

Ytelse for sikkerhetskopiering av datadomene:
Logg på Dell Support-portalen, og se gjennom følgende:

• Data Domain: DDPCONNCHK Slik feilsøker du Data Domain DDBoost-tilkobling og -ytelse

Flaskehalser på nettverkssiden:
Nettverket kan være et flaskehals hvis en klient sikkerhetskopieres over en WAN.

Nettverksventetid:
Dette påvirker hastigheten som klientene kan kontrollere om hashes finnes på Avamar-serveren.  

• Kjør ping fra klienten til Avamar-serveren, og kontroller nettverkets pakketap og ventetid

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Hvis klienten og serveren er separert med en WAN, bør du vurdere om koblingen kan overføre mengden data (i dette tilfellet 4,316 GB) i vinduet for sikkerhetskopiering.

Alle disse verdiene er sammenkoblet:

• Antall nye sikkerhetskopieringsdata
• Tid tilgjengelig for sikkerhetskopiering
• Effektiv nettverksbåndbredde

Større mengder nye data krever mer nettverksbåndbredde eller lengre sikkerhetskopieringstid.
Disse faktorene har praktiske grenser, men kan kontrolleres i en viss grad av brukeren.
Vurder om noen av dem kan manipuleres for å imøtekomme en betimelig sikkerhetskopiering.


Hvis det er mistanke om et problem med nettverksflaskehals eller serverkommunikasjon:
Bekreft nettverksgjennomstrømning mellom klienten og sikkerhetskopienheten. 

• Avamar – Slik kjører du iperf mellom to Avamar-systemer for å teste nettverksgjennomstrømmingsytelsen

Aktiver avtar comstats logging for å forenkle feilsøking.

• Avamar: Slik aktiverer og tolker du avtar COMSTATS-logging for å diagnostisere kommunikasjonsproblemer

 

Flaskehalser på klientsiden:

• Avamar Backup mislyktes med "Time Out - End" (Tidsavbrudd – slutt) fordi det fortsatt utfører en innledende sikkerhetskopiering

Kontroller at sikkerhetskopieringen ikke ble avbrutt for tidlig:
Søk i sikkerhetskopieringsloggen etter "canceled" (Avbrutt). Nedenfor finner du et eksempel på at en administratorbruker avbrøt en L1-sikkerhetskopi.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

I tilfeller som dette, der en sikkerhetskopi avsluttes på en enkel måte, beholdes dataene som en DELVIS sikkerhetskopi.

• Avamar: Delvis sikkerhetskopieringsfunksjonalitet og beste praksis for innledende sikkerhetskopieringer

Selv om delvise sikkerhetskopieringslogger indikerer sikkerhetskopieringsytelse, krever riktig analyse loggen fra en fullført sikkerhetskopi.


Kontroller loggen for problemer med filhurtigbuffer eller størrelse på hash-hurtigbuffer:

• Se Avamar – Slik kontrollerer du avamar-klientloggen for filhurtigbuffer eller størrelsesproblemer med hash-hurtigbuffer

Kontroller om begrensningsflagg sendes til avtar:
Avtar CPU eller nettverksregulering reduserer ytelsen til sikkerhetskopieringen betraktelig. 
Se Avamar: Slik kan du strupe en Avamar-klients forbruk av systemressurser (CPU, nettverk, I/O &minne).

Dette kan oppdages i sikkerhetskopieringsloggen.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Finnes det en Avamar-klient-CPU eller et minneflaskehals?
En Avamar-sikkerhetskopiering kjører så raskt som maskinvaren tillater, og konkurrerer med andre tjenester for ressurser. Utsend klientens "day job" (dagjobb) og når den er opptatt. 

Overvåk klienten ved hjelp av Oppgavebehandling eller Process Explorer (på Windows) eller den øverste kommandoen (UNIX eller Linux). Disse kan viseat det oppstår CPU-metning under sikkerhetskopieringen. 

Dell har et internt LogAnalyzer-verktøy som diagrammer over ressursforbruk og ytelse over tid. Samarbeid med kundestøtte for å bruke dette.

Hurtigbufferfiler lastes inn i minnet under sikkerhetskopieringen. Kontroller klientens minnebruk for å se etter sidefeil eller informasjon om at klienten mangler RAM.

Dette er mindre et problem der Avamar v7.x-klienter til Data Domain utnytter sidevekslingsbufferen (f_cache2.dat).
Sidevekslingsbufferen reduserer minnets fotavtrykk på en klient sammenlignet med den tradisjonelle "monolittiske" avtar-hurtigbufferen.


Se etter et I/O-flaskehals på klientsiden:
Etter at klienthurtigbufferen er dimensjonert, er den neste faktoren som fastsetter sikkerhetskopieringsytelsen lagringssystemet som er vert for sikkerhetskopieringsdataene, og mater den til avtar.


Kontroller at mållagringen er god:
Kontroller at det ikke er noen problemer med at mållagringsenheten hindrer optimal ytelse. 
 

Kontroller at tredjeparts programvare ikke konkurrerer med avtar for I/O:
Konkurrerer noen applikasjoner på klienten med Avamar-klienten for lagrings-I/O?
Antivirusprogramvare i sanntid eller skanning med tilgangstilgang påvirker Avamar-klientens ytelse drastisk.  

• Se Avamar-klientens ytelse for sikkerhetskopiering er sterkt påvirket av skanning av filer i sanntid av antivirusprogrammer

• Bruke volumparallelitet for å forbedre Avamar-ytelsen for sikkerhetskopiering

Kontroller at klienten ikke sikkerhetskopierer data ved hjelp av CIFS eller NFS:
Sikkerhetskopiering av CIFS- eller NFS-data støttes bare via en NDMP-akselerator. 

• Avamar og støtte for CIFS (SMB) og NFS-tilordnede nettverksressurser. 

Kontroller om lagringskomprimering eller kryptering er i bruk:
Sikkerhetskopieringsytelsen kan være lavere enn forventet hvis måldataene befinner seg på mållagring der data komprimeres eller krypteres på filsystemnivå.  


Analysere flaskehalser med Windows-klientressurser med Perfmon:
Følgende artikkel hjelper deg med å opprette ytelsesgrafer for å forstå om klienten venter på en bestemt ressurs på et bestemt tidspunkt. Vurder å bruke med grafer som er produsert av LogAnalyzer-verktøyet.

• Avamar – Bruke Microsoft Windows perfmon for ytelsesovervåking av Avamar-klienter 

Sikkerhetskopiering av Outlook-arkivets PST-filer
En sikkerhetskopi med mange eller store .pst-filer kan utføres sakte. 

• Ytelsesvurderinger når du bruker Avamar til å sikkerhetskopiere Outlook-arkivets PST-filer

Ytelsestesting av lagringsytelse
Kontroller ytelsen til lagringsenheten der måldataene ligger.

• Diskytelsestesting for Avamar Linux-klienter 

Dårlig ytelse for sikkerhetskopiering på grunn av sikkerhetskopiering av data:
Den vanligste årsaken til treg sikkerhetskopiering skyldes egenskapene til dataene som sikkerhetskopieres.


Kontroller om det er mange nye eller endrede data:

• Avamar – En sikkerhetskopi er treg eller mislykkes med «Time out - end» (Tidsavbrudd – slutt) på grunn av mange nye eller endrede data  

Noen få store, nye eller endrede filer kan føre til at en annen rask sikkerhetskopiering overkjører vinduet for sikkerhetskopiering. Hvis du vil identifisere disse filene, kan du se:

• Avamar: Slik bruker du klientloggene til å identifisere hvilke filer som er nye eller endret etter forrige sikkerhetskopiering   
• Slik identifiserer du hvilke filer som tar lang tid å behandle under en Avamar-sikkerhetskopi 

Windows-klienter

• Avamar-sikkerhetskopiering av datasett som inneholder mange symbolske koblinger, kjører svært sakte  
• Avamar-klientytelse og Windows NTFS-komprimering 

Linux- og UNIX-klienter – kontroller om klientens datasett inneholder store, sparsomme filer. 

• Avamar og sparsomme filer 
• Størrelsen på sikkerhetskopieringen til en Avamar Linux-klient kan være svært viktig på grunn av '/var/log/lastlog'- og Avamar-atferd for håndtering av filer 

Kontroller linjene for sikkerhetskopieringssammendraget for å forstå sikkerhetskopiomfanget og identifisere verdier som er mer enn følgende:
Søk i sikkerhetskopieringsloggen etter strengene «Backup #» eller «Backed-up».

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Disse kan spare deg for mye tid når du undersøker ytelsen til sikkerhetskopieringen.
For utdataene ovenfor bør du vurdere følgende:

1. Enten dette er en første sikkerhetskopi eller en sikkerhetskopi på nivå 1. (Usannsynlig, siden sikkerhetskopieringsetiketten er #441)
2. Hvorvidt antall filer i sikkerhetskopien er rimelig. (2,6 millioner filer er rimelige)
3. Fil-til-mappe-forhold? (Det er 10:1, dette er vanlig)
4. Den totale mengden data i datasettet. (~1,5 TB)
5. Antall filer som skal behandles, og andelen av det totale antallet filer. (~11 K av 2,5 M filer er rimelig)
6. Den totale størrelsen på alle filene som skal behandles. (Dette kan bare være et estimat)
7. Mengden endrede data som skal sendes til Avamar-serveren. (668 MB)
8. Hvorvidt endringshastigheten er rimelig. Høyere endringshastigheter kan tolereres for mindre datasett (0,04 % er rimelig)
9. Hvorvidt ytelsen per time, gitt den totale størrelsen og omfanget til sikkerhetskopien, er rimelig. (124 K-filer/-timer anses som treg ytelse gitt de andre figurene)

Ofte gir disse detaljene oss nok data til å forstå årsaken til dårlig sikkerhetskopieringsytelse.
Hvis det er nødvendig, går du gjennom statuslinjemeldingene som genereres mens sikkerhetskopieringen kjøres.

Finn ut om noen av verdiene i disse to logglinjene er utenfor. Med andre ord, er de større eller mindre enn vanlig? Bli kjent med sikkerhetskopiene dine, og det vil være enkelt å oppdage avvik.


Fil-til-mappe-forhold
De fleste kundedatasett har en fil til mappe på ca. 10:1, og avtar er justert for å gjenspeile dette.
Hvis et datasett har et lavt fil-til-mappe-forhold som i eksemplet nedenfor, kan det hende at sikkerhetskopieringen ikke kjører like effektivt uten mindre justering.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Se Ytelsesjustering for Avamar-klientens sikkerhetskopiering for datasett med lavt forhold mellom filer og mapper.

Ytelsesanalyse ved hjelp av avtar log Status-informasjonsmeldinger:
Bruk Notisblokk++ eller lignende til å filtrere loggen for avtar Info-linjer som inneholder statusmeldinger . Disse kan filtreres ved hjelp av kodeoppføringene som inneholder <5100> eller <8688> , avhengig av Avamar-klientens versjon. Disse linjene er periodiske statusmeldinger rapportert av avtar.

• Avamar – Slik tolker du statuslinjer for avtar-sikkerhetskopilogg.  

• Avamar-sikkerhetskopiering går tregt på grunn av tredjeparts programvare som endrer metadata for ellers uendrede filer 

Se gjennom bruken av inkluder og utelat flagg. Unngå "inkluder"-utsagn:
Veiledningen for beste praksis for drift drøfter lister for inkludering og utelatelse. 

Avamar må sammenligne hver fil i datasettet for sikkerhetskopiering med begge listene for å finne ut om filen skal sikkerhetskopieres. Denne sammenligningsprosessen legger til overhead, og kan øke kjøretiden for sikkerhetskopiering.

Kontroller klientens avs\var-katalog for å se om det finnes en avtar.cmd-fil .
Kontroller om filen inneholder aktive - utelate eller --ekskludere-fra-fil-utsagn .
Hvis et katalog- eller filsystem er ekskludert, men det brukes flagg, søker avtar etter elementer som det har blitt bedt om å inkludere.

Kontroller om datasettet inneholder gjentakende punkter eller minifiler:
Vær forsiktig hvis et datasett inneholder minifiler eller pekere til data som er lagret på en annen enhet.
Sikkerhetskopieringsytelsen blir påvirket hvis avtar må vente til den eksterne filen blir tilbakekalt.
Eksempler på slik programvare er: Enterprise Vault-arkivering, Dllwalk og DiskXtender.

• Windows-sikkerhetskopieringsytelsen er treg på grunn av reparse point handling (v7.1, v7.2).

Sikkerhetskopier av virtuelle klienter med en Avamar-gjesteinstallasjon

• Avamar guest backup of Virtual Machine kjører sakte og tidsavbrutt på grunn av flaskehalser i maskinvareressursen  
• Avamar VM-klient gjestesikkerhetskopiering opplever treg ytelse på grunn av VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Dårlig ytelse for sikkerhetskopiering i plugin-modulen winclusterfs etter oppgradering til 7.2 fra 7.0 

Andre merknader

• Sørge for at klienter med virtuell maskin ikke er ressursbegrenset eller overholder strenge maskinvarebegrensninger som påvirker muligheten for at Avamar-sikkerhetskopieringen kan fullføres raskt.  På travle maskiner kan operativsystemet bli overbelastet eller ha for mange tråder, noe som fører til kraftig kontekstveksling.
• Bruk av veiledningen for beste praksis for Avamar-drift for å optimere Avamar-systemet, planlegge sikkerhetskopier og justere klienthurtigbuffere.

Andre referanser

• Avamar-klientytelse og Windows NTFS-komprimering