Avamar slow backup performance - sådan fejlfinder og identificerer du flaskehalse (LØSNINGSSTI)

  
Typiske symptomer på langsom sikkerhedskopieringsydeevne:

• Sikkerhedskopieringen kan ikke fuldføres i det planlagte vindue. Aktivitetsovervågningen rapporterer "Klient-timeout - slut"
• Sikkerhedskopiering får ikke en chance for at starte, før det planlagte vindue slutter. Aktivitetsovervågningen rapporterer "Klient-timeout - start"
• Garbage Collection mislykkes jævnligt med MSG_ERR_BACKUPSINPROGRESS eller MSG_ERR_TRYAGAINLATER 

Se Løsning for at få en liste over årsager.

Indsaml oplysninger:
Indsaml detaljerede oplysninger om problemet: 

• Oplysninger, som supporten kræver ved undersøgelse af problemer med Avamar Client-sikkerhedskopieringsydeevnen.

Find ud af, hvilken del af sikkerhedskopieringen der har den mest alvorlige flaskehals:
Følgende skematik viser de primære komponenter i et sikkerhedskopieringssystem.  


Der findes ALTID flaskehalse, men vi bør arbejde på at forstå, hvor de er.
Hvis vi kan gøre dette og afbøde flaskehalsen, bør ydeevnen forbedres. 
Når en flaskehals er afhjulpet, kan en anden flaskehals vise sig. Vores slutmål er at nå en situation, hvor sikkerhedskopieringstiden er acceptabel. 


Avamar-serversideflaskehalse:
Hvis ALLE sikkerhedskopieringer til en Avamar-server er langsomme, skal du overveje muligheden for et serversideproblem.  
Hvis ALLE sikkerhedskopieringer til en Avamar-server er langsomme på visse tider af dagen, skal du overveje en serversidekonfleksition eller en netværksflaskehals.
Hvis der er et problem med ydeevnen med en eller nogle få sikkerhedskopieringsklienter, skal du fokusere på hver enkelt klient af sig selv.


Servertilstand:
En sund Avamar-server er sandsynligvis ikke en flaskehalse for sikkerhedskopier. 

Kontroller sikkerhedskopieringsserverens tilstand.  

• Avamar: Sådan kører du proactive_check.pl-helbredstjekscriptet på en Avamar Server
• Hvis der sendes sikkerhedskopier til Data Domain, skal du kontrollere DD Autosupport-oplysninger eller kontakte Data Domain-support for at kontrollere, om de er sunde

Avamar begrænser klientforbindelser for at bevare acceptable niveauer af ydeevne.
Se Avamar: Hvor mange samtidige klientsessioner kan der oprettes til Avamar-serveren? (versioner 6.1 og nyere)  

Serverindhold:

Hvis der er tidspunkter på dagen, hvor sikkerhedskopieringens ydeevne er dårlig, kan det indikere blokering.

• Det sched.sh script kan give en visuel fremstilling af aktiviteter, der kørte parallelt med den langsomme sikkerhedskopiering.
• Se Avamar: Sådan bruger du et sched.sh script til at kontrollere tidligere sikkerhedskopierings-, replikerings- og vedligeholdelsesaktivitet på en Avamar Server.
• Kontroller, om vedligeholdelsesopgaverne er i gang, ved at køre status.dpn
• Kontroller, hvor mange klientsessioner der er aktive

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Arranger planer for vedligeholdelse og sikkerhedskopiering, så de ikke overlapper hinanden.
• Gennemse outputtet af status.dpn - og topkommandoerne for at kontrollere belastningen på datanoderne
• Kør mapall "ihubt -x"  på datanoderne. Kontroller %iowait og %idle og %util for at se, om I/O-båndbredden for en disk er mættet.
• For at isolere en bestemt klients ydeevne skal du teste sikkerhedskopieringen, når Avamar-serveren ikke udfører vedligeholdelsesopgaver eller andre sikkerhedskopieringer eller replikering.

Ydeevne for datadomænesikkerhedskopiering:
Log på Dells supportportal, og gennemse:

• Data Domain: DDPCONBURK Sådan foretager du fejlfinding af Data Domain DDBoost-tilslutning og -ydeevne

Flaskehalse på netværkssiden:
Netværket kan være en flaskehals, hvis en klient sikkerhedskopieres via et WAN.

Netværksventetid:
Dette påvirker den hastighed, hvormed klienter kan kontrollere, om der findes hashes på Avamar-serveren.  

• Kør ping fra klienten til Avamar-serveren, og kontroller netværkets pakketab og ventetid

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Hvis klient og server er adskilt af et WAN, bør du overveje, om linket kan overføre mængden af data (i dette tilfælde 4,316 GB) i sikkerhedskopieringsvinduet.

Disse værdier er alle sammen indbyrdes forbundet:

• Mængde nye sikkerhedskopieringsdata
• Tid til sikkerhedskopiering
• Effektiv netværksbåndbredde

Større mængder nye data kræver mere netværksbåndbredde eller længere sikkerhedskopieringstid.
Disse faktorer har praktiske begrænsninger, men kan styres til en vis grad af brugeren.
Overvej, om nogen af dem kan ændres for at imødekomme en rettidig sikkerhedskopiering.


Hvis der er mistanke om en netværksflaskehals eller et serverkommunikationsproblem:
Bekræft netværksoverførselshastighed mellem klienten og sikkerhedskopieringsenheden. 

• Avamar - Sådan køres iperf mellem to Avamar-systemer for at teste netværkets overførselshastighed

Aktiver avtar comstats-logføring for at lette fejlfindingen.

• Avamar: Sådan aktiveres og fortolkes avtar COMSTATS-logføring for at diagnosticere kommunikationsproblemer

 

Flaskehalse på klientsiden:

• Avamar Backup mislykkedes med "Time Out - End", fordi den stadig udfører en indledende sikkerhedskopiering

Sørg for, at sikkerhedskopieringen ikke blev annulleret før tid:
Søg i sikkerhedskopieringsloggen efter "annulleret". Nedenfor vises et eksempel, hvor en utålmodig bruger annullerede en L1-sikkerhedskopiering.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

I tilfælde som dette, hvor en sikkerhedskopiering afsluttes uden problemer, bevares dataene som en "DELVIS" sikkerhedskopi.

• Avamar: Delvis sikkerhedskopieringsfunktionalitet og bedste praksis for indledende sikkerhedskopieringer

Selvom delvise sikkerhedskopieringslogfiler angiver sikkerhedskopiens ydeevne, kræver korrekt analyse logfilen fra en fuldført sikkerhedskopiering.


Kontrollér logfilen for problemer med størrelse på filcache eller hash-cache:

• Se Avamar - Sådan kontrollerer du Avamar-klientloggen for problemer med størrelse af filcache eller hash-cache

Kontroller, om begrænsningsflagene er videresendt til avtar:
Avtar CPU- eller netværksbegrænsning reducerer sikkerhedskopieringsydeevnen betydeligt. 
Se Avamar: Sådan begrænses en Avamar-klients forbrug af systemressourcer (CPU, netværk, I/O > hukommelse).

Dette kan registreres i sikkerhedskopieringsloggen.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Er der en Avamar Client CPU- eller hukommelsesflaskehals?
En Avamar-sikkerhedskopiering kører så hurtigt, som hardware tillader og konkurrerer med andre services om ressourcer. Vær opmærksom på klientens "dagjob", og når den er optaget. 

Overvåg klienten ved hjælp af Jobliste eller Process Explorer (i Windows) eller kommandoen "top" (UNIX eller Linux). Disse kan viseCPU-mætning under sikkerhedskopieringen. 

Dell har et internt "LogAnalyzer"-værktøj, der kortlægger ressourceforbrug og ydeevne over tid. Arbejd med support for at bruge dette.

Cache-filer indlæses i hukommelsen under sikkerhedskopieringen. Kontroller klientens hukommelsesforbrug for at se efter sidefejl eller indikerer, at klienten ikke har RAM.

Dette er mindre et problem, hvor Avamar v7.x-klienter til Data Domain udnytter "sidecachen" (f_cache2.dat).
Sidecachen reducerer hukommelsesfodaftrykket på en klient sammenlignet med den traditionelle "monolitiske" avtar-cache.


Kontroller, om der er en I/O-flaskehals på klientsiden:
Efter størrelsen af klientcachen er den næste faktor, der bestemmer sikkerhedskopieringsydeevnen, det lagersystem, der hoster sikkerhedskopieringsdataene og feeds til avtar.


Sørg for, at destinationslageret er sundt:
Sørg for, at der ikke er nogen problemer med destinationsstorageenheden, der forhindrer optimal ydeevne. 
 

Sørg for, at tredjepartssoftware ikke konkurrerer med avtar for I/O:
Er der programmer på klienten, der konkurrerer med Avamar-klienten om storage-I/O?
Antivirussoftware i realtid eller on-access-scanning påvirker drastisk Avamar-klientens ydeevne.  

• Se, at Avamar Client-sikkerhedskopieringsydeevnen er meget påvirket af scanning af filer i realtid af antivirussoftware

• Brug af diskenheds parallelitet til at forbedre Avamar-sikkerhedskopieringsydeevnen

Sørg for, at klienten ikke sikkerhedskopierer data ved hjælp af CIFS eller NFS:
Sikkerhedskopiering af CIFS- eller NFS-data understøttes kun via en NDMP-accelerator. 

• Avamar og understøttelse til CIFS (SMB) & NFS tilknyttede netværksshares. 

Kontrollér, om lagringskomprimering eller -kryptering er i brug:
Ydeevnen for sikkerhedskopiering kan være lavere end forventet, hvis måldataene er placeret på destinationsstorage, hvor data komprimeres eller krypteres på filsystemniveau.  


Analyse af flaskehalse i Windows-klientressourcer med Perfmon:
Følgende artikel hjælper med at oprette ydelsesdiagram for at forstå, om klienten venter på en bestemt ressource på et bestemt tidspunkt. Overvej at bruge med diagrammer, der er produceret af LogAnalyzer-værktøjet.

• Avamar - Brug af Microsoft Windows perfmon til overvågning af ydeevne for Avamar-klienter 

Sikkerhedskopiering af Outlook-arkiv .pst-filer
En sikkerhedskopiering med mange eller store .pst-filer kan køre langsomt. 

• Overvejelser om ydeevne ved brug af Avamar til sikkerhedskopiering af Outlook-arkiv .pst-filer

Benchmarking-storageydeevne
Kontroller ydeevnen for den lagerenhed, hvor måldataene er hostet.

• Test af diskydeevne for Avamar Linux-klienter 

Dårlig sikkerhedskopieringsydeevne pga. sikkerhedskopiering af data:
Den mest almindelige årsag til langsomme sikkerhedskopieringer skyldes egenskaberne for de data, der sikkerhedskopieres.


Kontroller, om der er en masse nye eller ændrede data:

• Avamar - En sikkerhedskopiering er langsom eller mislykkes med "Timeout - slut" pga. en masse nye eller ændrede data  

Et par store nye eller ændrede filer kan medføre, at en ellers hurtig sikkerhedskopiering overskrider sikkerhedskopieringsvinduet. Se følgende for at identificere disse filer:

• Avamar: Sådan bruges klientlogfilerne til at identificere, hvilke filer der er nye eller ændres siden den forrige sikkerhedskopiering   
• Sådan identificerer du, hvilke filer der tager lang tid at blive behandlet under en Avamar-sikkerhedskopiering 

Windows-klienter

• Avamar-sikkerhedskopiering af datasæt, der indeholder mange symbolske links, kører meget langsomt  
• Avamar Client-ydeevne og Windows NTFS-komprimering 

Linux- og UNIX-klienter - Kontrollér, om klientens datasæt indeholder store, sparse-filer. 

• Avamar- og Sparse-filer 
• Sikkerhedskopieringsstørrelsen på en Avamar Linux-klient kan være misvisende på grund af "/var/log/lastlog" og Avamar Sparse-filhåndteringsadfærd 

Kontroller linjerne for sikkerhedskopieringen for at forstå sikkerhedskopieringens omfang, og identificer outlier-værdier:
Søg i sikkerhedskopieringsloggen efter strengene "Sikkerhedskopieringsnr." eller "Sikkerhedskopieret".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Dette kan spare dig en masse tid, når du undersøger ydeevnen af sikkerhedskopieringen.
For ovenstående output skal du overveje:

1. Om dette er en indledende sikkerhedskopiering eller en sikkerhedskopi på niveau 1. (Det er usandsynligt, da sikkerhedskopieringsmærkaten er #441)
2. Hvorvidt antallet af filer i sikkerhedskopien er rimeligt. (2,6 millioner filer er rimelige)
3. Fil-til-mappe-forhold? (Den er 10:1, dette er typisk)
4. Den samlede mængde data i datasættet. (~1,5 TB)
5. Antallet af filer, der skal behandles, og procentdelen af det samlede antal filer. (~11 K ud af 2,5 M filer er rimeligt)
6. Den samlede størrelse af alle filer, der skal behandles. (Dette kan kun være et skøn)
7. Mængden af ændrede data, der skal sendes til Avamar-serveren. (668 MB)
8. Om ændringshastigheden er rimelig. Højere ændringshastigheder kan tolereres for mindre datasæt (0,04 % er rimeligt)
9. Hvorvidt det er rimeligt med en ydeevne pr. time i betragtning af den samlede størrelse og omfanget af sikkerhedskopieringen. (124 K-filer/time anses for at være langsom ydeevne med de andre tal)

Ofte giver disse oplysninger os data nok til at forstå årsagen til dårlig sikkerhedskopieringsydeevne.
Hvis det er nødvendigt, skal du gennemgå meddelelserne på statuslinjen, der genereres, mens sikkerhedskopieringen kører.

Find ud af, om nogen af værdierne i disse to loglinjer er outliers. Er de med andre ord større eller mindre end de typiske? Bliv fortrolig med dine sikkerhedskopier, og det bliver nemt at registrere afvigelser.


Fil-til-mappe-forhold
De fleste kundedatasæt har en fil til mappe på ca. 10:1, og avtar er indstillet til at afspejle dette.
Hvis et datasæt har et lavt fil-til-mappe-forhold som i eksemplet nedenfor, kører sikkerhedskopieringen muligvis ikke så effektivt uden mindre finindstilling.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Se Avamar Client-justering af ydeevnen for sikkerhedskopiering for datasæt med lavt forhold mellem filer og mapper.

Ydelsesanalyse ved hjælp af meddelelser om status for avtar-log:
Brug Notesblok++ eller lignende til at filtrere logfilen for avtar-infolinjer, der indeholder statusmeddelelser . Disse kan filtreres ved hjælp af de kodeposter, der indeholder <5100> eller <8688> , afhængigt af Avamar-klientens version. Disse linjer er meddelelser om periodisk status rapporteret af avtar.

• Avamar - Sådan fortolker du avtar-sikkerhedskopieringslogstatuslinjer.  

• Avamar-sikkerhedskopiering kører langsomt på grund af tredjepartssoftware, der ændrer metadata for ellers uændrede filer 

Gennemgå brugen af inkluderings- og udeladelsesflag. Undgå "include"-udsagn:
Vejledningen for bedste praksis for drift gennemgår lister over inkludering og udeluk. 

Avamar skal sammenligne alle filer i sikkerhedskopieringsdatasættet med begge lister for at afgøre, om filen skal sikkerhedskopieres. Denne sammenligningsproces tilføjer overhead og kan øge sikkerhedskopieringens driftstid.

Kontroller klientens avs\var-mappe for tilstedeværelsen af en avtar.cmd-fil .
Kontrollér, om den pågældende fil indeholder et aktivt --exclude eller --exclude-from-file-udsagn .
Hvis en mappe eller et filsystem ikke er inkluderet, men der anvendes flag, scanner avtar-scanningen for elementer, som det har fået bedt om at "inkludere".

Kontrollér, om datasættet indeholder reparse-punkter eller stubfiler:
Vær forsigtig, hvis et datasæt indeholder stumper eller markører til data, der er gemt på en anden enhed.
Sikkerhedskopieringsydeevnen forringes, hvis avtar skal vente på, at fjernfilen er tilbagekaldt.
Eksempler på sådan software er: Enterprise Vault Archiver, Moonchel og DiskXtender.

• Windows-sikkerhedskopieringsydeevnen er langsom pga. reparse pointhåndtering (v7.1, v7.2).

Sikkerhedskopiering af virtuelle klienter med en Avamar-gæsteinstallation

• Avamar-gæstesikkerhedskopiering af virtuel maskine kører langsomt og får timeout på grund af en flaskehals for hardwareressourcer  
• Avamar VM Client-gæstesikkerhedskopiering oplever langsom ydeevne på grund af VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Dårlig sikkerhedskopieringsydeevne i winclusterfs pluginsikkerhedskopiering efter opgradering til 7.2 fra 7.0 

Andre bemærkninger

• Sørg for, at klienter med virtuelle maskiner ikke er ressourcebegrænset eller overholder strenge hardwarebegrænsninger, der påvirker Avamar-sikkerhedskopieringens evne til at fuldføre hurtigt.  På travle maskiner kan operativsystemet være overbelastet eller slå for mange tråde sammen, hvilket resulterer i alvorlig kontekstskift.
• Brug af vejledningen til bedste praksis for Avamar-drift til at optimere Avamar-systemet, planlægge sikkerhedskopier og finjustere klientcachehukommelser.

Andre referencer

• Avamar Client-ydeevne og Windows NTFS-komprimering