Prestazioni di backup lente di Avamar: come risolvere i problemi e identificare i colli di bottiglia (PERCORSO DI RISOLUZIONE)

  
Sintomi tipici di prestazioni di backup lente:

• Il backup non viene completato nella finestra pianificata. Il monitoraggio attività segnala il timeout del client e la fine
• Il backup non ha la possibilità di iniziare prima del termine della finestra pianificata. Il monitoraggio attività segnala il timeout del client e l'avvio
• Garbage collection regolarmente non riuscita con MSG_ERR_BACKUPSINPROGRESS o MSG_ERR_TRYAGAINLATER 

Consultare Risoluzione per un elenco delle cause.

Raccolta di informazioni:
Raccogliere informazioni dettagliate sul problema: 

• Informazioni richieste dal supporto durante l'analisi dei problemi relativi alle prestazioni di backup del client Avamar.

Determinare quale parte della catena di backup presenta il collo di bottiglia più grave:
Lo schema seguente mostra i componenti principali di un sistema di backup.  


Esistono SEMPRE colli di bottiglia, ma dobbiamo lavorare per capire dove si trovano.
Se riusciamo a farlo e mitigare il collo di bottiglia, le prestazioni dovrebbero migliorare. 
Una volta attenuato il collo di bottiglia, potrebbe manifestarsi un altro collo di bottiglia. Il nostro obiettivo finale è raggiungere una situazione in cui la durata del backup è accettabile. 


Colli di bottiglia lato server Avamar:
Se TUTTI i backup su un server Avamar sono lenti, considerare la possibilità di un problema lato server.  
Se TUTTI i backup su un server Avamar sono lenti in alcuni momenti del giorno, considerare il conflitto lato server o un collo di bottiglia della rete.
Se si verifica un problema di prestazioni con uno o alcuni backup client, concentrarsi su ciascun client da solo.


Integrità del server:
È improbabile che un Avamar server integro sia un collo di bottiglia per i backup. 

Controllare lo stato del backup server.  

• Avamar: come eseguire lo script di controllo integrità proactive_check.pl su Avamar Server
• Se i backup vengono inviati a Data Domain, controllare le informazioni di supporto automatico di DD o contattare il supporto di Data Domain per verificare che sia integro

Avamar limita le connessioni client per mantenere livelli accettabili di prestazioni.
Vedere Avamar: Quante sessioni client simultanee possono essere eseguite su Avamar Server? (versioni 6.1 e successive)  

Conflitto con i server:

Se ci sono momenti del giorno in cui le prestazioni di backup sono scarse, ciò potrebbe indicare un conflitto.

• Lo script sched.sh può fornire una rappresentazione visiva delle attività in esecuzione in parallelo al backup lento.
• Vedere Avamar: Come utilizzare lo script sched.sh per controllare l'attività cronologica di backup, replica e manutenzione su un Avamar Server.
• Verificare la presenza di attività di manutenzione in corso eseguendo status.dpn
• Controlla quante sessioni client sono attive

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Organizzare le pianificazioni di manutenzione e backup in modo che non si sovrappongano.
• Esaminare l'output dei comandi status.dpn e top per controllare il carico sui nodi di dati
• Eseguire il comando mapall 'iostat -x'  sui nodi di dati. Controllare %numero di unità inattive e %inattive e %util per verificare se la larghezza di banda di I/O di qualsiasi disco è satura.
• Per isolare le prestazioni di un particolare client, testare il backup quando il server Avamar non esegue attività di manutenzione o altri backup o repliche.

Prestazioni di acquisizione del backup Data Domain:
Accedere al portale del supporto Dell ed esaminare:

• Data Domain: DDPCONNCHK: come risolvere i problemi di connettività e prestazioni di Data Domain DDBoost

Colli di bottiglia lato rete:
La rete può essere un collo di bottiglia se viene eseguito il backup di un client su una WAN.

Latenza di rete:
Ciò influisce sulla velocità con cui i client possono verificare se sono presenti hash sull'Avamar Server.  

• Eseguire il ping dal client ad Avamar Server e controllare la perdita e la latenza dei pacchetti della rete

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Se il client e il server sono separati da una WAN, considerare se il link può trasmettere la quantità di dati (in questo caso, 4,316 GB) all'interno della finestra di backup.

Questi valori sono tutti correlati:

• Quantità di nuovi dati di backup
• Tempo disponibile per il backup
• Larghezza di banda di rete effettiva

Quantità maggiori di nuovi dati richiedono una maggiore larghezza di banda di rete o un tempo di backup più lungo.
Questi fattori hanno limiti pratici, ma possono essere controllati in una certa misura dall'utente.
Considerare se uno di essi può essere manipolato per ospitare un backup tempestivo.


Se si sospetta un collo di bottiglia di rete o un problema di comunicazione del server:
Verificare il throughput di rete tra il client e il dispositivo di backup. 

• Avamar - Come eseguire iperf tra due sistemi Avamar per testare le prestazioni di throughput di rete

Abilitare la registrazione avtar comstats per facilitare la risoluzione dei problemi.

• Avamar: Come abilitare e interpretare il logging avtar COMSTATS per diagnosticare i problemi di comunicazione

 

Colli di bottiglia lato client:

• Backup Avamar non riuscito con "Time Out - End" perché esegue ancora un backup iniziale

Assicurarsi che il backup non sia stato annullato prematuramente:
Cercare "canceled" nel registro di backup. Di seguito è riportato un esempio in cui un utente interessato ha annullato un backup L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

In casi come questo, in cui un backup termina gradualmente, i dati vengono conservati come backup "PARTIAL".

• Avamar: Funzionalità di backup parziali e best practice per i backup iniziali

Sebbene i log di backup parziali indichino le prestazioni di backup, l'analisi corretta richiede il log da un backup completato.


Controllare il registro per verificare la presenza di problemi di dimensionamento della cache di file o hash:

• Vedere Avamar - Come verificare la presenza di problemi di dimensionamento della cache dei file o dell'hash cache nel registro del client Avamar

Verificare se i flag di regolazione vengono passati ad avtar:
La regolazione della CPU o della rete Avtar riduce notevolmente le prestazioni di backup. 
Vedere Avamar: Come limitare l'utilizzo delle risorse di sistema da parte di un client Avamar (CPU, rete, I/O e memoria).

Questa operazione può essere rilevata nel registro di backup.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

Esiste un collo di bottiglia della MEMORIA o della CPU del client Avamar?
Un backup Avamar viene eseguito alla velocità che l'hardware consente e compete con altri servizi per le risorse. Prestare attenzione al "lavoro giornaliero" del cliente e a quando è occupato. 

Monitorare il client utilizzando Gestione attività o Esplora processi (su Windows) o il comando "top" (UNIX o Linux). Questi possono rivelare lasaturazione della CPU i f durante il backup. 

Dell dispone di uno strumento interno "LogAnalyzer" che consente di grafici del consumo e delle prestazioni delle risorse nel tempo. Collaborare con il supporto per utilizzarlo.

I file cache vengono caricati in memoria durante il backup. Controllare l'utilizzo della memoria del client per rilevare errori di pagina o indica che il client è a corto di RAM.

Questo è meno di un problema in cui i client Avamar v7.x a Data Domain sfruttano la "cache di paging" (f_cache2.dat).
La cache di paging riduce l'ingombro della memoria su un client rispetto alla tradizionale cache avtar "monolitica".


Verificare la presenza di un collo di bottiglia I/O lato client:
Dopo il dimensionamento della cache client, il fattore successivo che determina le prestazioni di backup è il sistema di storage che ospita i dati di backup e i feed in avtar.


Assicurarsi che lo storage di destinazione sia integro:
Accertarsi che non vi siano problemi con lo storage device di destinazione che impedisce prestazioni ottimali. 
 

Assicurarsi che il software di terze parti non sia in competizione con avtar per I/O:
Alcune applicazioni sul client competono con il client Avamar per l'I/O di storage?
La scansione in tempo reale o all'accesso del software antivirus influisce notevolmente sulle prestazioni del client Avamar.  

• Osserva che le prestazioni di backup del client Avamar sono notevolmente influenzate dalla scansione in tempo reale del software antivirus dei file

• Utilizzo del parallelismo dei volumi per migliorare le prestazioni di backup di Avamar

Assicurarsi che il client non stia eseguendo il backup dei dati utilizzando CIFS o NFS:
Il backup dei dati CIFS o NFS è supportato solo tramite un acceleratore NDMP. 

• Avamar e supporto per CIFS (SMB) e share di rete mappate NFS. 

Verificare se la compressione o la crittografia dello storage è in uso:
Le prestazioni di backup possono essere inferiori al previsto se i dati di destinazione risiedono nello storage di destinazione in cui i dati vengono compressi o crittografati a livello di file system.  


Analisi dei colli di bottiglia delle risorse client Windows con Perfmon:
Il seguente articolo consente di creare grafici delle prestazioni per capire se il client è in attesa di una determinata risorsa in un determinato momento. È consigliabile utilizzare con i grafici prodotti dallo strumento LogAnalyzer.

• Avamar - Utilizzo di Microsoft Windows perfmon per il monitoraggio delle prestazioni dei client Avamar 

Backup dei file
.pst di archivio di OutlookUn backup con molti o file .pst di grandi dimensioni potrebbe essere lento. 

• Considerazioni sulle prestazioni quando si utilizza Avamar per eseguire il backup dei file .pst di archivio di Outlook

Benchmarking delle prestazioni
di storageControllare le prestazioni del dispositivo di storage in cui sono ospitati i dati di destinazione.

• Test delle prestazioni del disco per i client Linux Avamar 

Scarse prestazioni di backup a causa dei dati sottoposti a backup:
La causa più comune dei backup lenti è dovuta alle caratteristiche dei dati sottoposti a backup.


Verificare se sono presenti molti dati nuovi o modificati:

• Avamar - Un backup è lento o non riesce con "Time out - end" a causa di numerosi dati nuovi o modificati  

Alcuni file nuovi o modificati di grandi dimensioni possono causare un backup rapido che potrebbe in altro modo sovraccaricare la finestra di backup. Per identificare questi file, consultare:

• Avamar: Come utilizzare i registri del client per identificare i file nuovi o modificati rispetto al backup precedente   
• Come identificare i file che hanno richiesto molto tempo per essere elaborati durante un backup Avamar 

Client Windows

• Il backup Avamar del dataset contenente molti link simbolici viene eseguito molto lentamente  
• Prestazioni del client Avamar e compressione NTFS di Windows 

Client Linux e UNIX: verificare se il dataset del client contiene file sparse di grandi dimensioni. 

• File Avamar e sparse 
• Le dimensioni di backup di un client Linux Avamar potrebbero essere fuorvianti a causa del comportamento di gestione dei file sparse di '/var/log/lastlog' e Avamar sparse file 

Controllare le righe di riepilogo del backup per comprendere l'ambito del backup e identificare i valori outlier:
Cercare nel registro di backup le stringhe "Backup #" o "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

In questo modo è possibile risparmiare molto tempo durante l'analisi delle prestazioni di backup.
Per l'output precedente, considerare:

1. Che si tratti di un backup iniziale o di livello 1. (Improbabile, poiché l'etichetta di backup è n. 441)
2. Se il numero di file nel backup è ragionevole. (2,6 milioni di file sono ragionevoli)
3. Il rapporto file-cartella? (è 10:1, è tipico)
4. La quantità totale di dati nel dataset. (~1,5 TB)
5. Il numero di file da elaborare e la proporzione del numero totale di file. (circa 11.000 su 2,5 milioni di file sono ragionevoli)
6. Dimensione totale di tutti i file da elaborare. (questa può essere solo una stima)
7. La quantità di dati modificati da inviare ad Avamar Server. (668 MB)
8. Se il tasso di modifica è ragionevole. Tassi di modifica più elevati possono essere tollerati per dataset più piccoli (lo 0,04% è ragionevole)
9. Se le prestazioni all'ora, date le dimensioni complessive e l'ambito del backup, sono ragionevoli. (124.000 file/ora saranno considerati prestazioni lente date le altre figure)

Spesso, questi dettagli ci forniscono dati sufficienti per comprendere la causa delle scarse prestazioni di backup.
Se necessario, rivedere i messaggi della riga di stato generati durante l'esecuzione del backup.

Determinare se uno dei valori di queste due righe di registro è in stato outlier. In altre parole, sono più grandi o più piccole di quanto sia tipico? Acquisisci familiarità con i backup e sarà facile rilevare anomalie.


Rapporto
file-cartellaLa maggior parte dei dataset dei clienti dispone di un file nella cartella di circa 10:1 e avtar è ottimizzato per riflettere questo aspetto.
Se un dataset ha un rapporto file/cartella basso come nell'esempio riportato di seguito, il backup potrebbe non essere eseguito in modo efficiente senza un tuning secondario.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Vedere Ottimizzazione delle prestazioni di backup client Avamar per i dataset con un basso rapporto tra file e cartelle.

Analisi delle prestazioni tramite messaggi di informazioni sullo stato del registro avtar:
Utilizzando Notepad++ o simile, filtrare il registro per le righe di informazioni avtar che contengono messaggi di stato . Questi possono essere filtrati utilizzando le voci di codice contenenti <5100> o <8688> a seconda della versione del client Avamar. Queste righe sono messaggi di stato periodici segnalati da avtar.

• Avamar - Come interpretare le righe di stato del backup log avtar.  

• Il backup di Avamar viene eseguito lentamente a causa della modifica dei metadati da parte di software di terze parti per file non modificati 

Esaminare l'utilizzo dei flag di inclusione ed esclusione. Evitare di includere le affermazioni relative a:
La Guida alle best practice operative illustra gli elenchi di inclusione ed esclusione. 

Avamar deve confrontare tutti i file nel dataset di backup con entrambi gli elenchi per determinare se eseguire il backup del file. Questo processo di confronto aggiunge overhead e può aumentare il runtime del backup.

Controllare la directory avs\var del client per verificare la presenza di un avtar.file cmd .
Verificare se tale file contiene eventuali istruzioni attive --exclude o --exclude-from-file .
Se viene esclusa una directory o un file system, ma vengono utilizzati flag di inclusione, avtar la analizza per gli elementi ai quali è stato richiesto di "includere".

Verificare se il dataset contiene punti di correzione o file stub:
Prestare attenzione se un dataset contiene file stub o puntatori ai dati archiviati su un altro dispositivo.
Le prestazioni di backup si verificano se avtar deve attendere la richiamata del file remoto.
Esempi di tale software sono: Enterprise Vault Archiver, Moon butterfly e DiskXtender.

• Le prestazioni di backup di Windows sono lente a causa della gestione dei punti di riparazione (v7.1, v7.2).

Backup di client virtuali con installazione guest Avamar

• Il backup guest Avamar della macchina virtuale viene eseguito lentamente e si verifica un timeout a causa di un collo di bottiglia delle risorse hardware  
• Il backup guest del client delle VM Avamar presenta prestazioni lente a causa di VMware vShield Endpoint Trend Micro Deep Security  

• Avamar: Scarse prestazioni di backup nel backup del plug-in winclusterfs dopo l'aggiornamento a 7.2 da 7.0 

Altre note

• Assicurarsi che i client delle virtual machine non siano limitati dalle risorse o che aderiscano a rigorose limitazioni hardware che influiscono sulla capacità di completamento rapido del backup di Avamar.  Nei computer in uso, il sistema operativo potrebbe essere sovraccarico o destreggiarsi tra troppi thread, determinando un grave cambio di contesto.
• Utilizzo della guida alle best practice operative di Avamar per ottimizzare il sistema Avamar, pianificare i backup e ottimizzare le cache client.

Altri riferimenti

• Prestazioni del client Avamar e compressione NTFS di Windows