Rendimiento lento de respaldo de Avamar: cómo solucionar problemas e identificar cuellos de botella (RUTA DE RESOLUCIÓN)

  
Síntomas típicos de un rendimiento de respaldo lento:

• El respaldo no se puede completar dentro de la ventana programada. El monitor de actividad informa "Client time out - end"
• El respaldo no tiene la oportunidad de iniciarse antes de que finalice la ventana programada. El monitor de actividad informa "Client time out - start"
• La recolección de elementos no utilizados falla regularmente con MSG_ERR_BACKUPSINPROGRESS o MSG_ERR_TRYAGAINLATER 

Consulte Resolución para obtener una lista de las causas.

Recopile información:
Recopile información detallada sobre el problema: 

• Información requerida por el servicio de soporte cuando se investigan problemas de rendimiento del respaldo del cliente Avamar.

Determine qué parte de la cadena de respaldo tiene el cuello de botella más grave:
El siguiente esquema muestra los componentes principales de un sistema de respaldo.  


SIEMPRE existen cuellos de botella, pero debemos trabajar para comprender dónde se encuentran.
Si podemos hacer esto y mitigar el cuello de botella, el rendimiento debería mejorar. 
Una vez que se mitiga un cuello de botella, otro cuello de botella puede volverse evidente. Nuestro objetivo final es llegar a una situación en la que la duración del respaldo sea aceptable. 


Cuellos de botella en el servidor Avamar:
Si TODOS los respaldos en un servidor Avamar son lentos, considere la posibilidad de un problema en el servidor.  
Si TODOS los respaldos en un servidor Avamar son lentos durante ciertos momentos del día, considere la contención del lado del servidor o un cuello de botella de red.
Si hay un problema de rendimiento con uno o algunos clientes de respaldo, enfóquese en cada cliente por sí mismo.


Estado del servidor:
Es poco probable que un servidor Avamar en buen estado sea un cuello de botella para los respaldos. 

Compruebe el estado del servidor de respaldo.  

• Avamar: Cómo ejecutar el script de evaluación del estado de proactive_check.pl en un servidor Avamar
• Si se envían respaldos a Data Domain, compruebe la información de soporte automático de DD o comuníquese con el soporte de Data Domain para verificar que el estado sea bueno

Avamar restringe las conexiones de clientes para preservar los niveles aceptables de rendimiento.
Consulte Avamar: ¿Cuántas sesiones de cliente simultáneas se pueden establecer en Avamar Server? (versiones 6.1 y posteriores)  

Contención del servidor:

Si hay momentos del día en los que el rendimiento del respaldo es deficiente, esto podría indicar una contención.

• El script sched.sh puede proporcionar una representación visual de las actividades que se ejecutaban en paralelo con el respaldo lento.
• Consulte Avamar: Cómo utilizar el script sched.sh para comprobar la actividad histórica de respaldo, replicación y mantenimiento en un servidor Avamar.
• Compruebe si hay tareas de mantenimiento en curso mediante la ejecución de status.dpn
• Compruebe cuántas sesiones de cliente se encuentran activas

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• Organice los programas de mantenimiento y respaldo para que no se superpongan.
• Revise la salida de status.dpn y los comandos superiores para comprobar la carga en los nodos de datos
• Ejecute mapall 'iostat -x'  en los nodos de datos. Compruebe %porcentajeit y %idle y %util para ver si el ancho de banda de I/O de cualquier disco está saturado.
• Para aislar el rendimiento de un cliente en particular, pruebe el respaldo cuando el servidor Avamar no realice tareas de mantenimiento u otros respaldos o replicación.

Rendimiento de recopilación de respaldos de Data Domain:
Inicie sesión en el portal de soporte de Dell y revise:

• Data Domain: DDPCONNCHK Cómo solucionar problemas de conectividad y rendimiento de Data Domain DD Boost

Cuellos de botella en la red:
La red puede ser un cuello de botella si se respalda un cliente mediante una WAN.

Latencia de red:
Esto afecta la velocidad a la que los clientes pueden comprobar si hay hashes presentes en el servidor Avamar.  

• Ejecute ping desde el cliente al servidor Avamar y compruebe la latencia y la pérdida de paquetes de la red

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

Si el cliente y el servidor están separados por una WAN, tenga en cuenta si el vínculo puede transmitir la cantidad de datos (en este caso, 4,316 GB) dentro de la ventana de respaldo.

Todos estos valores están interrelacionados:

• Cantidad de datos de respaldo nuevos
• Tiempo disponible para el respaldo
• Ancho de banda de red efectivo

Una mayor cantidad de datos nuevos requiere más ancho de banda de red o un tiempo de respaldo más prolongado.
Estos factores tienen límites prácticos, pero el usuario puede controlarlos en cierta medida.
Tenga en cuenta si cualquiera de ellos se puede manipular para admitir un respaldo oportuno.


Si se sospecha de un cuello de botella de red o un problema de comunicación del servidor:
Confirme el rendimiento de red entre el cliente y el dispositivo de respaldo. 

• Avamar: Cómo ejecutar iperf entre dos sistemas Avamar para probar el rendimiento de red

Habilite el registro comstats de avtar para facilitar la solución de problemas.

• Avamar: Cómo habilitar e interpretar el registro COMSTATS de avtar para diagnosticar problemas de comunicación

 

Cuellos de botella del lado del cliente:

• Error en el respaldo de Avamar con el mensaje “Time Out - End” debido a que todavía se está realizando un respaldo inicial

Asegúrese de que el respaldo no se canceló prematuramente:
Busque "canceled" en el registro de respaldo. A continuación, se muestra un ejemplo en el que un usuario impaciente canceló un respaldo de L1.
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

En casos como este, cuando un respaldo finaliza correctamente, los datos se conservan como un respaldo "PARCIAL".

• Avamar: Funcionalidad de respaldo parcial y prácticas recomendadas para los respaldos iniciales

Aunque los registros de respaldo parciales indican el rendimiento del respaldo, el análisis adecuado requiere el registro de un respaldo completado.


Compruebe el registro para ver si hay problemas de dimensionamiento de caché de archivos o caché de hash:

• Consulte Avamar: Cómo comprobar el registro del cliente Avamar en busca de problemas de dimensionamiento de caché de archivos o caché de hash

Compruebe si las marcas de regulación se pasan a avtar:
La regulación de red o CPU avtar reduce en gran medida el rendimiento del respaldo. 
Consulte Avamar: Cómo regular el consumo de recursos del sistema (CPU, red, I/O y memoria) de Avamar Client.

Esto se puede detectar en el registro de respaldo.

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

¿Hay un cuello de botella en la CPU o la memoria del cliente Avamar?
Un respaldo de Avamar se ejecuta tan rápido como el hardware lo permite y compite con otros servicios por recursos. Tenga en cuenta el "trabajo diario" del cliente y cuando esté ocupado. 

Monitoree el cliente mediante el Administrador de tareas o el Explorador de procesos (en Windows) o el comando "superior" (UNIX o Linux). Estos pueden revelari f la saturación de la CPU se produce durante el respaldo. 

Dell tiene una herramienta interna "LogAnalyzer" que muestra el consumo y el rendimiento de los recursos con el tiempo. Trabaje con el equipo de soporte para usarlo.

Los archivos de caché se cargan en la memoria durante el respaldo. Compruebe el uso de la memoria del cliente para ver si hay fallas de página o indicios de que el cliente no tiene RAM.

Esto es menos un problema en el que los clientes Avamar v7.x en Data Domain aprovechan la "caché de paginación" (f_cache2.dat).
La caché de paginación reduce el espacio físico de la memoria en un cliente en comparación con la caché avtar "monolítica" tradicional.


Compruebe si hay un cuello de botella de I/O en el cliente:
Después del dimensionamiento de la caché del cliente, el siguiente factor que determina el rendimiento del respaldo es el sistema de almacenamiento que aloja los datos de respaldo y los alimenta a avtar.


Asegúrese de que el almacenamiento de destino esté en buen estado:
Asegúrese de que no haya problemas con el dispositivo de almacenamiento de destino que impidan un rendimiento óptimo. 
 

Asegúrese de que el software de otros fabricantes no compita con Avtar para I/O:
¿Alguna aplicación en el cliente compite con el cliente Avamar para las I/O de almacenamiento?
El escaneo en tiempo real o en tiempo real del software antivirus afecta considerablemente el rendimiento del cliente Avamar.  

• Consulte Que el rendimiento del respaldo del cliente Avamar se ve muy afectado por el escaneo de archivos en tiempo real del software antivirus

• Uso del paralelismo de volúmenes para mejorar el rendimiento de respaldo de Avamar

Asegúrese de que el cliente no respalde datos mediante CIFS o NFS:
El respaldo de datos CIFS o NFS solo se admite a través de un acelerador de NDMP. 

• Avamar y la compatibilidad con recursos compartidos de red mapeados de CIFS (SMB) y NFS. 

Compruebe si la compresión o el cifrado de almacenamiento están en uso:
El rendimiento del respaldo puede ser menor de lo esperado si los datos de destino residen en el almacenamiento de destino donde los datos se comprimen o cifran a nivel del sistema de archivos.  


Análisis de cuellos de botella de recursos de clientes de Windows con Perfmon:
El siguiente artículo ayuda a crear gráficos de rendimiento para comprender si el cliente está esperando en algún recurso en particular en un momento determinado. Considere el uso con gráficos producidos por la herramienta LogAnalyzer.

• Avamar: Uso de Perfmon de Microsoft Windows para monitorear el rendimiento de Avamar Client 

Respaldo de archivos.pst
de OutlookUn respaldo con muchos archivos.pst o grandes puede ejecutarse lentamente. 

• Consideraciones de rendimiento cuando se utiliza Avamar para respaldar archivos .pst de Outlook

Análisis comparativo del rendimiento
del almacenamientoCompruebe el rendimiento del dispositivo de almacenamiento donde se alojan los datos de destino.

• Pruebas de rendimiento de disco para clientes Linux de Avamar 

Rendimiento deficiente del respaldo debido a los datos que se respaldan:
La causa más común de los respaldos lentos se debe a las características de los datos que se respaldan.


Compruebe si hay muchos datos nuevos o modificados:

• Avamar: Un respaldo es lento o genera errores “Time out - end” debido a una gran cantidad de datos nuevos o modificados  

Algunos archivos nuevos o modificados de gran tamaño pueden provocar que un respaldo rápido supere la ventana de respaldo. Para identificar esos archivos, consulte:

• Avamar: Cómo utilizar los registros del cliente para identificar qué archivos son nuevos o se modificaron desde el respaldo anterior   
• Cómo identificar los archivos que tardaron mucho tiempo en procesarse durante un respaldo de Avamar 

Clientes Windows

• El respaldo de Avamar de un conjunto de datos con muchos enlaces simbólicos se ejecuta muy lentamente  
• Rendimiento de Avamar Client y compresión de Windows NTFS 

Clientes Linux y UNIX: compruebe si el conjunto de datos del cliente contiene archivos grandes y dispersos. 

• Avamar y archivos dispersos 
• El tamaño de respaldo de un cliente Linux de Avamar puede ser confuso debido a "/var/log/lastlog" y al comportamiento de manejo de archivos dispersos de Avamar 

Revise las líneas de resumen de respaldo para comprender el alcance del respaldo e identificar valores atípicos:
Busque en el registro de respaldo las cadenas "Backup #" o "Backed-up".

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

Esto puede ahorrarle mucho tiempo al investigar el rendimiento del respaldo.
Para el resultado anterior, considere:

1. Si se trata de un respaldo inicial o de nivel 1. (Poco probable, ya que la etiqueta de respaldo es n.º 441)
2. Si la cantidad de archivos en el respaldo es razonable. (2,6 millones de archivos es un número razonable)
3. La relación archivo-carpeta. (Es 10:1, esto es típico)
4. La cantidad total de datos en el conjunto de datos. (~1,5 TB)
5. La cantidad de archivos que se procesarán y la proporción de la cantidad total de archivos. (~11 000 de 2,5 millones de archivos es razonable)
6. El tamaño total de todos los archivos que se procesarán. (Esto solo puede ser una estimación)
7. La cantidad de datos modificados que se enviarán a Avamar Server. (668 MB)
8. Si la tasa de cambio es razonable. Se pueden tolerar tasas de cambio más altas para conjuntos de datos más pequeños (0,04 % es razonable)
9. Si el rendimiento por hora, dado el tamaño y el alcance generales del respaldo, es razonable. (124 000 archivos/hora se consideraría un rendimiento lento dadas las otras cifras)

Con frecuencia, estos detalles nos proporcionan suficientes datos para comprender la causa del rendimiento deficiente del respaldo.
Si es necesario, revise los mensajes de línea de estado que se generan mientras se ejecuta el respaldo.

Determine si alguno de los valores de estas dos líneas de registro son valores atípicos. En otras palabras, ¿son más grandes o más pequeñas de lo normal? Familiarícese con los respaldos y será fácil detectar anomalías.


Relación
archivo a carpetaLa mayoría de los conjuntos de datos de clientes tienen un archivo a una carpeta de aproximadamente 10:1, y avtar se ajusta para reflejar esto.
Si un conjunto de datos tiene una relación baja entre archivos y carpetas, como en el siguiente ejemplo, es posible que el respaldo no se ejecute de manera eficiente sin ajustes menores.  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

Consulte Ajuste del rendimiento del respaldo del cliente Avamar para los conjuntos de datos con una relación baja de archivos a carpetas.

Análisis de rendimiento mediante mensajes de información de estado del registro avtar:
Mediante Notepad++ o similar, filtre el registro para las líneas avtar Info que contienen mensajes de estado . Estos se pueden filtrar mediante las entradas de código que contienen <5100> u <8688> según la versión del cliente Avamar. Estas líneas son mensajes de estado periódicos informados por avtar.

• Avamar: cómo interpretar las líneas de estado del registro de respaldo de Avtar.  

• El respaldo de Avamar se ejecuta lento debido a que un software de otro fabricante modifica los metadatos de archivos que de otra forma no se modifican 

Revise el uso de marcas include y exclude. Evite las declaraciones "incluir":
En la Guía de mejores prácticas operacionales se analizan las listas Incluir y Excluir. 

Avamar debe comparar cada archivo en el conjunto de datos de respaldo con ambas listas para determinar si se debe respaldar el archivo. Este proceso de comparación agrega sobrecarga y puede aumentar el tiempo de ejecución del respaldo.

Compruebe el directorio avs\var del cliente para conocer la presencia de un avtar.archivo cmd .
Compruebe si ese archivo contiene declaraciones activas --exclude o --exclude-from-file .
Si se excluye un directorio o un sistema de archivos, pero se utilizan marcas de inclusión, avtar lo escanea en busca de elementos que se le ha dicho que "incluyan".

Compruebe si el conjunto de datos contiene puntos gruesos o archivos stub:
Tenga cuidado si un conjunto de datos contiene archivos stub o punteros a los datos almacenados en otro dispositivo.
El rendimiento del respaldo se resiente si avtar tiene que esperar a que se recupere el archivo remoto.
Algunos ejemplos de este tipo de software son los siguientes: Enterprise Vault Archiver, Moonwalk y DiskXtender.

• El rendimiento del respaldo de Windows es lento debido al manejo de puntos gruesos (v7.1, v7.2).

Respaldos de clientes virtuales con una instalación de invitado de Avamar

• El respaldo de invitado de Avamar en la máquina virtual se ejecuta lentamente y se agota el tiempo de espera debido a un cuello de botella de recursos de hardware  
• El respaldo de invitado de cliente en la máquina virtual de Avamar experimenta un rendimiento lento debido a la seguridad profunda de Trend Micro para VMware vShield Endpoint  

• Avamar: Rendimiento de respaldo deficiente en el respaldo del plug-in winclusterfs después de actualizar de 7.0 a 7.2 

Otras notas

• Asegúrese de que los clientes de máquinas virtuales no tengan límites de recursos ni que cumplan con estrictas limitaciones de hardware que afecten la capacidad de que se complete rápidamente el respaldo de Avamar.  En máquinas ocupadas, el sistema operativo puede estar sobrecargado o manejar demasiados subprocesos, lo que provoca cambios de contexto graves.
• Uso de la guía de mejores prácticas operacionales de Avamar para optimizar el sistema Avamar, programar respaldos y ajustar las cachés del cliente.

Otras referencias

• Rendimiento de Avamar Client y compresión de Windows NTFS