Avamar 备份性能缓慢 — 如何对瓶颈进行故障排除和识别 （RESOLUTION PATH）

• 备份无法在计划窗口内完成。活动监视器报告“客户端超时 — 结束”
• 备份没有机会在计划窗口结束前启动。活动监视器报告“客户端超时 — 开始”
• 垃圾数据收集定期失败 ，MSG_ERR_BACKUPSINPROGRESS或 MSG_ERR_TRYAGAINLATER 

收集信息：
收集有关问题的详细信息： 

• 调查 Avamar Client 备份性能问题时支持人员所需的信息。

确定备份链的哪个部分具有最严重瓶颈：
以下示意图显示了备份系统中的主要组件。  


瓶颈始终存在，但我们应该努力了解它们的位置。
如果我们能做到这一点并缓解瓶颈，性能应该会提高。
一旦缓解瓶颈，另一个瓶颈可能会变得明显。我们的最终目标是达到可接受备份持续时间的情况。


Avamar Server 端瓶颈：
如果到 Avamar Server 的所有备份速度缓慢，请考虑服务器端问题的可能性。  
如果在一天中的某些时间，到 Avamar Server 的所有备份都速度缓慢，请考虑服务器端争用或网络瓶颈。
如果一个或多个备份客户端存在性能问题，请自行关注每个客户端。


服务器运行状况：
运行状况良好的 Avamar Server 不太可能成为备份的瓶颈。

检查备份服务器的运行状况。  

• Avamar：如何在 Avamar Server 上运行 proactive_check.pl 运行状况检查脚本
• 如果要将备份发送到 Data Domain，请检查 DD 自动支持信息，或联系 Data Domain 支持人员以验证它是否正常

Avamar 限制客户端连接以保留可接受的性能级别。
请参阅 Avamar：可以同时与 Avamar Server 建立多少个客户端会话？（版本 6.1 及更高版本）  

服务器争用：

如果在一天中，备份性能较差，这可能表示争用。

• sched.sh 脚本可以提供与缓慢备份并行运行的活动的可视化表示。
• 请参阅 Avamar：如何使用 sched.sh 脚本检查 Avamar Server 上的历史备份、复制和维护活动。
• 通过运行 status.dpn 检查正在进行的维护任务
• 检查有多少个客户端会话处于活动状态

  • admin@utilitynode:~/>: avmaint session | grep path | wc -l

• 安排维护和备份计划，使其不重叠。
• 查看 status.dpn 和 top 命令的输出，以检查数据节点上的负载
• 在数据节点上运行 mapall “iostat -x”。 检查 %initiatit 和 %idle 和 %util 以查看任何磁盘的 I/O 带宽是否已饱和。
• 要隔离特定客户端的性能，请在 Avamar Server 未执行维护任务或其他备份或复制时测试备份。

Data Domain 备份接收性能：
登录戴尔支持门户并查看：

• Data Domain：DDPCONNCHK 如何对 Data Domain DDBoost 连接和性能进行故障处理

网络端瓶颈：
如果客户端通过 WAN 进行备份，则网络可能成为瓶颈。

网络延迟：
这会影响客户端检查 Avamar Server 上是否存在哈希的速率。  

• 从客户端向 Avamar Server 运行 ping 操作，并检查网络的数据包丢失和延迟

2014-11-20 04:45:30 avtar Info <5156>: Backup #1180 timestamp 2014-11-20 04:45:28, 23 files, 5 folders, 291.7 GB (23 files, 4.316 GB, 1.48% new) 

• 新备份数据量
• 可用于备份的时间
• 有效的网络带宽

更多的新数据需要更多的网络带宽或更长的备份时间。
这些因素具有实际限制，但可以由用户进行一定程度的控制。
考虑是否可以对其中任何一个进行操作以适应及时备份。


如果怀疑网络瓶颈或服务器通信问题：
确认客户端与备份设备之间的网络吞吐量。 

• Avamar - 如何在两个 Avamar 系统之间运行 iperf 以测试网络吞吐量性能（英文版）

启用 avtar comstats 日志记录以便于故障处理。

• Avamar：如何启用和解释 avtar COMSTATS 日志记录以诊断通信问题（英文版）

• Avamar 备份已失败并显示“Time Out - End”（超时 - 结束），这是因为它目前仍在执行初始备份（英文版）

确保备份未过早取消：
搜索“canceled”的备份日志。下面是不耐烦的用户取消 L1 备份的示例。
 

2013-11-05 12:15:29 avtar Info <5157>: PARTIAL Backup #14 timestamp 2011-11-05 12:13:36, 2,030 files, 562 folders, 397.3 MB (691 files, 17.44 MB, 4.39% new)
2013-11-05 12:15:29 avtar Info <7539>: Label "MOD-xxxxxxxxxx", scheduled to expire 11/12/11, none backup
2013-11-05 12:15:29 avtar Info <6083>: Backed-up 397.3 MB in 1.36 minutes: 17 GB/hour (89,593 files/hour)
2013-11-05 12:15:29 avtar Info <7883>: Finished at 2011-11-05 12:15:29 GMT Standard Time, Elapsed time: 0000h:01m:21s
2013-11-05 12:15:29 avtar Info <8468>: Sending wrapup message to parent
2013-11-05 12:15:29 avtar Info <5314>: Command failed (exit code 10013: Externally canceled)

在这种情况下，如果备份正常终止，则数据将保留为“PARTIAL”备份。

• Avamar：初始备份的部分备份功能和最佳实践（英文版）

虽然部分备份日志指示备份性能，但正确的分析要求从已完成的备份中获取日志。


检查日志中的文件缓存或哈希缓存大小调整问题：

• 请参阅 Avamar — 如何检查 Avamar Client 日志中的文件缓存或哈希缓存大小调整问题

检查是否将限制标记传递到 avtar：
Avtar CPU 或网络限制极大地降低了备份性能。
请参阅 Avamar：如何限制 Avamar Client 对系统资源（CPU、网络、I/O 和内存）的消耗（英文版）。

可以在备份日志中检测到这一点。

2013-09-06 14:22:13 avtar Info <6557>: Network bandwidth throttling is enabled, limiting to approx. 0.512 Mbps (62.50 KB/sec)
2013-09-06 14:22:13 avtar Info <6558>: CPU throttling is enabled, limiting CPU usage to approx. 70%

是否有 Avamar Client CPU 或内存瓶颈？
Avamar 备份的运行速度与硬件允许的一样快，并与其他资源服务竞争。请注意客户的“日常工作”以及繁忙的工作时间。

使用任务管理器或进程资源管理器（在 Windows 上）或“top”命令（UNIX 或 Linux）监视客户端。这些可能会显示在备份期间发生 CPU 饱和。

戴尔有一个内部“LogAnalyzer”工具，用于 绘制随时间推移的资源消耗和性能图表。与支持部门合作使用此功能。

在备份期间，缓存文件将加载到内存中。检查客户端的内存使用情况，以查看页面故障或客户端缺乏 RAM 的线索。

这小于 Avamar v7.x 客户端到 Data Domain 利用“分页缓存”（f_cache2.dat）的问题。
与传统的“单片”avtar 缓存相比，分页缓存可减少客户端上的内存占用空间。


检查客户端 I/O 瓶颈：
在客户端高速缓存规模调整之后，确定备份性能的下一个因素是托管备份数据并将其馈送到 avtar 的存储系统。


确保目标存储运行状况良好：
确保目标存储设备没有问题，从而无法实现最佳性能。 
 

确保第三方软件不与 avtar 竞争 I/O：
客户端上是否有任何应用程序与 Avamar Client 争用存储 I/O？
防病毒软件实时或访问扫描会极大地影响 Avamar Client 的性能。  

• 请参阅 Avamar Client 备份性能受到防病毒软件实时文件扫描的严重影响

• 使用卷并行度提高 Avamar 备份性能

确保客户端未使用 CIFS 或 NFS 备份数据：
仅支持通过 NDMP 加速器备份 CIFS 或 NFS 数据。 

• CIFS （SMB） 和 NFS 映射网络共享的 Avamar 和可支持性。 

检查是否正在使用存储压缩或加密：
如果目标数据驻留在在文件系统级别压缩或加密数据的目标存储上，则备份性能可能低于预期。  


使用 Perfmon 分析 Windows 客户端资源瓶颈：
以下文章有助于创建性能图表，以了解客户端是否在某个时间点等待任何特定资源。考虑使用 LogAnalyzer 工具生成的图形。

• Avamar - 使用 Microsoft Windows perfmon 对 Avamar Client 进行性能监控 

备份 Outlook 归档 .pst 文件
包含许多或大型 .pst 文件的备份可能执行缓慢。 

• 使用 Avamar 备份 Outlook 归档 .pst 文件时的性能注意事项（英文版）

存储性能
基准测试检查托管目标数据的存储设备的性能。

• Avamar Linux 客户端的磁盘性能测试（英文版） 

备份数据导致备份性能不佳：
备份速度缓慢的最常见原因是要备份的数据的特征。


检查是否有许多新数据或更改的数据：

• Avamar - 由于存在大量新数据或更改的数据，备份缓慢或失败并显示“Time out - end”（超时 - 结束）（英文版）  

一些大型新文件或修改后的文件可能会导致快速备份溢出备份窗口。要识别这些文件，请参阅：

• Avamar：如何使用客户端日志确定自上次备份以来哪些文件是新文件或已更改的文件（英文版）   
• 如何确定哪些文件在 Avamar 备份期间需要很长时间才能处理（英文版） 

Windows 客户端

• 包含许多符号链接的数据集的 Avamar 备份运行非常缓慢（英文版）  
• Avamar Client 性能和 Windows NTFS 压缩（英文版） 

Linux 和 UNIX 客户端 — 检查客户端的数据集是否包含任何大型稀疏文件。 

• Avamar 和稀疏文件（英文版） 
• 由于“/var/log/lastlog”和 Avamar 稀疏文件处理行为，Avamar Linux 客户端的备份大小可能具有误导性 

检查备份摘要行以了解备份范围并识别离群值：
搜索备份日志中的字符串“Backup #”或“Backup-up”。

2017-06-07 20:21:38 avtar Info <5156>: Backup #441 timestamp 2017-06-07 20:21:38, 2,653,523 files, 255,181 folders, 1,566 GB (10,777 files, 668.4 MB, 0.04% new)
2017-06-07 20:21:38 avtar Info <6083>: Backed-up 1,566 GB in 1281.60 minutes: 73 GB/hour (124,228 files/hour)

1. 这是初始备份还是 1 级备份。（不太可能，因为备份标签是 #441）
2. 备份中的文件数量是否合理。（260 万个文件是合理的）
3. 文件与文件夹的比率是多少？（这是 10：1，这是典型值）
4. 数据集中的数据总量。（约 1.5 TB）
5. 要处理的文件数和文件总数的比例。（大约“1.1 万个文件 / 250 万个文件”是合理的）
6. 要处理的所有文件的总大小。（这只能是估计值）
7. 要发送到 Avamar Server 的已更改数据量。(668 MB)
8. 更改率是否合理。对于较小的数据集来说，可容忍较高的更改率（0.04% 是合理的）
9. 考虑到备份的总体大小和范围，每小时的性能是否合理。（考虑到其他数字，每小时 12.4 万个文件将被视为性能缓慢）

通常，这些详细信息为我们提供了足够的数据来了解备份性能不佳的原因。
如有必要，请查看在备份运行时生成的状态行消息。

确定这两条日志行中的任何值是否为离群值。换言之，它们是大于还是小于典型值？熟悉备份，轻松检测异常。


文件与文件夹比率
大多数客户数据集的文件到文件夹大约为 10：1，avtar 经过调整以反映这一点。
如果数据集的文件与文件夹比率较低，如下面的示例所示，如果没有微小调整，备份可能无法高效运行。  

2015-11-18 00:34:32 avtar Info <5156>: Backup #75 timestamp 2015-11-18 00:24:43, 4,007,032 files, 1,974,043 folders, 1,589 GB (2,680 files, 419.4 MB, 0.03% new)

有关文件与文件夹比率较低的数据集，请参阅 Avamar Client 备份性能调整 。

使用 avtar 日志状态信息消息进行性能分析：
使用 Notepad++ 或类似，筛选包含状态消息的 avtar 信息行的日志。可以使用包含 <5100> 或 <8688> 的代码条目进行筛选，具体取决于 Avamar Client 的版本。这些行是 avtar 报告的定期状态消息。

• Avamar — 如何解释 avtar 备份日志状态行。  

• 由于第三方软件修改未更改文件的元数据，Avamar 备份运行缓慢（英文版） 

查看包含和排除标记的使用情况。避免“包括”陈述：
操作最佳做法指南讨论包括和排除列表。

Avamar 必须将备份数据集中的每个文件与两个列表进行比较，以确定是否备份文件。此比较过程会增加开销，并可增加备份运行时间。

检查客户端的 avs\var 目录是否存在 avtar。cmd 文件。
检查该文件是否包含任何活动的 --exclude 或 --exclude-from-file 语句。
如果排除目录或文件系统，但使用包含标记， avtar 会扫描其是否包含已被告知“包括”的项目。

检查数据集是否包含重新稀疏点或存根文件：
如果数据集包含存根文件或指向存储在另一个设备上的数据的指针，请谨慎。
如果 avtar 必须等待远程文件被调回，则备份性能会受到影响。
此类软件的示例包括：Enterprise Vault Archiver、Moonwalk 和 DiskXtender。

• 由于备用点处理（v7.1、v7.2），Windows 备份性能缓慢。

使用 Avamar 来宾安装备份虚拟客户端

• 由于硬件资源瓶颈的缘故，虚拟机的 Avamar 来宾备份运行缓慢并且超时（英文版）  
• 由于 VMware vShield Endpoint Trend Micro Deep Security 的缘故，Avamar 虚拟机客户端来宾备份遇到性能缓慢问题（英文版）  

• Avamar：从 7.0 升级到 7.2 后 winclusterfs 插件备份中的备份性能不佳（英文版） 

其他提醒

• 确保虚拟机客户端不受资源限制，或者不遵守那些会影响 Avamar 备份快速完成能力的严格硬件限制。  在忙碌的计算机上，操作系统可能会过载或处理太多线程，从而导致严重的上下文切换。
• 使用《Avamar 操作最佳做法指南》优化 Avamar 系统、计划备份和调整客户端缓存。

其它参考

• Avamar Client 性能和 Windows NTFS 压缩（英文版）