Решено Unable to retrieve next block transmission command

[Serg]

Добрый день! Возникла проблема с veeam backup 9.6 при копировании резервных копий возникла ошибка

26.04.2020 8:06:05 :: Processing FILESERV Error: bad allocation
Unable to retrieve next block transmission command. Number of already processed blocks: [110].
Failed to download disk.
Reconnectable protocol device was closed.
Failed to upload disk.
Agent failed to process method {DataTransfer.SyncDisk}.

А вот такая ошибка возникает при резервной копии Exchange

27.04.2020 9:10:52 :: Disk exch_5-flat.vmdk of VM exch is corrupted, possible reason: Storage I/O issue. Corrupted data is located in the following backup files: BC_EXCHANGED2020-04-12T070000.vbk

Подскажите что делать и в первом и во втором случае...

 

[Surf_rider]

Попробуйте включить Health Check -Storage-Level corruption guard

 

[Serg]

спасибо это проставил. Я просто не пойму это диск виртуальной машины поврежден что ли ? Или это разовая ошибка при копировании??
Вот это несколько удивляет

Disk exch_5-flat.vmdk of VM exch is corrupted

 

[Murzik]

попробуйте заново запустить Active Full Backup,
По поводу

Unable to retrieve next block transmission command. Number of already processed blocks

то это ошибка в 99 % случаев связана с нестабильным сетевым соединением.

 

[Serg]

Поставил на ночь галку проверять резервные копии а утром прилетел такой alarm

Backup files health check has been completed
Failed to perform backup file verification Error: Insufficient system resources exist to complete the requested service. Failed to read data from the file [F:\Backup\BC_DC1\BC_DC1D2020-04-14T040000.vbk]. Agent failed to process method {Signature.FullRecheckBackup}.

 

[Surf_rider]

Как обстоят дела со свободным местом на F:\ ?
Скорее всего нет места на диске. Посмотрите https://helpcenter.veeam.com/archive/backup/95/vsphere/backup_compact_file.html

 

[Surf_rider]

Добрый день! Возникла проблема с veeam backup 9.6 при копировании резервных копий возникла ошибка


А вот такая ошибка возникает при резервной копии Exchange


Подскажите что делать и в первом и во втором случае...

а куда в данном кейсе копируются резервные копии ?

 

[Serg]

Бэкапы хранятся на локальной площадке а копируются через vpn на удаленный windows server (виртуалка на вмваре с примапленым SCSI диском )

 

[Goblin]

Бэкапы хранятся на локальной площадке а копируются через vpn на удаленный windows server (виртуалка на вмваре с примапленым SCSI диском )

Соберите логи veeam через Меню -> Help -> Support Information, скиньте в личку посмотрим

 

[Serg]

залил, ссылку кинул

 

[Goblin]

У вас в логах следующие ошибки в задаче:

[30.04.2020 07:05:27] <36> Info [AP] (0225) output: --asyncNtf:disk_capacity: '161061273600'
[30.04.2020 07:05:27] <20> Info [AP] (f771) output: --asyncNtf:disk_capacity: '161061273600'
[30.04.2020 07:05:27] <19> Info [AP] (a0b9) output: --asyncNtf:disk_capacity: '161061273600'
[30.04.2020 07:05:28] <24> Info [AP] (0225) output: --size: 161061273600
[30.04.2020 07:05:28] <18> Info [AP] (0225) output: --pex:0;267386880;0;0;0;32;97;0;0;0;0;0;132326931287340000
[30.04.2020 07:05:42] <30> Error (4fd5) error: ChannelError: ConnectionReset
[30.04.2020 07:05:42] <38> Info [RemoteAgentSystemSession] Performing reconnection...
[30.04.2020 07:05:42] <38> Info Reconnecting backup client, host '192.168.11.5'.
[30.04.2020 07:05:42] <38> Info [ProxyAgent] Starting client agent session, id '8605ed3c-b173-445c-a644-0d757e1ee3a9', host '192.168.11.5', agent id 'ea3e9510-c2f5-4c35-86ab-d3511b558ea3', IPs '192.168.11.5:2507', PID '6756'
[30.04.2020 07:05:42] <38> Info [SocketAgentService] Connecting to agent '192.168.11.5' ('192.168.11.5:2507')
[30.04.2020 07:05:42] <38> Info [NetSocket] Connecting to '192.168.11.5:2507'.
[30.04.2020 07:05:42] <62> Error [ReconnectableSocket][PacketAsyncReceiver] Exception on [2d0656ab-85e0-4cc6-b3db-8b51f964e732].
[30.04.2020 07:05:42] <62> Error Удаленный хост принудительно разорвал существующее подключение (System.Net.Sockets.SocketException)
[30.04.2020 07:05:42] <62> Error в Veeam.Backup.Common.Reconnect.CPacketAsyncReceiver.PushData(CSocketAsyncEventArgsEx e)
[30.04.2020 07:05:42] <62> Info [ReconnectableSocket] Retryable error on [2d0656ab-85e0-4cc6-b3db-8b51f964e732].
[30.04.2020 07:05:42] <62> Info [ReconnectableSocket] Reconnecting [2d0656ab-85e0-4cc6-b3db-8b51f964e732] (retryable error)...
[30.04.2020 07:05:42] <62> Info [NetSocket] Connecting to '192.168.11.5:2507'.
[30.04.2020 07:05:43] <38> Error Failed to connect to agent's endpoint '192.168.11.5:2507'. Host: '192.168.11.5'.
[30.04.2020 07:05:43] <38> Error Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение 192.168.11.5:2507 (System.Net.Sockets.SocketException)
[30.04.2020 07:05:43] <38> Error в System.Net.Sockets.Socket.DoConnect(EndPoint endPointSnapshot, SocketAddress socketAddress)
[30.04.2020 07:05:43] <38> Error в System.Net.Sockets.Socket.Connect(EndPoint remoteEP)
[30.04.2020 07:05:43] <38> Error в Veeam.Backup.Common.CNetSocket.Connect(IPEndPoint remoteEp)
[30.04.2020 07:05:43] <38> Error в Veeam.Backup.AgentProvider.CAgentEndpointConnecter.ConnectToAgentEndpoint(ISocket socket, IAgentEndPoint endPoint)
[30.04.2020 07:05:43] <38> Info Disposing BaseAgentProtocol [0x1361a0e]
[30.04.2020 07:05:43] <38> Info Disposing CSocketAgentService [0x22dfb24], sessionId []
[30.04.2020 07:05:43] <38> Error [RemoteAgentSystemSession] Keep-alive thread has failed.
[30.04.2020 07:05:43] <38> Error Unable to reestablish connection to agent. (System.Exception)
[30.04.2020 07:05:43] <38> Error в Veeam.Backup.AgentProvider.CRemoteAgentSystemSession.ReconnectCycle(CancellationToken token)
[30.04.2020 07:05:43] <38> Error в Veeam.Backup.AgentProvider.CRemoteAgentSystemSession.KeepAliveThreadProc()

Получается, соединение было внезапно разорвано. Кроме того, перед тем, как соединение разорвалось, в логе Target Agent, я нашел следующие ошибки:

[30.04.2020 07:04:23] < 2480> srv| ERR |bad allocation
[30.04.2020 07:04:23] < 2480> srv| >> |--tr:Failed to unserialize buffer with data.
[30.04.2020 07:04:23] < 2480> srv| >> |--tr:Failed to unserialize data block.
[30.04.2020 07:04:23] < 2480> srv| >> |--tr:Failed to unserialize FIB block.
[30.04.2020 07:04:23] < 2480> srv| >> |--tr:Failed to receive data block with multi-channel download stream.
[30.04.2020 07:04:23] < 2480> srv| >> |Unable to retrieve next block transmission command. Number of already processed blocks: [128].

Ошибка bad allocation обычно возникает из-за нехватки памяти на одном из серверов, на котором поднялся агент.

В вашем случае, ошибка возникла на сервере, где был target agent. Согласно логам, он поднялся на сервере "REMOTE-DC2":

[30.04.2020 07:01:03] <36> Info Initializing shared repository client for repository 'REMOTE-DC2'.
[30.04.2020 07:01:03] <36> Info Starting target agent ( sharing mode: 'SharedAgent', host: 'on repository'.).
[30.04.2020 07:01:12] <36> Info Setting repository 'REMOTE-DC2' ('7f1aef43-231d-43fb-a5d7-854e49542ff5') credentials for backup client.

который является Windows сервером:

[29.04.2020 22:19:32] <01> Info RepositoryID: 7f1aef43-231d-43fb-a5d7-854e49542ff5, Type: WinLocal, TotalSpace: 32212118396928, FreeSpace: 21094426656768, ConcurrentTaskLimit: {Enabled: True, Number: "4"}, RWrateLimit: {Enabled: False, MBs: "0"}, OnRotatedDrive: False, AlignFileBlocks: False, DecompressBeforeStoring: False, PerVMbackup: False, vPowerNFS: True, ProxyAffinitySet: False, IsReFsSytheticEnabled: True, IsReFsSytheticAvailable: False, ClusterSize: 8192, IsDedupEnabled: False, ServerID: a8ad2735-7961-41fd-9a67-7a744350bc50, OS Name: Microsoft Windows Server 2016 Standard 64-bit, OS version: 10.0.14393 build:14393, CoresCount: 2, CPUCount: 2, RAMTotalSize: 2146947072

На момент запуска задания, на сервере "REMOTE-DC2" оставалось меньше 1 ГБ памяти, в то время как общая память составляет 2 Гб:

[30.04.2020 07:01:07] < 4312> Total physical memory installed: [2047 MB], available: [856 MB].

Минимальное количество памяти для Veeam - репозитория составляет 4 ГБ + 2 ГБ (или 4 Гб, если 64-битная ОС установлена) за каждую дополнительную задачу, выполняющуюся параллельно.
Как я вижу, у вас 4 ядра на репозитории и стоит выполнение 4 параллельных заданий. В таком случае, рекомендуемая память 4 + 2*4 = 12 Гб (или 4 + 4*4 = 20 Гб, если 64-битная ОС установлена).
В итоге - на сервере "REMOTE-DC2" надо увеличить память как минимум до 12 Гб (или 20 Гб). Можно конечно попробовать поиграть со SWAP, но не думаю что поможет.
Так же советую посмотреть вот эту статью

 

[Surf_rider]

невероятно. Полезный пост!

 

[Serg]

Спасибо, будем что то менять с виртуалкой, никогда б не подумал что дело в оперативке .

 

[Surf_rider]

Спасибо, будем что то менять с виртуалкой, никогда б не подумал что дело в оперативке .

напишите тогда если не сложно - поможет или нет.