Я бы действовал так:
1. Делаем бэкап виртуальной машины, снэпшот вмваре или сторонними средствами.
2. Останавливаем службы работающего сервера Lotus 8.5.2 из консоли администратора.
3. Делаем бэкап id файлов
cert.id
server.id
notes.ini
4. Заходим в службы и ставим тип запуска "вручную" у службы IBM Domino server
5. Запускаем инсталл Domino Admin & Designer, обновляемся
6. Запускаем инсталл домино сервера, обновляемся.
7. Запускаем fix pack 3
8. Перезагружаем сервер.
9. Возвращаем службе IBM Domino server тип запуска - Автоматически.
Успехов
Пару скринов в комплекте
