Даже идеально спроектированная и автоматизированная сетевая фабрика требует регулярного обслуживания и оперативного устранения неисправностей (Troubleshooting). Сбои в модулях transceivers (SFP+/QSFP+), повреждения оптических кабелей, ошибки согласования скоростей или проблемы с топологией InfiniBand могут приводить к деградации производительности кластеров виртуализации и СХД.
В этой финальной статье мы разберем, как локализовать проблемы с помощью системного CLI, проводить диагностику фабрики утилитой ibdiagnet и работать с низкоуровневым состоянием железа через пакет инструментов MFT (mstflint).
Первый этап при поиске любой сетевой неисправности — проверка физического уровня (L1) и сбор системных логов.
Если на хостах виртуализации (ESXi / Proxmox) наблюдаются потери пакетов, в первую очередь проверяются счетчики ошибок на интерфейсах коммутатора:
Входим в режим просмотра
Switch > enable
Вывод подробной статистики по порту
Switch # show interfaces ethernet 1/1 counters
Быстрый поиск интерфейсов с ошибками или дропами
Switch # show interfaces counters errors
Внимание: Если счетчики 'Rx CRC errors' или 'FCS errors' постоянно растут, это в 99% случаев указывает на неисправность кабеля (DAC/AOC) или загрязнение оптического патч-корда.
Все критические события (падение линков, перегрев, проблемы с блоками питания) фиксируются в системном логе. Вывести последние события можно командой:
Просмотр системного лога на экране
Switch # show logging syslog
Поиск конкретных событий (например, падения портов)
Switch # show logging syslog | include "link down"
Если ваши порты на SX6036 работают в режиме InfiniBand (или гибридном VPI), стандартных средств Ethernet-мониторинга будет недостаточно. Основным инструментом сквозной диагностики фабрики является утилита ibdiagnet. Она сканирует топологию, проверяет качество линков и ищет несоответствия в конфигурации Subnet Manager.
Её можно запустить непосредственно из CLI коммутатора (если активен встроенный SM) или с любого подключенного Linux-хоста:
Запуск комплексной диагностики InfiniBand-фабрики
Switch # ibdiagnet -v
Запуск с детальной проверкой счетчиков ошибок на всех узлах сети
Switch # ibdiagnet --as
После выполнения утилита генерирует лог-файлы в директории /var/tmp/ibdiagnet2/. Ключевой файл для анализа — ibdiagnet2.log.
Пакет Mellanox Firmware Tools (MFT) и входящая в него утилита mstflint используются для низкоуровневой диагностики чипа коммутатора (SwitchX-2), проверки аппаратных компонентов, сбора дампов и обновления микрокода (Firmware).
На коммутаторе SX6036 эти действия выполняются из специализированного режима инженерии или через подключенный Linux-хост по интерфейсу PCIe/I2C.
Проверка информации о прошивке (запускается на Linux-хосте, где установлена карта, либо в сервисной консоли свитча)
mstflint -d <идентификатор_устройства> q
Вывод покажет текущую версию (FW Version), базовый MAC-адрес, GUID устройства и статус аппаратных ключей.
Если коммутатор ведет себя некорректно, а стандартные логи пусты, можно сформировать полный дамп регистров железа:
Создание детального технического отчета системы
Switch # configuration upload debug-info tftp://192.168.10.10/switch-debug.tgz
Для поддержания здоровья сетевой фабрики лучше настроить регулярное выполнение следующих проверок:
Switch (config) # logging 192.168.10.12