Выбор режима работы портов (VPI)

Коммутатор Mellanox SX6036 поддерживает технологию VPI (Virtual Protocol Interconnect). Это значит, что каждый из его 36 портов может работать в одном из двух режимов:

• InfiniBand (IB): используется по умолчанию для построения высокоскоростных сетей хранения данных и вычислительных кластеров.
• Ethernet: превращает устройство в классический 40-гигабитный коммутатор.

⚠️ Важно: Переключение режима порта требует прав администратора и перезагрузки интерфейса.

Перед внесением изменений смотрим, в каком режиме порты работают сейчас:

switch # show system profile

Или детально по каждому порту:

switch # show interfaces ib status

Перевод портов из одного режима в другой выполняется в режиме конфигурации.

Если вам нужно перевести, например, порты с 1 по 4 в режим Ethernet, а остальные оставить в InfiniBand:

switch # configure terminal
switch (config) # interface ib 1/1-1/4 profile ethernet

Если вы планируете использовать Mellanox SX6036 исключительно как Ethernet-коммутатор, то:

switch # configure terminal
switch (config) # system profile ethernet-single-switch

Примечание: После смены глобального профиля системы (system profile) коммутатор потребует полной перезагрузки командой reload.

Если вы планируете использовать коммутатор в режиме InfiniBand, сеть не заработает сама по себе. В IB-сетях обязательно должен быть запущен Subnet Manager (SM). Без него линки на сетевых картах серверов будут гореть желтым/оранжевым (статус Initialize), а не зеленым (Active).

На SX6036 есть встроенный аппаратный Subnet Manager. Чтобы включить его, надо выполнить команду:

switch (config) # ib sm enable

Это самый простой метод запуска сети InfiniBand с помощью встроенного SM, хотя сам Subnet Manager можно запустить и на сторонней тачке в сети, которая и будет выполнять функции SM. Но это отдельная история…

Рекомендация по приоритету:
Если в вашей сети несколько коммутаторов Mellanox, рекомендуется явно выставить приоритет для SM, чтобы главным всегда становился один и тот же коммутатор:

switch (config) # ib sm priority 8

(Значение по умолчанию — 1. Чем выше цифра, тем выше приоритет коммутатора при выборе главного менеджера подсети).

Не забудьте зафиксировать изменения в памяти устройства:

switch (config) # configuration write

Проверяем, что всё заработало?
Выполните команду show ib sm. Статус должен быть Running, а в строке роли должно быть написано Master. На серверах команда ibstat теперь должна показывать статус портов State: Active.