Как выбрать серверную сетевую карту: скорость, разъёмы, OCP и RDMA без лишней путаницы

Про серверную сетевую карту обычно вспоминают, когда сеть уже тормозит. Бэкап идёт всю ночь, виртуалки при миграции подвисают, хранилище не выдаёт скорость, которую обещают диски. Встроенного гигабита на сервере давно мало. Ставить «что-нибудь на 10G» тоже не лучший план. Гайд для тех, кто собирает новый сервер, расширяет стойку, переходит с гигабита на 10 или 25 Гбит/с или строит кластер. Разберём, какие параметры правда важны, где люди ошибаются чаще всего и что из этого есть у нас прямо сейчас.

На что смотреть при выборе

Скорость порта

Начинать стоит со скорости. Её задаёт задача, а не мода. Для файлового сервера в небольшом офисе часто хватает 10 Гбит/с. Для узла виртуализации, к которому ходят десятки машин, или для сервера с быстрым NVMe-хранилищем уже имеет смысл 25 Гбит/с на порт. Скорости 100 и 200 Гбит/с нужны там, где серверы гоняют между собой большие объёмы данных: вычислительные кластеры, распределённые хранилища, обучение моделей.

Важный момент: многие карты на 25 Гбит/с умеют работать и на 10 Гбит/с. Это удобно, если коммутатор пока на 10G, а замену планируете позже. Ставите карту сейчас, а коммутатор меняете потом, когда дойдёт очередь.

Тип разъёма: медь или SFP

Это второй главный вопрос. От него зависит, какие кабели и модули вы будете покупать и подойдёт ли карта к вашему коммутатору.

Медь удобна тем, что кабель дешёвый и привычный, а порт без проблем понимает и гигабит. Минусы тоже есть. Для 10 Гбит/с нужен качественный кабель: категория 6a нормально держит полную длину сегмента, а с обычной шестой категорией расстояние заметно короче. Медные 10G-порты ещё и греются сильнее, чем SFP+.

SFP-порты гибче. Внутри стойки ставите короткий DAC-кабель: это готовый кабель с разъёмами на концах, без отдельных модулей. Между стойками или этажами используете оптику. Порт один, а вариантов подключения несколько.

Количество портов

Двух портов хватает в большинстве случаев. Обычно их делят так: один в основной коммутатор, второй в резервный. Если один коммутатор упадёт, сервер останется в сети. Можно и объединить порты в агрегат, чтобы получить больше полосы.

Четыре порта нужны, когда трафик надо развести по разным сетям физически: отдельно хранилище, отдельно миграция виртуальных машин, отдельно пользовательская сеть. Или когда слотов в сервере мало, а подключений много. Одна четырёхпортовая карта занимает один слот вместо двух.

Форм-фактор: обычный PCIe или OCP

Обычная сетевая карта ставится в слот PCIe, как видеокарта в настольном компьютере. Она подходит почти к любому серверу, если по размеру влезает в слот и по высоте планки совпадает с корпусом.

OCP — это отдельный стандарт сетевых карт-мезонинов. Такая карта ставится в специальный разъём на материнской плате и не занимает обычный PCIe-слот. Поколений два, и они несовместимы между собой: старые OCP-мезонины и OCP 3.0. Перед выбором загляните в документацию сервера. Там написано, есть ли OCP-разъём и какой именно. Ошибка тут стоит дорого: карта просто не встанет.

Плюс OCP 3.0 в том, что во многих серверах такую карту можно вынуть сзади, не открывая корпус. Обычные PCIe-слоты остаются свободными под RAID-контроллер, ускорители или ещё одну сетевую карту.

Интерфейс PCIe и пропускная способность шины

Карта общается с сервером через шину PCIe, и у шины тоже есть потолок. Простая проверка: сложите скорость всех портов и сравните с тем, что даёт шина.

• PCIe 2.0 x8 — примерно 32 Гбит/с в каждую сторону. Двум портам на 10G этого хватает с запасом.
• PCIe 3.0 x8 — примерно 63 Гбит/с. Два порта по 25G укладываются.
• PCIe 4.0 x16 — около 250 Гбит/с. Это уже уровень для четырёх портов по 25G или одного на 200G.

Если поставить быструю карту в слот старого поколения или с меньшим числом линий, она заработает, но упрётся в шину. Это частая причина, почему «карта на 25 гигабит выдаёт меньше, чем должна».

Контроллер и драйверы

Сердце карты — сетевой контроллер. От него зависят поддержка в операционных системах, набор функций и стабильность драйверов. У серверных контроллеров известных производителей с драйверами обычно всё хорошо: поддержка есть в популярных дистрибутивах Linux, в Windows Server и в гипервизорах. Но проверять всё равно стоит. Особенно если у вас специфичная или старая версия ОС. Ищите контроллер в списке совместимости вашего гипервизора или дистрибутива.

Функции для виртуализации

Если сервер работает под гипервизором, обратите внимание на несколько вещей.

SR-IOV позволяет разделить один физический порт на несколько виртуальных и отдать их напрямую виртуальным машинам. Трафик идёт мимо программного коммутатора гипервизора, задержки меньше, процессор свободнее.

Аппаратная обработка туннелей VXLAN, NVGRE и GENEVE нужна в больших виртуальных сетях и облачных платформах. Без неё упаковкой и распаковкой туннельного трафика занимается процессор сервера.

DPDK — набор библиотек для быстрой обработки пакетов в обход ядра ОС. Он важен для сетевых функций, программных маршрутизаторов и балансировщиков.

RDMA и RoCE

RDMA — это прямой доступ к памяти другого сервера по сети, почти без участия процессора. Для обычного файлового сервера это лишнее. А вот для хранилищ, кластеров баз данных и гиперконвергентных систем RDMA заметно снижает задержки и нагрузку на процессор.

В Ethernet-сетях RDMA работает через RoCE. Версия v2 маршрутизируется, поэтому сейчас обычно смотрят именно на неё. Учтите: чтобы RoCE работал хорошо, коммутаторы тоже надо правильно настроить. Одной карты для этого мало.

InfiniBand или Ethernet

InfiniBand — отдельная сетевая технология для вычислительных кластеров с очень низкими задержками. Для неё нужны свои коммутаторы. Есть карты, которые умеют работать и в InfiniBand, и в Ethernet, а режим выбирается настройкой. Это удобно, если инфраструктура смешанная или вы пока не решили, на чём строить кластер.

Совместимость с сервером и модулями

Карты от производителей серверов часто рассчитаны на конкретные линейки. Внутри своей экосистемы они работают без сюрпризов: прошивки, мониторинг, управление через встроенный контроллер сервера. В чужом сервере такая карта может работать, а может и не работать, и проверять это лучше заранее.

С SFP-модулями похожая история. Некоторые карты и коммутаторы привередливы к модулям сторонних производителей. Прежде чем покупать оптику или DAC-кабели, уточните, с чем дружит ваша карта.

Частые ошибки

• Перепутали OCP и обычный PCIe. Карта приехала, а разъёма под неё в сервере нет. Или есть, но другого поколения OCP.
• Купили SFP-карту без модулей и кабелей. Порты SFP+ и SFP28 пустые. В комплекте модулей обычно нет, их выбирают отдельно под коммутатор и расстояние.
• Не сверились с коммутатором. Медная карта и SFP-коммутатор без медных модулей друг друга не поймут. И наоборот.
• Поставили быструю карту в медленный слот. Слот физически подходит, но по поколению или линиям PCIe он слабее карты. Скорость упирается в шину.
• Не учли охлаждение. Серверные сетевые карты рассчитаны на продув вентиляторами корпуса. В тихом корпусе со слабым потоком воздуха они перегреваются и сбрасывают соединение.
• Ждали от RoCE чудес без настройки сети. RDMA поверх Ethernet требует настройки коммутаторов. Иначе выигрыш будет меньше ожидаемого или его не будет совсем.
• Взяли «на вырост» то, что не нужно. Порт на 200 Гбит/с в сети, где всё остальное на 10G, просто будет простаивать. Лучше вложиться в то, что реально упирается.
• Забыли про планку. Для низкопрофильного слота нужна низкая планка, для полноразмерного — полная. Проверьте, какая идёт в комплекте.

Что есть у нас сейчас

Если сеть у вас на меди или смешанная, посмотрите на две карты. HPE на контроллере Broadcom BCM57416 — два порта RJ45 до 10 Гбит/с, скорость определяет сама, 1G или 10G. Подключается в PCI Express 3.0 x8, поддерживает RoCE. Сетевая карта OCP 3.0 на Intel X710-TM4 совмещает два порта SFP+ на 10GbE и два медных RJ-45 до 10GBASE-T. Её удобно ставить, когда часть подключений идёт по оптике или DAC, а часть по меди. В названии она указана как карта для Acer Altos BrainSphere.

Из двухпортовых SFP-мезонинов есть два варианта. ASUS MCI-10G/82599-2S — OCP-мезонин на Intel 82599 с двумя портами SFP+ на 10GbE и интерфейсом PCI-E 2.0 x8. HPE на Broadcom BCM57414 — карта OCP 3.0 с двумя портами SFP28 на 1, 10 и 25 Гбит/с и интерфейсом PCIe Gen3 x8. Она рассчитана на серверы HPE Gen10 Plus и поддерживает RoCE v1 и v2, SR-IOV, VXLAN и NVGRE.

Для нагруженных узлов есть две карты. HPE на Broadcom BCM57504 — четыре порта SFP28 на 10 и 25 Гбит/с, суммарно до 100 Гбит/с, слот PCI Express 4.0 x16. Поддерживает RoCE v2, SR-IOV, DPDK и туннели VXLAN, NVGRE и GENEVE. NVIDIA Mellanox ConnectX-6 VPI MCX653105A-HDAT-SP — однопортовая карта QSFP56 под InfiniBand HDR и Ethernet 200GbE с интерфейсом PCI Express 4.0 x16, совместима с Gen3.

Больше вариантов — в разделе Серверные сетевые карты.

Вопросы и ответы

Можно ли подключить карту с портами SFP28 к коммутатору на 10G?

Обычно да. Порты SFP28 на многих картах работают и на 10 Гбит/с, если стоит подходящий модуль или DAC-кабель на 10G. Перед покупкой проверьте это в описании конкретной карты: у некоторых моделей скорость надо переключать в настройках.

Что лучше для 10G: медь или SFP+?

Если в стойке уже медный коммутатор и проложена витая пара хорошей категории, берите медь — меньше трат на переделку. Если стойка новая или коммутатор с SFP+, берите SFP+: внутри стойки хватит коротких DAC-кабелей, порты меньше греются, а при нужде можно перейти на оптику.

Встанет ли OCP-карта в обычный слот PCIe?

Нет. У OCP-карт свой разъём, и ставятся они только в серверы с OCP-слотом нужного поколения. Старые OCP-мезонины и OCP 3.0 между собой тоже не взаимозаменяемы.

Нужен ли RoCE, если у меня просто файловый сервер?

Чаще всего нет. RoCE раскрывается в хранилищах с низкими задержками, в кластерах и гиперконвергентных системах. Для обычного файлового сервера важнее скорость порта и нормальная шина. Если карта RoCE поддерживает, хуже от этого не будет. Просто специально под него переплачивать не обязательно.

Чем InfiniBand отличается от Ethernet на практике?

InfiniBand нужен в вычислительных кластерах, где решают задержки. Для него нужны свои коммутаторы и своя настройка. Ethernet привычнее, проще встраивается в существующую сеть и подходит для большинства серверных задач. Карты VPI умеют и то и другое, поэтому их берут, когда нужна гибкость.

Почему карта на 25 Гбит/с выдаёт меньше заявленного?

Самые частые причины: карта стоит в слоте PCIe младшего поколения или с меньшим числом линий; на другой стороне коммутатор или модуль на 10G; узкое место в дисках или процессоре, а не в сети. Начните с проверки согласованной скорости порта и режима работы слота.