Официальная гарантия производителя
+7 (707) 846-89-06

Как выбрать HBA-адаптер или контроллер хранения: SAS, Fibre Channel и что проверить до заказа

· Редакция Vendara

Қазақша оқу

HBA-адаптер Broadcom Emulex LPe32002, 2 порта 32GFC/16GFC Fibre Channel, PCIe 3.0

Разбираемся, чем HBA отличается от RAID-контроллера, когда нужен SAS, а когда Fibre Channel, и на какие порты, разъёмы, шину и прошивку смотреть, чтобы адаптер завёлся в вашем сервере с первого раза.

Этот гайд для тех, кто собирает или расширяет сервер, подключает дисковую полку или заводит сервер в сеть хранения данных. Это может быть системный администратор, инженер интегратора или владелец небольшой компании, у которого закончились порты на материнской плате. HBA-адаптер выглядит как обычная плата расширения. Но ошибиться с ним легко: не тот протокол, не тот разъём, не та планка, и плата приезжает, а подключить её некуда.

Ниже по порядку разберём, что важно при выборе, где чаще всего ошибаются, и покажем, что сейчас есть в каталоге. Писали так, чтобы было понятно и тем, кто покупает такую плату впервые.

На что смотреть при выборе

HBA или RAID-контроллер

Это первый вопрос, и от ответа зависит всё остальное. HBA (Host Bus Adapter) просто подключает диски или сеть хранения к серверу. Он ничего не собирает в массивы, а отдаёт каждый диск операционной системе как есть. RAID-контроллер сам объединяет диски в массив, у него обычно есть свой кэш, а иногда и батарея или конденсаторный модуль для защиты этого кэша.

HBA берут, когда отказоустойчивостью занимается программа: ZFS, программный RAID в Linux, Storage Spaces, системы хранения на базе Ceph и похожие решения. Им нужен прямой доступ к дискам, и аппаратный RAID там скорее мешает. RAID-контроллер нужен, когда массив должен жить на уровне железа и не зависеть от операционной системы.

Сразу оговоримся: адаптеры Fibre Channel тоже называют HBA, но это другая история. Они подключают сервер не к дискам, а к сети хранения (SAN), где стоят дисковые массивы.

Протокол: SAS/SATA, Fibre Channel или NVMe

SAS HBA подключает диски и дисковые полки напрямую. Почти все SAS-адаптеры понимают и SATA-диски, так что в один сервер можно ставить и те, и другие. Это выбор для локального хранения внутри сервера или в полке рядом с ним.

Fibre Channel HBA нужен, если у вас есть SAN: FC-коммутаторы и система хранения, к которой подключаются сразу несколько серверов. Оптика, отдельная сеть, низкие задержки. Если в инфраструктуре нет FC-коммутаторов и FC-массива, такой адаптер сам по себе ничего не даст.

NVMe встречается в двух видах. Есть адаптеры и контроллеры для локальных NVMe-накопителей, а есть NVMe over Fabrics, когда протокол NVMe идёт поверх сети. В FC-мире это NVMe over FC, и его поддерживают далеко не все адаптеры, так что смотрите в характеристики конкретной модели.

ТипК чему подключаетсяТипичные разъёмыКогда брать
SAS HBAДиски, бэкплейн, дисковая полкаSFF-8643 внутри, SFF-8644 снаружиПрограммный RAID, ZFS, много дисков
RAID-контроллерДиски, бэкплейнТе же, что у SAS HBAМассив на уровне железа
FC HBAFC-коммутатор или СХДSFP+, SFP28 под оптикуЕсть сеть хранения SAN

Скорость и обратная совместимость

У SAS сейчас ходовой стандарт 12 Гбит/с на линию. Такие адаптеры работают и с более медленными дисками, просто линия опустится до их скорости.

В Fibre Channel поколения называют по скорости: 8, 16, 32 Гбит/с и выше. Важное правило: адаптер обычно умеет работать на своей скорости и на двух предыдущих. Например, адаптер на 32 Гбит/с, как правило, договорится с коммутатором на 16 и 8 Гбит/с, а вот на 4 уже может не завестись. Если у вас старая SAN, проверьте это до покупки.

И помните, что скорость упирается в самое медленное звено: коммутатор, трансивер, порт массива. Ставить адаптер на 32 Гбит/с в сеть, где всё работает на 8, можно, это задел на будущее, но быстрее сегодня не станет.

Количество портов и устройств

У SAS HBA порты считают линиями. Восемь линий это два разъёма по четыре. Напрямую к такому адаптеру подключается до восьми дисков, а через SAS-экспандер (он стоит во многих бэкплейнах и дисковых полках) счёт идёт уже на десятки и сотни устройств. Если у вас корзина на двенадцать или двадцать четыре диска, узнайте, есть ли в бэкплейне экспандер. От этого зависит, хватит ли восьми линий.

У FC HBA порты физические: один, два или четыре. Два порта обычно берут не ради скорости, а ради отказоустойчивости. Каждый порт идёт в свою фабрику, в свой коммутатор, и если одна ветка падает, сервер не теряет доступ к хранилищу. Это называется multipath, и для серьёзной SAN это почти обязательная схема. Четыре порта нужны, когда серверу надо больше путей или больше полосы.

Разъёмы, кабели и трансиверы

Здесь ошибаются чаще всего. Внутренние SAS-адаптеры современного поколения используют разъём SFF-8643 (mini SAS HD). Внешние, для полок, обычно SFF-8644. Старые бэкплейны могут быть с разъёмами SFF-8087, и тогда нужен переходной кабель. Кабели к HBA почти всегда продаются отдельно, поэтому сразу посмотрите, какой разъём стоит на вашем бэкплейне, и закажите нужный кабель вместе с адаптером.

У FC-адаптеров порты под модули SFP+ или SFP28. В комплекте трансиверы бывают не всегда. Трансивер должен совпадать по скорости и по типу оптики с тем, что стоит на другом конце: коротковолновый для многомодового кабеля в пределах стойки и зала, длинноволновый для одномодового на большие расстояния. Ещё нюанс: некоторые адаптеры и коммутаторы принимают только модули своего производителя.

Шина PCIe: поколение и линии

Большинство серверных адаптеров стоят в слот PCIe x8. Поколение шины ограничивает полосу. PCIe 3.0 x8 даёт около 7,9 ГБ/с в каждую сторону. Этого с запасом хватает на восемь линий SAS 12G под жёсткие диски и на два порта FC 32 Гбит/с. Если адаптер быстрее, чем шина, часть его возможностей просто не раскроется.

Проверьте две вещи. Первое: есть ли в сервере свободный слот нужной длины. Второе: сколько линий на самом деле разведено на этот слот. Бывает, что слот механически x16, а электрически x4, и тогда адаптер заработает, но медленнее. Адаптер PCIe 3.0 спокойно встаёт в слот 4.0 или 5.0, просто работает на своей скорости.

Форм-фактор и охлаждение

Серверные платы бывают низкопрофильные (Low Profile) и полноразмерные. В корпуса высотой 1U и во многие 2U с райзерами влезает только низкопрофильная плата с короткой планкой. Часто в коробке лежат обе планки, но не всегда, так что уточните.

HBA заметно греются, особенно SAS-адаптеры с радиатором на чипе. В сервере их охлаждает поток воздуха от вентиляторов корпуса, своего вентилятора у них обычно нет. Если поставить такую плату в обычный настольный корпус без продува, она может перегреваться и сбоить. Рабочий диапазон температур есть в характеристиках, обратите на него внимание, если сервер стоит не в серверной.

Совместимость с сервером, ОС и прошивкой

Сервер крупного производителя может требовать адаптеры своей линейки. Чужая плата иногда работает, но без мониторинга в штатной системе управления, а иногда сервер разгоняет из-за неё вентиляторы на полную. Поэтому для брендовых серверов логично смотреть на адаптеры того же производителя или проверять список совместимости.

Для операционной системы нужен драйвер. В Linux и VMware драйверы для распространённых чипов обычно уже есть, в Windows Server их иногда надо ставить отдельно. Для гипервизоров и систем хранения обязательно сверьтесь со списком совместимого оборудования: от него зависит поддержка вендора.

И прошивка. У SAS-чипов есть режимы IT (чистый HBA, диски отдаются напрямую) и IR (простые массивы на самом адаптере). Под ZFS и похожие системы нужен режим IT. Многие адаптеры поставляются уже с ним, но это стоит уточнить заранее.

Частые ошибки

  • Взять RAID-контроллер под ZFS. Режим JBOD у RAID-контроллера часто всё равно прячет от системы часть информации о дисках. Под программное хранилище нужен честный HBA.
  • Взять FC-адаптер, когда нужен SAS. Название «HBA» у них общее, а задачи разные. Если вы хотите подключить диски в сервере, Fibre Channel тут не поможет.
  • Забыть про кабели. Адаптер приехал, а подключить нечем. Кабели SFF-8643 и трансиверы SFP почти всегда отдельная позиция.
  • Не проверить высоту планки. Полноразмерная плата не встанет в 1U-сервер, и наоборот, низкопрофильная без длинной планки болтается в обычном слоте.
  • Не посчитать диски. Восемь линий без экспандера это восемь дисков. Если корзина больше и экспандера в ней нет, нужен второй адаптер или полка с экспандером.
  • Не сверить скорости с SAN. Новый адаптер может не поддерживать слишком старое поколение FC, на котором работает ваш коммутатор.
  • Поставить в корпус без продува. Серверная плата рассчитана на поток воздуха. Без него перегрев и странные отвалы дисков.
  • Ставить в слот с меньшим числом линий. Плата заработает, но полосы не хватит, и виноватым окажется адаптер, хотя дело в слоте.

Что есть у нас сейчас

Для Fibre Channel SAN у нас есть три двухпортовых адаптера на 32 Гбит/с. Broadcom Emulex LPE32002-M2 построен на чипе Broadcom XE501, ставится в слот PCI Express 3.0 x8, сам определяет скорость 32, 16 или 8 Гбит/с и работает при температуре от 0 до 55 градусов. Второй вариант на той же платформе, Emulex LPe32002, это FC HBA шестого поколения с низкой задержкой и поддержкой NVMe over FC. Учтите, что это адаптер для подключения к SAN, а не RAID-контроллер. Третий, HPE StoreFabric SN1600E (Q0L12A), даёт 32 Гбит/с на каждый порт, совместим с инфраструктурой на 16 и 8 Гбит/с, подключается через PCI Express 3.0 x8 и выполнен в низкопрофильном форм-факторе. Его логично смотреть для серверов HPE.

Если нужно подключить диски внутри сервера, есть SAS HBA Supermicro AOC-S3008L-L8E на чипе LSI3008. Скорость 12 Гбит/с, до 8 устройств напрямую и до 122 через SAS-экспандер. Разъёмы SFF-8643 (mini SAS HD), кабель к нему покупается отдельно.

Для серверов Huawei с Fibre Channel есть два четырёхпортовых адаптера: ODK-SIO4*16FC-ML на 16 Гбит/с с портами SFP+ и ODK-SIO4*32FC-ML на 32 Гбит/с с портами SFP28. Оба предназначены для подключения серверов и систем хранения к сети Fibre Channel.

Больше вариантов — в разделе HBA-адаптеры и контроллеры хранения данных.

Вопросы и ответы

Можно ли подключить SATA-диски к SAS HBA?

Да, SAS-адаптеры, как правило, работают с SATA-дисками. Обратное неверно: SAS-диск к обычному SATA-порту на материнской плате не подключится. Нужен только подходящий кабель или бэкплейн, который поддерживает оба типа дисков.

Чем двухпортовый FC-адаптер лучше двух однопортовых?

Он занимает один слот вместо двух, а это важно в компактных серверах. Зато два отдельных адаптера защищают ещё и от отказа самой платы. Для большинства задач хватает одного двухпортового адаптера с портами в разные фабрики. Если требования к доступности очень строгие, ставят два адаптера.

Нужны ли трансиверы для FC-адаптера?

Нужны, порты SFP+ и SFP28 без модулей не работают. Есть ли модули в комплекте, зависит от конкретной поставки, это стоит уточнить. Трансивер подбирают по скорости порта и типу оптического кабеля, а для некоторых адаптеров и коммутаторов ещё и по производителю.

Будет ли адаптер PCIe 3.0 работать в новом сервере с PCIe 4.0 или 5.0?

Будет. PCIe обратно совместима, адаптер просто работает на скорости своего поколения. Для двух портов FC 32 Гбит/с или восьми линий SAS 12G полосы PCIe 3.0 x8 хватает.

Как понять, хватит ли восьми линий SAS на мою дисковую корзину?

Посмотрите, есть ли в бэкплейне или полке SAS-экспандер. Если есть, один адаптер обслужит намного больше восьми дисков, они будут делить общую полосу. Если бэкплейн пассивный, на каждый диск нужна своя линия, и для корзины на двенадцать дисков восьми уже не хватит.

Можно ли поставить адаптер Huawei или HPE в сервер другого производителя?

Технически плата часто работает, если для чипа есть драйвер. Но могут не работать мониторинг и обновление прошивки через штатные утилиты сервера, а в поддержке такую конфигурацию могут не принять. Если для вас важна поддержка вендора, берите адаптер из списка совместимости вашего сервера.

WhatsApp