Серверге желілік карта қалай таңдалады: жылдамдық, порт, слот және басқасы

Серверге желілік карта таңдау алғашында оңай көрінеді: порты бар, жылдамдығы жазылған, болды. Бірақ іс жүзінде карта сервердің өзімен, коммутатормен, кабельмен және сіз жүргізетін жұмыспен үйлесуі керек. Бұл гайд серверді өзі жинайтын не жаңартатын жүйелік әкімшілерге, шағын компаниялардың IT мамандарына, виртуализация, сақтау жүйесі не кластер құрып жүргендерге арналған. Мақсат қарапайым: картаны алып, кейін оның слотқа сыймайтынын не коммутатор оны түсінбейтінін біліп, басыңызды ұстап отырмау.

Төменде қандай параметрлерге қарау керегін, жиі кездесетін қателерді, қазір бізде қандай модельдер барын және жиі қойылатын сұрақтарды жинадық.

Таңдағанда неге қарау керек

Жылдамдық: шынымен қанша керек

Алдымен қарапайым сұрақ: сервер желі арқылы қанша дерек айдайды? Бүгінде 1 Гбит/с порттар көбіне басқару мен қызметтік трафикке ғана қалды. Файл сервері, бэкап, бірнеше виртуалкасы бар хост үшін 10 Гбит/с — қалыпты бастау нүктесі. Виртуалка көп болса, SSD-ден тұратын сақтау жүйесі желі арқылы қосылса не серверлер арасында дерек көп жүрсе, 25 Гбит/с-қа қараған жөн. 100 және 200 Гбит/с — бұл енді есептеу кластерлері, үлкен деректер, модель оқыту сияқты ауыр жұмыстардың деңгейі.

Бір нәрсені есте ұстаңыз: желі тізбектегі ең әлсіз буынның жылдамдығымен жүреді. Карта 25 гигабитті біледі, бірақ коммутатор 10 гигабиттік болса, бәрі 10-да жүреді. Сол сияқты дискілер дерек беріп үлгермесе, жылдам карта бос тұрады. Сондықтан картаны жеке емес, бүкіл схемамен бірге ойлаған дұрыс: сервер, кабель, коммутатор, сақтау жүйесі.

Порт түрі: мыс па, әлде SFP ме

Серверлік карталарда негізінен екі түрлі порт кездеседі. Біріншісі — кәдімгі RJ45, яғни мыс кабельге арналған порт. Оның 10 гигабиттік нұсқасы 10GBASE-T деп аталады. Жақсы жағы — бар кабельдік желіге оңай қосылады, 1 гигабиттік құрылғылармен де өзі келісіп жұмыс істей береді. Тек 10 гигабит үшін кабель сапасы маңызды: ескі, сапасыз кабельде жылдамдық тұрақты болмауы мүмкін, сондықтан әдетте Cat6a не одан жоғары категория алады.

Екіншісі — SFP тұқымдас порттар: SFP+, SFP28, QSFP56 т.б. Мұндай портқа кабель тікелей сұғылмайды, оған модуль (трансивер) не дайын DAC кабель қосылады. DAC — екі ұшында модулі бар мыс кабель, сервер мен коммутатор бір шкафта, жақын тұрғанда ыңғайлы. Ал арақашықтық үлкен болса, оптикалық модуль мен оптика кабель қолданылады. Жоғары жылдамдықтар, яғни 25, 100, 200 гигабит көбіне осы порттармен келеді.

Порт саны

Бір порт — ең қарапайым нұсқа, бірақ ол істен шықса не кабель суырылып кетсе, сервер желісіз қалады. Сондықтан серверлерге көбіне екі портты карта қояды. Екі порттың пайдасы бірнешеу: екі түрлі коммутаторға қосып, біреуі құласа екіншісі жұмысты жалғастырады; екеуін біріктіріп (LACP, bonding) жалпы өткізу қабілетін көбейтуге болады; не біреуін жұмыс трафигіне, екіншісін сақтау жүйесіне не бэкапқа бөлуге болады.

Төрт портты карта бір слотқа көп желі сыйғызу керек кезде пайдалы. Мысалы, виртуализация хостында басқару, виртуалкалар трафигі, сақтау жүйесі мен виртуалкаларды көшіру бөлек желіде жүрсе. Слоты аз серверде бұл көп көмектеседі.

Форм-фактор: PCIe карта, OCP мезонин, OCP 3.0

Карта серверге қалай қойылатыны — ең көп шатасатын жер. Кәдімгі нұсқа — PCIe карта: ол серверде бос PCIe слотқа қойылады. Мұнда картаның биіктігіне (low profile не толық биіктік) және планкасына қараңыз, сервер корпусына сай келуі керек.

Екінші нұсқа — OCP карталары. Бұл аналық платадағы арнайы слотқа қойылатын шағын карта, PCIe слоттарын бос қалдырады, сондықтан оларға кейін RAID контроллер не басқа карта қоюға болады. Бірақ OCP-ның өзінің бірнеше түрі бар: ескі OCP 2.0 (оны мезонин деп те атайды) мен жаңа OCP 3.0 бір-біріне сыймайды. Оған қоса кейбір өндірушілер өз серверлеріне арнап өзіндік мезонин карталар шығарады. Сондықтан OCP карта алмас бұрын сервер құжатынан қай слот барын, қай карталар қолдау табатынын міндетті түрде тексеріңіз.

PCIe шинасы: буыны мен желілер саны

Карта сервермен PCIe арқылы сөйлеседі, бұл шина да шектеу қоя алады. Екі нәрсеге қараңыз: буыны (PCIe 2.0, 3.0, 4.0) және желілер саны (x4, x8, x16). Жылдамдық неғұрлым жоғары болса, соғұрлым жаңа буын не көп желі керек. Мысалы, екі портты 10 гигабиттік картаға PCIe 2.0 x8 жетеді, екі портты 25 гигабиттікке PCIe 3.0 x8 жеткілікті, ал 200 гигабиттік карта толық ашылу үшін PCIe 4.0 x16 сұрайды.

Жаңа буынды карта әдетте ескі слотта да іске қосылады, тек шина жылдамдығымен шектеледі. Тағы бір тұзақ: кейбір серверлерде слот сырттай x16 болып көрінеді, бірақ электрлік жағынан x8 не x4 қана. Мұны да аналық плата құжатынан қарап алған жөн.

Аппараттық мүмкіндіктер: SR-IOV, RoCE, DPDK, туннельдер

Серверлік картаның үйдегі компьютер картасынан басты айырмашылығы — жұмыстың бір бөлігін процессордан алып, өзі атқарады. Ең жиі кездесетіндері:

• SR-IOV — бір физикалық портты бірнеше виртуалды функцияға бөліп, виртуалкаларға тікелей береді. Трафик гипервизордың виртуалды коммутаторын айналып өтетіндіктен, кешігу азаяды, процессор жеңілдейді.
• RDMA және RoCE — бір сервер екінші сервердің жадына процессорды мазаламай тікелей дерек жаза алады. Сақтау жүйелерінде, кластерлерде, виртуалкаларды көшіруде пайдалы. Тек коммутатор жағын да дұрыс баптау керек.
• DPDK — пакет өңдейтін бағдарламаларға ядроны айналып өтіп, картамен тікелей жұмыс істеуге мүмкіндік береді. Виртуалды роутер, файрвол сияқты желілік қосымшаларға керек.
• VXLAN, NVGRE, GENEVE туннельдерін өңдеу — виртуалды желілер көп жерде туннель пакеттерін процессор емес, карта өзі өңдейді.

Бір-екі сервер ғана болса, бұлардың бәрі міндетті емес. Бірақ виртуализацияға не кластерге бет алсаңыз, SR-IOV пен RoCE-ді қолдайтын картаны бірден алған дұрыс, кейін ауыстырып әуре болмайсыз.

Үйлесімділік: сервер, коммутатор, модуль

Ірі өндірушілердің серверлері өз брендінің карталарымен жақсы дос. Мұндай карталар сервердің басқару жүйесінде дұрыс көрінеді, микробағдарламасы сервермен бірге жаңарады, қолдау қызметі де артық сұрақ қоймайды. Басқа брендтің картасы слотқа физикалық түрде кірсе де, мониторинг оны толық көрмеуі не сервер оны күтпеген құрылғы ретінде қабылдауы мүмкін.

Коммутатор жағында да сұрақ бар: кейбір коммутаторлар мен карталар тек белгілі бір өндірушінің модульдерін қабылдайды. Модуль не DAC алмас бұрын екі жақтың да үйлесімділік тізімін қарап шығыңыз. Ал InfiniBand пен Ethernet — екі бөлек әлем: InfiniBand картасы InfiniBand коммутаторына, Ethernet картасы Ethernet коммутаторына қосылады. VPI карталары екеуін де біледі, бірақ керек режимді баптау қажет.

Драйверлер мен операциялық жүйе

Сіз қолданатын операциялық жүйеге не гипервизорға драйвер барын алдын ала тексеріңіз. Intel, Broadcom, Mellanox сияқты танымал чиптердің драйверлері әдетте Linux, Windows Server және танымал гипервизорларда бар. Бірақ нақты нұсқасын, әсіресе ескі не сирек жүйеде, тексеріп алу артық болмайды.

Жиі кездесетін қателер

• Слотты тексермей алу. OCP 2.0 мен OCP 3.0-ді шатастыру не серверде OCP слоты мүлде жоқ болып шығуы — ең жиі жағдай. Алдымен құжат, сосын карта.
• Модуль мен кабельді ұмыту. SFP+ не SFP28 карталар көбіне модульсіз келеді. Карта келді, ал қосатын ештеңе жоқ — таныс жағдай.
• Тек картаның жылдамдығына қарау. 25 гигабиттік карта 10 гигабиттік коммутаторға қосылса, 10-нан аспайды.
• Артық жылдамдық алу. 200 гигабиттік картаны кәдімгі файл серверіне қою — ақшаны желге шашумен бірдей. Алдымен жүктемені өлшеңіз.
• Әлсіз слотқа жылдам карта қою. x4 не ескі буынды слотта жылдам карта толық ашылмайды.
• Мыс кабельдің сапасын ескермеу. 10GBASE-T үшін ескі кабель кейде жылдамдықты төмендетеді не қате береді.
• InfiniBand пен Ethernet-ті шатастыру. Желі қай технологияда екенін, коммутатор нені білетінін алдын ала нақтылаңыз.
• Салқындатуды ойламау. Серверлік карталарда көбіне өз желдеткіші жоқ, олар корпус ішіндегі ауа ағынына сенеді. Ауа нашар жүретін жерге қойсаңыз, карта қызып кетуі мүмкін.

Қазір бізде не бар

HPE серверлеріне арналған үш модель бар. HPE BCM 57414 (P10115-B21) — Broadcom BCM57414 чипіндегі OCP 3.0 карта, екі SFP28 порты 1, 10 және 25 Гбит/с-та жұмыс істейді, шинасы PCIe Gen3 x8. RoCE v1/v2, SR-IOV және VXLAN/NVGRE-ді қолдайды, HPE Gen10 Plus серверлеріне арналған. HPE BCM 57416 (P26253-B21) — мыс кабельге арналған екі RJ45 порты бар карта, әр порт 10 Гбит/с-қа дейін, 1G мен 10G-ні өзі анықтайды, интерфейсі PCI Express 3.0 x8, RoCE-ді қолдайды. Ал HPE Broadcom BCM57504 (P26264-B21) — төрт SFP28 порты бар карта, әр порт 10 не 25 Гбит/с, жиыны 100 Гбит/с-қа дейін. PCI Express 4.0 x16 слотқа қойылады, RoCE v2, SR-IOV, DPDK және VXLAN/NVGRE/GENEVE туннельдерін біледі.

Басқа серверлерге арналғандары да бар. ASUS MCI-10G/82599-2S — Intel 82599 чипіндегі OCP мезонин карта, екі SFP+ порты 10 гигабиттік, шинасы PCI-E 2.0 x8. Intel X710-TM4 негізіндегі карта (Supermicro AOC-ATG-I2SM-O, Acer Altos BrainSphere серверлеріне) — OCP 3.0 форматында, төрт порты бар: екі SFP+ 10 гигабиттік және екі мыс RJ-45, 10GBASE-T-ге дейін. Қосылымдардың бір бөлігі оптика не DAC арқылы, бір бөлігі мыс арқылы жүретін жерге ыңғайлы.

Ең жылдамы — NVIDIA Mellanox ConnectX-6 VPI MCX653105A-HDAT-SP. Бір QSFP56 порты бар, InfiniBand HDR мен 200 гигабиттік Ethernet-ті қолдайды. Хост интерфейсі PCI Express 4.0 x16, Gen3 слотпен де үйлесімді. InfiniBand-та SDR, DDR, QDR, FDR, EDR, HDR100 және HDR жылдамдықтарын, Ethernet-те 1, 10, 25, 40 гигабитті біледі.

Көбірек нұсқа — Серверные сетевые карты бөлімінде.

Сұрақ-жауап

25 гигабиттік картаны 10 гигабиттік коммутаторға қосуға бола ма?

Әдетте болады: SFP28 порттары көбіне 10 гигабитті де қолдайды. Мысалы, бізде бар HPE BCM 57414 1, 10 және 25 Гбит/с-ты, BCM57504 10 және 25 Гбит/с-ты біледі. Тек модуль не DAC кабель 10 гигабиттік болуы керек, сонда байланыс 10-да орнайды. Кейін коммутаторды ауыстырсаңыз, картаны өзгертудің қажеті жоқ.

OCP картаны кез келген серверге қоюға бола ма?

Жоқ. Серверде сәйкес OCP слоты болуы керек, OCP 2.0 мен 3.0 бір-біріне сыймайды, ал кейбір мезонин карталар тек белгілі бір өндірушінің серверлеріне арналған. Алдымен сервер құжатын қараңыз, сосын таңдаңыз.

RoCE маған керек пе?

Желілік сақтау жүйесі, гиперконвергентті кластер не серверлер арасында дерек көп алмасатын жүйе болса, RoCE процессорды жеңілдетіп, кешігуді азайтады. Кәдімгі бір-екі серверде оны баптаудың мәні шамалы. Есте сақтаңыз: RoCE коммутатор жағынан да баптауды қажет етеді.

InfiniBand пен Ethernet-тің айырмасы неде?

Ethernet — кез келген кеңседе жүретін әдеттегі желі технологиясы. InfiniBand — кешігуі өте төмен, кластерлерде жиі қолданылатын бөлек желі, оған өз коммутаторлары керек. VPI карталары, мысалы ConnectX-6 VPI, екі режимде де жұмыс істей алады, сондықтан желіні кейін ауыстырсаңыз да карта жарамды қалады.

PCIe 4.0 картасын PCIe 3.0 слотқа қоюға бола ма?

Әдетте бола береді: карта ескі буынмен де жұмыс істейді, бірақ шина жылдамдығымен шектеледі. Мысалы, ConnectX-6 VPI Gen3 слотпен үйлесімді, тек 200 гигабиттің бәрін PCIe 3.0 арқылы толық өткізе алмайды. Толық жылдамдық керек болса, PCIe 4.0 слот қажет.

Мыс па, оптика ма — нені таңдаған дұрыс?

Бар кабельдік желі RJ45-ке негізделсе және 10 гигабит жеткілікті болса, 10GBASE-T ыңғайлы. Жаңадан жинап жатсаңыз не 25 гигабит пен одан жоғары керек болса, SFP порттарын алыңыз: жақынға DAC, алысқа оптика. Екеуі де керек болса, аралас порттары бар карта, мысалы X710-TM4 негізіндегі модель, мәселені бір слотпен шешеді.