NVLink: как устроена связь между GPU и когда она ускоряет вычисления
Многопроцессорный сервер может ждать данные даже тогда, когда его ускорители способны выполнить гораздо больше вычислений. Представим обучение модели, в котором каждый GPU успевает обработать свою порцию примеров, а затем все участники на каждом шаге обмениваются результатами. Пока обмен не завершён, следующий этап не стартует. Ускорить арифметику в такой системе полезно лишь до определённого предела. После этого нужно разбираться с тем, сколько данных перемещается между устройствами и по какому пути они идут.
NVIDIA NVLink относится именно к этому участку системы. Это семейство соединений для обмена данными между совместимыми процессорами. В многопроцессорных серверах оно связывает GPU напрямую или через коммутаторы NVSwitch. В некоторых платформах родственная технология NVLink-C2C связывает CPU и GPU. Чтобы понять эффект от такой связи, приходится сопоставлять три вещи: физическую топологию, способ размещения задачи по устройствам и алгоритмы, которыми пользуется программа. Одинаковое название интерфейса на двух серверах не гарантирует одинаковой скорости для приложения.
1. Что именно передаётся по NVLink
У каждого GPU есть собственная память. Большинство операций над тензором выполняется эффективно, когда данные уже лежат рядом с вычислительными блоками. При распределении программы по нескольким ускорителям часть операций требует данных, которых на текущем GPU нет. Один процессор может сформировать промежуточные активации для другого, передать блок матрицы, поделиться фрагментом вектора или получить результаты всех участников и сложить их. NVLink обслуживает перемещение и доступ к таким данным там, где аппаратная и программная конфигурация это поддерживает.
Условно можно выделить перенос буфера и обращение к удалённой памяти. В первом случае программа заранее знает, какой участок данных нужен соседнему GPU, и копирует его туда целиком. После этого вычисления опираются на локальную копию. Во втором случае вычислительное ядро может обращаться к доступной памяти соседнего устройства через межпроцессорное соединение. Такие обращения удобны для некоторых алгоритмов, но их стоимость зависит от размера, последовательности и частоты запросов. Для многократного чтения одного плотного блока бывает выгоднее выполнить копирование один раз.
Термин peer-to-peer, или P2P, описывает обмен между устройствами без обязательной промежуточной копии в памяти хоста. Такой доступ может работать и на некоторых конфигурациях PCIe. NVLink предоставляет ещё один аппаратный путь. Когда производитель сравнивает NVLink с PCIe, имеет смысл выяснить, какие маршруты сравниваются: прямой обмен, путь через коммутатор PCIe, проход между процессорными сокетами или копирование через системную память. У этих вариантов разные ограничения, и особенно заметна разница в перегруженном узле.
Одна и та же операция может передавать данные напрямую и при этом ждать программной синхронизации. Например, GPU 0 произвёл данные, но GPU 1 должен дождаться сигнала о готовности. Время определяют вычисление, запись буфера, передача и согласование очередей. Если измерить только скорость копирования большого буфера, задержки до и после него останутся за пределами замера. Для оценки приложения поэтому полезны и тесты канала, и трассировка реального цикла.

2. Линия, соединение и топология — три разных масштаба
В документации термин link иногда относится к отдельному каналу NVLink, а карточка продукта приводит сумму возможностей всех каналов, доступных GPU. Физически каналы могут вести к одному соседу, к нескольким GPU или к коммутаторам. Если часть каналов ведёт к одной карте, а часть к другой, одна пара обычно не получает сумму всех каналов исходного GPU. Приложение может задействовать этот ресурс только там, где его схема обмена позволяет одновременно использовать несколько направлений.
Топология описывает, кто с кем соединён и какие ресурсы делят маршруты. В прямой схеме четыре GPU можно попарно связать мостами. Внутри пары обмен получает быстрый маршрут, между парами остаётся другой путь. Задачу с активным обменом между двумя частями удобно разместить в одной паре. Если программа на каждом шаге требует согласованного обмена всех четырёх устройств, время может определяться связями между парами. Поэтому при сравнении конфигураций сначала нарисуйте матрицу маршрутов, а затем наложите на неё потоки данных приложения.
У коммутируемой схемы связь устроена по-другому. GPU соединяют с портами NVSwitch, который направляет трафик к получателю. При этом производительность обмена ограничена каналами исходного и целевого GPU, ресурсами коммутаторов и схемой соединения между ними. Если несколько отправителей одновременно обращаются к одному получателю, всем им приходится делить пропускную способность входящих каналов этого GPU. Высокая пропускная способность между произвольными парами и высокая пропускная способность при схеме «все к одному» описывают разные случаи.
Есть и третий контур — сеть между серверами. Один узел может связывать GPU внутри корпуса через NVSwitch, а сообщения между узлами отправлять по InfiniBand или Ethernet. RDMA и GPUDirect RDMA на поддерживаемых системах могут сократить число промежуточных копий для межузлового обмена. При этом межузловой трафик всё равно ограничивает сеть и путь от GPU к сетевому адаптеру. Размещение рангов и сетевых интерфейсов влияет на то, какой маршрут реально выберет библиотека.
3. NVSwitch и границы домена
NVSwitch нужен там, где выгодно дать многим GPU доступ к общей коммутируемой среде. В традиционном сервере такой домен часто ограничен корпусом. В стоечной системе он может охватывать ускорители из нескольких вычислительных модулей. Границу нужно устанавливать по описанию конкретной платформы. Два соседних узла в стойке могут быть лишь соседями в локальной сети. Для стоечной платформы с общей фабрикой эти же физически раздельные модули могут входить в единый домен NVLink.
Важен и путь через саму фабрику. Если для обмена между двумя подгруппами доступно меньше каналов, чем суммарно со стороны всех отправителей, при ударной нагрузке возникнет очередь. Представьте две половины системы, каждая из которых интенсивно обменивается внутри себя. Когда алгоритм перестраивает распределение и запускает массовую пересылку через границу половин, нагрузка на общие связи меняется даже при том же объёме вычислений. Сравнивать такие фазы по средней загрузке GPU недостаточно.
Поддерживаемые платформы могут переносить отдельные операции коллективного обмена в фабрику. В программной терминологии NVIDIA встречается NVLink SHARP, а в NCCL — алгоритмы NVLS и NVLSTree. Они применимы к определённым операциям и конфигурациям. Ожидать одинакового поведения от любого моста NVLink и от сервера с коммутаторами нельзя. При выводе о том, что ускорение получено именно за счёт такой возможности, проверяют журналы библиотеки и измеряют нужную коллективную операцию на той же группе участников.
У систем с коммутаторами есть собственный этап инициализации. Драйверы и службы платформы должны правильно обнаружить устройства и настроить фабрику. На поддерживаемых поколениях часть этой работы выполняет NVIDIA Fabric Manager. Требования к службам и последовательности запуска различаются, поэтому ориентироваться нужно на руководство для своей платформы. Ситуация, когда каждый GPU виден отдельно, а коллективная задача не стартует или использует другой транспорт, требует проверить готовность всей фабрики.
4. Четыре цифры, которые удобно различать в спецификации
Полоса одного канала. Она относится к конкретному поколению и может быть указана в одном направлении либо суммарно для приёма и передачи. При однонаправленной копии продуктивна полоса в сторону получателя. Если одновременно копировать в обратную сторону, можно измерить суммарную работу в обоих направлениях. Это два разных теста даже при неизменной паре GPU.
Суммарная полоса на GPU. Она описывает все задействованные каналы устройства в принятой производителем методике. Для прямой топологии выясняют, сколько из них приходится на нужную пару. Для коммутируемой — какие пути предусмотрены платформой. Если в таблице указана сумма приёма и передачи, не следует подставлять её в формулу времени одностороннего копирования большого тензора.
Суммарное значение для системы. Это число помогает сравнить масштаб крупных платформ при одинаковом способе подсчёта. Оно может быть получено суммированием показателей всех GPU. При таком сложении один поток фигурирует у отправителя и у получателя. Указанное значение сообщает, какие ресурсы установлены в системе, а для оценки одной операции нужно знать её направление, число пар и конкуренцию за порты.
Пропускная способность на границе групп. Если в работе все участники из одной группы отправляют данные участникам другой, важны соединения через эту границу. Пиковая цифра на GPU этого не показывает. Такой вопрос полезно задать при выборе платформы для параллелизма экспертов, где за один шаг часть входов может одновременно направляться в один и тот же набор ускорителей.

5. Как менялся NVLink от Pascal до стоечных платформ
Поколение интерфейса задаёт основу для сравнения, однако в спецификации нужен точный вариант ускорителя. Серверный модуль, плата для слота PCIe и профессиональная карта одного периода могут иметь разные возможности. В таблице приведены значения для конкретных примеров. Это опубликованная суммарная двунаправленная полоса на GPU для названных конфигураций. Число не показывает полезную скорость произвольного приложения и неприменимо автоматически ко всем картам соответствующей архитектуры.
| Поколение | Пример | Паспортная полоса | Что уточнить для расчёта |
|---|---|---|---|
| Первое | Tesla P100 с NVLink | до 160 ГБ/с | Четыре соединения в описанной NVIDIA конфигурации GP100 |
| Второе | Tesla V100 SXM2 | до 300 ГБ/с | Топологию системы и число связей с каждым соседом |
| Третье | A100 SXM | до 600 ГБ/с | Наличие NVSwitch и исполнение конкретного сервера |
| Четвёртое | H100 SXM | до 900 ГБ/с | Как GPU подключены к коммутаторам и сетевым адаптерам |
| Пятое | Blackwell в GB200 NVL72 | до 1,8 ТБ/с | Число устройств, включённых в стоечный домен |
| Шестое | Vera Rubin NVL72 | 3 ТБ/с по странице продукта | Редакцию спецификации и состав поставляемой платформы |
У Pascal P100 первые реализации NVLink уже позволяли строить узлы с несколькими путями передачи между ускорителями. Для платформ того времени принципиально важно было различать исполнение с NVLink и вариант ускорителя для обычного слота PCIe. У Volta V100 выросла пропускная способность, а в серверных системах с NVSwitch стало возможно организовать связь большой группы GPU через коммутаторы. Это изменило не только паспортные значения, но и свободу выбора, на каком устройстве разместить конкретный фрагмент задачи.
В системах с A100 и H100 улучшения межпроцессорной связи совпали с увеличением вычислительной производительности GPU. Для проектирования это важное обстоятельство. Если матричные операции выполняются быстрее, а объём сообщения на шаг сохраняется, доля ожидания обмена может вырасти. В таком случае улучшение связи требуется для того, чтобы прирост вычислительной мощности превратился в прирост скорости всей задачи. Переход на A100 или H100 следует оценивать вместе с изменениями размера памяти, форматов вычисления, пакетирования и программного стека.
У стоечной системы GB200 NVL72 граница домена охватывает 72 GPU. При заявленных 1,8 ТБ/с на GPU произведение даёт 129,6 ТБ/с, то есть примерно 130 ТБ/с суммарной полосы на уровне такой системы в принятом производителем представлении. Важно понимать, что этот расчёт суммирует ресурсы интерфейсов. Если одна программа передаёт один файл из одной точки в другую, её результат нельзя оценить делением размера файла на 130 ТБ/с.
По шестому поколению в материалах NVIDIA встречаются разные цифры. Страница продукта Vera Rubin NVL72 указывает 216 ТБ/с для системы и 3 ТБ/с на GPU, а отдельная техническая публикация приводит 3,6 ТБ/с на GPU и около 260 ТБ/с на домен из 72 GPU. Здесь в таблице использована цифра со страницы продукта. Для проектных расчётов полезно запросить датированную спецификацию именно закупаемой конфигурации. Поскольку способы представления данных и заявленные параметры могут меняться, обе цифры нужно читать с указанием документа, в котором они приведены.
6. NVLink-C2C и путь к памяти CPU
NVLink-C2C в системах вроде Grace Hopper связывает центральный процессор и GPU. Для Grace Hopper в техническом описании NVIDIA заявляет до 900 ГБ/с суммарно, то есть 450 ГБ/с на направление. Отличие от обычной связи GPU с соседним ускорителем существенно для программы. Задача может обращаться через этот интерфейс к памяти, принадлежащей другому процессору в составе суперчипа, а аппаратная когерентность помогает согласовать представление данных между участниками.
Хороший пример — приложение с большой структурой данных, из которой GPU обрабатывает небольшие порции. Если часть структуры лежит в памяти CPU и востребованные фрагменты можно получать по мере надобности, проектировщик выигрывает в доступной ёмкости и гибкости размещения. При этом горячие данные с большим числом повторных обращений по-прежнему полезно держать в HBM, когда это даёт более короткий путь и меньше вмешивается в работу других операций.
NVLink-C2C и NVSwitch могут сосуществовать в одной платформе, а цифры в документации следует привязать к конечным точкам. CPU с локальным GPU общаются по одному интерфейсу. GPU с другими GPU в домене обмениваются по другой части системы. Когда в профиле видно чтение данных CPU, широкая GPU-фабрика сама по себе не подсказывает, насколько быстро пройдёт этот этап. Сначала определяют, кто владеет буфером и какая сторона его читает.
7. Единое адресное пространство и ёмкость памяти
В CUDA единое виртуальное адресное пространство упрощает работу с адресами памяти. Возможность понять, к какой области относится указатель, и возможность эффективно читать данные по нему — разные свойства. В программе, которая собирается обращаться к памяти соседнего GPU, обычно сначала проверяют поддержку P2P для нужного направления, а затем настраивают доступ в соответствии с выбранным механизмом CUDA. При этом физический владелец выделенной памяти остаётся конкретным устройством.
Два GPU по 32 ГБ можно использовать для задачи, которой нужны веса общим объёмом больше 32 ГБ, если программное обеспечение умеет распределить их между картами. Например, движок размещает одни слои на первом GPU, а другие на втором. Но размещение всего буфера размером 40 ГБ на одном GPU с 32 ГБ физической памяти требует отдельного механизма и подходящей схемы обращения к данным. Простое подключение моста не меняет объём локальной памяти у отдельной карты.
Практический бюджет нужно составлять отдельно для каждого устройства. Помимо весов, в него входят промежуточные тензоры, рабочие буферы библиотеки и резерв под KV-кэш языковой модели. Распределение может быть асимметричным. Например, карта с первой или последней частью модели выполняет дополнительные операции с входом или выходом. В результате одна карта заполнена, хотя на другой остаётся запас. При разборе ошибки выделения полезнее смотреть на пик по каждому GPU, чем складывать свободные гигабайты.
Есть также разница между управлением размещением и доступом. Программный механизм может перемещать страницы между областями памяти, а последовательность обращений определяет, как часто это происходит. Если один и тот же набор страниц часто нужен попеременно двум сторонам, их перемещение начинает занимать ощутимое время. Тест на небольшой выборке иногда пропускает этот эффект, потому что всё помещается в локальную память. Для оценки нужно воспроизвести реальный рабочий объём и последовательность задач.
8. Как считать время передачи на пальцах
Для крупного непрерывного сообщения полезна оценка T ≈ L + S / B. Здесь L — накладные расходы и задержка запуска, S — размер данных, B — измеренная эффективная полоса выбранного маршрута. Это модель одного перемещения. В реальной системе есть очередь, синхронизация, совместное использование портов и конкуренция с чтением из HBM. Поэтому результат следует использовать как отправную точку для поиска узкого места.
Предположим, что эффективная односторонняя полоса на крупном буфере составляет 100 ГБ/с, а задержка запуска условно равна 5 мкс. Пересылка 400 МБ займёт около 4 мс плюс задержка. Для буфера 40 КБ время передачи составляет около 0,4 мкс, и итог уже определяется запуском. Если приложение отправляет тысячу таких мелких буферов отдельными операциями, суммарный объём ещё мал, но накладные затраты на старты могут составить несколько миллисекунд. Эти числа приведены для иллюстрации расчёта и не являются замерами NVLink.
Из этого примера вытекают две разные задачи оптимизации. На больших передачах ищут способы использовать больше доступной полосы или сократить число пересылаемых байтов. На мелких сообщениях помогает уменьшение количества точек обмена, объединение буферов или пересмотр границы между этапами вычисления. Объединение увеличивает время ожидания первого маленького сообщения, поэтому размер групп подбирают по задержке всего алгоритма. Для онлайн-сервиса и фоновой обработки разумные параметры могут различаться.
При собственных расчётах следите за единицами. ГБ и ГиБ используют разные основания, а гигабит в секунду и гигабайт в секунду отличаются множителем восемь. Это особенно заметно при сравнении характеристик GPU и сетевых адаптеров. Если карта сети маркирована в Гбит/с, сначала переведите её значение в байты и выясните, относится ли оно к одному порту и направлению. Затем учитывайте служебные данные и фактическую скорость по тесту.
9. Какие коллективные операции нагружают фабрику
Коллективная операция описывает общий результат для группы процессов. Каждый процесс в такой группе называют рангом. Обычно для обучения на одном сервере каждому рангу сопоставляют один GPU, хотя конкретное приложение может организовать работу иначе. Важно, что библиотека получает задачу уровня группы. Она решает, по каким соседям пересылать отдельные участки буфера и когда складывать элементы. Пользователю не нужно вручную отправлять полную копию из каждого процесса в каждый другой.
Broadcast. Один ранг передаёт одинаковые данные остальным. Это полезно при выдаче общего состояния, которое подготовил один участник. Если все получатели напрямую читают из одного буфера, исходный порт становится общим ресурсом. Алгоритм на основе дерева может использовать часть получателей как промежуточных отправителей. Для небольшой порции данных время рассылки особенно чувствительно к числу последовательных этапов и запусков.
All-gather. У каждого ранга лежит часть набора данных. На выходе каждый получает весь набор. Представим, что четыре GPU хранят разные части матрицы и всем нужна полная матрица для следующего вычисления. Если фрагменты одинаковы, объём, который получает каждый, растёт вместе с числом рангов. Поэтому в проекте нужно проверить и полосу передачи, и объём памяти для собранной копии.
Reduce-scatter. Каждый участник подаёт данные для общей редукции, например сложения соответствующих элементов. Каждый получает только свой фрагмент результата. Это полезно, если следующим шагом ранги будут обновлять разные части состояния и полной копии никому не требуется. При профилировании такой задачи стоит проверить, не выполняет ли приложение сразу после reduce-scatter лишний all-gather из-за другой схемы размещения соседнего слоя.
All-reduce. Все ранги участвуют в редукции, и каждый получает полный результат. Это знакомая операция при синхронизации градиентов в параллелизме по данным. В кольцевом алгоритме all-reduce можно разбить на reduce-scatter и all-gather. Во время первой фазы по кольцу идут фрагменты частичных сумм, во время второй участники распространяют уже обработанные фрагменты. Конкретная библиотека может выбрать другой алгоритм или менять выбор по размеру сообщения и структуре группы.
All-to-all. Каждый участник пересылает разным получателям разные части данных. В модели со смесью экспертов это напоминает сортировку набора токенов по местам, где выполняются нужные эксперты. На практике нагрузка бывает неравномерной. Если партия неожиданно направляет много токенов к одному эксперту, может вырасти объём пересылки к соответствующему GPU и увеличиться очередь на вычисление. Чтобы понять причину задержки, измеряют распределение сообщений и время работы самих экспертов.

10. Параллелизм по данным, тензорам и слоям
При параллелизме по данным несколько GPU обрабатывают разные примеры с одинаковой схемой модели. Затем они согласуют результаты, например складывают градиенты. Чтобы сократить ожидание, библиотека может начать отправлять готовую группу градиентов до завершения вычисления остальных. Если обмен хорошо перекрывается вычислениями, выигрыш от более широкой связи проявится только на участках, которые всё ещё лежат на критическом пути. Для этого полезно посмотреть начало и конец каждой фазы на временной шкале.
Смысл тензорного параллелизма в том, что одна вычислительная операция распределена между несколькими устройствами. Для простого примера представим матрицу весов, разделённую по выходным признакам. Каждый GPU вычисляет свою группу выходов, а затем следующая операция должна либо получить их вместе, либо продолжить работу с частями. Если между слоями требуется собрать выход или просуммировать вклады, обмен возникает много раз. Поэтому короткая задержка и предсказуемое поведение внутри группы особенно ценны при генерации ответов.
При конвейерном параллелизме GPU обрабатывают последовательные участки сети. Один этап отдаёт следующему уже рассчитанные активации. Большой пакет можно разделить на микропакеты, чтобы разные этапы одновременно работали с разными порциями. Появляется отдельная задача балансировки. Если один этап занимает заметно больше времени, соседние будут ждать его даже на быстрой фабрике. Посмотрите длительность каждого этапа и объём передачи на границах. Иногда перенос нескольких слоёв меняет производительность сильнее, чем обновление интерфейса.
При шардировании весов, градиентов и состояния оптимизатора часто пользуются all-gather и reduce-scatter. Операции позволяют держать на GPU только нужные части данных постоянно, а остальные собирать по мере работы. За экономию памяти платят обменом и дополнительными рабочими буферами. Если модель размещается на текущем оборудовании с небольшим резервом, сравните несколько группировок слоёв. Мелкая группировка может чаще запускать обмен, крупная — требовать больше памяти в пике.
Эти способы можно сочетать. Например, внутри быстрого домена используют тензорный параллелизм, а между узлами — параллелизм по данным. Если у задачи много пересылок малого размера на каждом слое, удобно оставить такие группы в домене с коротким путём. Группы, которые общаются реже и более крупными порциями, могут пересекать границу узла. Это отправная точка. Окончательное решение проверяют для своих размеров батча, контекста и модели.
11. Что NVLink меняет в инференсе языковых моделей
Пользователь оценивает два разных ожидания. Сначала сервер обрабатывает вход и начинает вывод. Затем токены появляются по одному или небольшими порциями. В первом случае на время сильно влияет длина входа. Во втором — работа модели на каждом шаге, включая чтение весов и обмен между GPU. Чем длиннее ответ, тем чаще повторяются операции, которые нужны для получения следующего токена. В системе с тензорным параллелизмом даже короткий обмен на каждом слое может стать заметной частью задержки.
Если одна карта вмещает модель и обслуживает предполагаемое число запросов, несколько независимых копий могут увеличить общий поток работы. Например, две карты обрабатывают разные группы запросов. Объём обмена между ними в таком сценарии обычно мал. Если же одна модель вместе с рабочей памятью не помещается на карту, возникает потребность распределить её. Какой вариант окажется быстрее, зависит от размера модели, длительности ответов и количества одновременных запросов. Сравнивайте и поток токенов за секунду по всем пользователям, и задержку для одного пользователя.
Длинный контекст добавляет расход KV-кэша. Если одновременно обслуживаются несколько клиентов, памяти требуется больше, чем для одиночного замера. Движок может выносить часть данных из GPU, сокращать допустимые размеры запросов или ставить их в очередь. При проверке NVLink стоит сначала зафиксировать политику пакетирования и размещения кэша. Иначе одна конфигурация покажется быстрее из-за того, что обслуживает запросы с меньшими ограничениями или, наоборот, часть длинных входов в тест не попадёт.
Для сравнения двух серверов запишите обычный и тяжёлый сценарии отдельно. Например, обычный запрос содержит короткое описание товара и требует краткого ответа. Тяжёлый включает длинные документы и требует развёрнутого разбора. Для каждого сценария зафиксируйте время первого токена, промежутки между токенами и общий поток запросов при одинаковом уровне качества. Если после перехода на многокарточную схему выигрыш виден лишь на длинном входе, это полезный результат. Он подсказывает, для каких запросов стоит выделять соответствующую группу GPU.
12. Пример расчёта для синхронизации градиентов
Возьмём учебную конфигурацию с восемью GPU. На каждом шаге участники выполняют all-reduce для буфера объёмом 800 МБ на ранг. В модели кольцевого обмена каждый участник передаёт объём, соответствующий коэффициенту 2 × (N − 1) / N от размера буфера. При восьми участниках коэффициент равен 1,75, а оценка составляет 1,4 ГБ на ранг. Это расчётная картина для объяснения масштаба. В реальной библиотеке обмен дробится на порции и может использовать другой способ коллективной операции.
Если для такого условного примера принять эффективную полосу 140 ГБ/с, получим примерно 10 мс. Допустим, 7 мс удаётся скрыть за вычислением последующих градиентов. Тогда полностью видимая задержка составляет около 3 мс. Удвоение полосы не обязано сократить время шага на 5 мс. Часть ускорившегося обмена и так шла одновременно с расчётом. А если важный фрагмент становится доступен лишь после длительного вычисления, этот фрагмент может остаться на критическом пути после замены платформы.
В реальном журнале обучения полезно держать рядом три числа: время шага целиком, суммарную длительность операций обмена и часть времени, когда вычисления ждут обмена. Второе и третье числа расходятся, если пересылка и вычисления перекрываются. Если целью проекта является ускорение обучения, главный показатель — сколько примеров или токенов обрабатывается за единицу времени при сопоставимой настройке. Разбор промежуточных чисел помогает объяснить, почему итоговый прирост отличается от разницы в паспортах серверов.
13. Как прочитать топологию уже собранного сервера
Начните с инвентаризации. Выпишите модели GPU и варианты исполнения, количество процессорных сокетов, сетевые адаптеры и назначение слотов. Если сервер виртуализован, уточните у администратора, какие устройства и свойства топологии доступны гостевой системе. Один и тот же физический сервер может представить разным рабочим средам разные наборы ускорителей. Отчёт нужно снимать из той среды, где реально будет запускаться задача.
Команда nvidia-smi topo -m показывает матрицу связей. В NVIDIA SMI обозначение вида NV# указывает путь через группу NVLink, а коды семейства PCIe показывают характер другого маршрута. Легенда выводится в том же отчёте. Смотрите на конкретную ячейку для планируемой пары. В том же выводе могут быть указаны близость CPU и NUMA-узел. Эти сведения важны, когда данные приходят на GPU через память хоста или когда процесс передаёт их сетевому адаптеру.
nvidia-smi -L
nvidia-smi topo -m
nvidia-smi topo -p2p n
nvidia-smi nvlink --statusПоследняя команда запрашивает состояние NVLink, а проверка P2P с параметром n показывает возможности пути NVLink там, где версия инструмента это поддерживает. Если команда отличается в вашей версии, посмотрите встроенную справку nvidia-smi. Состояние линии и показания теста копирования отвечают на разные вопросы. Линия может быть активной, а приложение использовать другой маршрут из-за назначения устройств, отсутствия поддержки в движке или недоступного программного режима.
Для систем с NVSwitch проверьте штатную диагностику фабрики по документации для конкретной платформы. Набор команд и служб зависит от поколения оборудования. Если система только что перезагрузилась, дождитесь штатного завершения инициализации, а затем повторите диагностическую проверку. При постоянном расхождении между ожидаемым и фактическим количеством доступных GPU сохраните вывод диагностики и версии компонентов. Эти данные помогут отделить проблему с отдельным ускорителем от ошибки запуска всей фабрики.
Сопоставьте номера устройств с устойчивыми идентификаторами, если тесты выполняются в разных контейнерах или после перестановки карт. Индекс, который видит пусковой скрипт, зависит от среды запуска. Если работа настроена на индексы 0 и 1, это ещё не объясняет, какие физические ускорители оказались внутри группы. Записывайте UUID или адрес устройства PCI вместе с матрицей. Тогда можно воспроизвести размещение после обновления и проверить, не изменился ли быстрый маршрут.
14. Два уровня тестов: отдельная пара и реальная группа
Для начала выполните P2P-тест на интересующих парах. Проверьте оба направления и сравните передачу в одну сторону с одновременной передачей туда и обратно. Используйте ряд размеров буфера, от коротких сообщений до достаточно крупных, чтобы увидеть устойчивый участок по полосе. Один большой размер покажет скорость насыщенного канала, а малые размеры дадут представление о накладных расходах. Если в порядке обработки важно ожидание короткого сообщения, крупный тест следует дополнить измерением задержки.
Следующий уровень — коллективный тест на том же наборе GPU, где будет выполняться приложение. Для NCCL доступны отдельные программы тестирования all-reduce, all-gather, reduce-scatter и других операций. Выберите из них те, которые видите в трассировке. Если задача обменивается сообщениями среднего размера, задайте диапазон вокруг этих значений. Насыщение большого буфера в конце отчёта полезно для диагностики, но может мало влиять на рабочую задержку.
NCCL Tests показывает, в частности, algbw и busbw. Первая метрика связывает размер операции с её длительностью. Вторая пересчитывает её с коэффициентом, зависящим от типа коллективной операции и числа участников. Для all-reduce используется уже обсуждавшийся множитель 2 × (N − 1) / N. busbw удобно сравнивать в однотипных тестах. Это расчётная нормировка, поэтому её не стоит трактовать как показание одного физического провода.
В отчёт теста добавьте число рангов, схему запуска и репрезентативный диапазон сообщений. На одном сервере протестируйте сначала пару, затем подгруппу и полную группу. Для кластера повторите соответствующий тест на двух узлах и на штатном числе узлов. Если при переходе от пары к группе время резко растёт, посмотрите, какие маршруты добавились и делят ли они общий ресурс. Если заметный перелом появляется при выходе за границу узла, теперь есть основание исследовать сетевую часть.
Во время отладки полезен журнал NCCL. Он помогает увидеть найденные устройства, построение графа и выбор путей обмена. Начинайте с штатных настроек библиотеки и сделайте контрольный прогон, прежде чем принудительно менять алгоритм. Иначе трудно понять, что именно вызвало улучшение. Для эксперимента меняйте одну настройку, записывайте её рядом с результатом и проверяйте, что выигрыш воспроизводится на рабочих размерах сообщений.

15. Методика замера, которую сможет повторить другая команда
Заранее определите, какую величину вы сравниваете. Для P2P это может быть длительность одностороннего переноса крупного буфера. Для обучения — время шага и число обработанных примеров. Для сервиса генерации — задержка первого токена при заданном потоке запросов. Сохраните одну основную метрику и несколько вспомогательных. Такой порядок удерживает внимание на задаче и позволяет объяснить отклонения.
Проводите разогрев отдельно. Первый запуск может включать загрузку библиотек, создание контекстов, выделение буферов или изменение частот. Если этот этап важен для службы коротких заданий, вынесите его в отдельный тест запуска. Для устойчивого режима сравнивайте одинаковое количество повторов после прогрева. Покажите медиану и, если повторов достаточно, характеристику хвоста задержек. При редких выбросах приведите их число и наблюдаемые условия, чтобы команда могла воспроизвести проблему.
При асинхронных операциях убедитесь, что таймер измеряет завершение работы. Замер, который останавливается сразу после постановки копирования в очередь, может показать в основном работу CPU по выдаче команды. Для измерения на устройстве применяют согласованный механизм синхронизации или события CUDA. Для полного времени задачи, наоборот, используют замер снаружи и включают ожидание результата. Эти способы сочетаются: один отвечает на вопрос о передаче, второй отражает опыт пользователя.
Фиксируйте частоту и температуру, режим питания и конкурирующую нагрузку. Средняя пропускная способность может упасть, если процесс вынужден делить HBM с вычислительным ядром. Такой замер не бесполезен: он показывает обмен в условиях приложения. Сопоставьте его с отдельным тестом при свободных GPU. Разница поможет оценить, насколько велико влияние совместного выполнения, и понять, есть ли смысл менять расписание операций.
Числа полезнее хранить в машиночитаемом виде вместе с конфигурацией. Даже простая таблица с датой, версиями драйвера и NCCL, номерами GPU, типом группы, размером сообщения и временем позволит восстановить эксперимент. Для рабочих приложений добавьте сведения о модели, размере пакета и порядке запуска. После обновления вы сможете ответить, ухудшилась ли именно передача или изменился весь вычислительный цикл.
16. Как локализовать падение производительности
Начните с симптома, который можно воспроизвести. Например, обучение на четырёх GPU стабильно, а на восьми непропорционально медленнее. Снимите топологию на восьми устройствах, проверьте P2P внутри каждой группы и между группами, затем запустите нужный коллективный тест. Если отдельные пары работают штатно, а провал виден только у полной группы, проверьте размещение рангов и ресурсы, которые они делят. Такой порядок позволяет постепенно сузить область поиска.
Если все контрольные тесты проходят, сравните последовательность операций в приложении. Возможно, при большем числе GPU программа уменьшает порцию данных на устройство и тратит больше времени на частые синхронизации. При том же объёме работы арифметические ядра могут использовать вычислительные блоки менее эффективно. Ещё одна причина — синхронизация на CPU, которая не входит в микротест интерфейса. Трассировка потока позволяет найти участки, на которых устройства ждут событий хоста или данные друг от друга.
Если часть линий неожиданно неактивна, полезно сопоставить состояние с документацией системы и предыдущими отчётами. Проверьте, какие соединения предусмотрены именно для этого слота или модуля, как система видит ускорители после холодного запуска и нет ли сообщений об ошибках фабрики. Диагностика должна опираться на штатные процедуры производителя. Для серверного парка особенно важна сопоставимость тестов на нескольких узлах той же конфигурации: если проблема проявляется только на одном, проще искать аппаратное или конфигурационное отличие.
17. Что меняется при переходе от сервера к стойке
В масштабе одного сервера можно посмотреть, какие пары соединены внутри корпуса, и подобрать число процессов под доступные GPU. У стоечной платформы эта логика расширяется на несколько вычислительных модулей, коммутаторы, электропитание и охлаждение. Возникает новый вопрос: какую часть стойки планировщик сможет целиком выделить одной задаче. Если программе доступны только несколько GPU, для неё важны маршруты и ограничения внутри этой группы, даже если вся стойка технически входит в один домен NVLink.
Термины scale-up и scale-out помогают обозначить два уровня. В первом случае расширяют группу с тесным обменом, например подключают больше GPU к общей фабрике. Во втором соединяют разные группы кластерной сетью и распределяют работу между ними. Оба подхода могут использоваться одновременно. Проектируя тренировку, полезно определить, какие операции будут выполняться внутри домена и какие обязаны пересекать его границу. Граница особенно важна для алгоритмов с частыми сообщениями на каждом слое.
При планировании кластера сверьте физические группы с логическими. Например, ускорители по одному заданию выделены на нескольких узлах. Если платформа без стоечного домена, группировка процессов по соседним номерам не создаёт быстрых связей через корпуса. На стоечной платформе, наоборот, два GPU могут обмениваться внутри общей фабрики, хотя принадлежат разным вычислительным модулям. В обоих случаях ответ даёт топология конкретного задания вместе с документацией о размещении.
Обслуживание меняется вместе с масштабом. При выводе части системы из эксплуатации планировщику нужно корректно исключить недоступные устройства и выдавать задачи в конфигурациях, для которых проверено поведение. Некоторые задания рассчитаны на определённое число рангов, а другие могут работать с меньшей группой после перезапуска. В эксплуатационных регламентах стоит заранее описать, кто подтверждает готовность фабрики и какими тестами проверяют восстановление после ремонта.
18. Пример проектирования сервиса с двумя уровнями обмена
Представим аналитический сервис, который должен обрабатывать два потока. Отдел поддержки присылает короткие запросы, а инженерная группа отправляет длинные отчёты и ждёт разбор. В коротком потоке важна задержка отдельного ответа. В длинном — способность разместить большую модель с контекстом и справиться с несколькими заданиями одновременно. Пробная архитектура может выделить разные группы ускорителей. Тогда короткие запросы не ждут длинного чтения в общей очереди.
Для тяжёлого потока сначала подбирают модель и предел контекста по качеству, затем измеряют расход памяти на одном и нескольких запросах. Допустим, выбранная конфигурация заполняет память одной карты и требует распределить веса. Внутри группы фиксируют схему размещения по GPU и проверяют обмен на каждом шаге. Если две модели выдают ответы сходного качества, полезно сравнить, насколько часто каждая из них обращается к межпроцессорной связи. Меньшая группа может обслуживать больше независимых клиентов за счёт количества доступных копий.
Для расширения короткого потока можно добавить независимые копии модели и распределять входные запросы. Для длинного добавление GPU имеет смысл, если движок умеет использовать дополнительную память или если появляется место для ещё одной независимой группы. Пожелание «добавить третью карту» лучше перевести в проверяемый результат. Например, после изменения система должна принимать больше одновременных длинных запросов при прежнем времени ожидания первого ответа.
На следующем этапе оцените, где хранятся исходные документы и какой компонент выбирает данные для запроса. Если загрузка файлов, распознавание текста или подготовка контекста выполняются на CPU и занимают большую часть времени, замена связей между GPU может мало повлиять на общий ответ. Полезно измерить путь от принятия задания до результата, а затем выделить отрезки, где приложение вычисляет, пересылает и ждёт. Так решение о покупке будет связано с потребностью сервиса.
19. Когда выигрывает обычная схема PCIe
NVLink особенно интересен при частом обмене между ускорителями. Во многих задачах соседние GPU практически не общаются. Пакетный рендеринг отдельных сцен, обработка независимых файлов и обслуживание отдельных копий модели могут естественно делиться на работы без промежуточной передачи больших буферов. Если пропускной способности на загрузку входа хватает, совместимость карт с распространёнными PCIe-платформами может оказаться важнее. Проверяйте фактический трафик и время ожидания.
Рассмотрим пакетную обработку изображений. Сервер получает архив, разбивает его на группы и отправляет данные на несколько GPU. Каждый ускоритель возвращает свою часть результатов. В этой схеме общим ресурсом может стать хост, который распаковывает архив и выдаёт работу. Ускорение связи GPU с GPU мало влияет на распаковку. Если же изображения обрабатываются одним общим алгоритмом, который на каждом шаге обменивается крупными картами признаков, ситуация меняется. Поэтому полезно сравнивать схемы обработки до выбора интерфейса.
При покупке нескольких старых карт с NVLink учитывайте их вычислительные возможности и доступную память по отношению к одной современной карте. Задача может выиграть от новой архитектуры, большей локальной памяти или лучшей поддержки в нужном движке. Для домашнего сервера добавляются шум, нагрев и конструкция корпуса. Для организации — гарантия, ремонт и наличие запасных частей. Сравнивать стоимость стоит по реально достигнутому результату, например числу обработанных документов при заданном времени ожидания.
20. Подержанные V100, мосты и совместимость
Tesla V100 существует в разных вариантах. Для SXM2 нужна совместимая платформа, которая обеспечивает посадку, питание, охлаждение и предусмотренные сигнальные соединения. Наличие переходника, позволяющего обнаружить устройство через PCIe, ещё не подтверждает, что между двумя модулями будут задействованы каналы NVLink. Их физическое соединение и поддержку проверяют отдельно. На вторичном рынке попросите показать точную маркировку ускорителей и платы, а также отчёт топологии для той конфигурации, которую предлагают в комплекте.
Работа мостового соединения зависит от модели ускорителя, поколения моста и расстояния между разъёмами. Типичный запрос продавцу — название обеих карт, обозначение моста и подтверждение, что эта связка поддерживается производителем. Если в объявлении есть только общая маркировка NVLink, сверяйте номер детали. Под одинаковым названием могут продаваться мосты для разных расстояний между слотами и разных серий устройств. Для плат без предусмотренного разъёма установить такой мост невозможно.
Если покупаете собранный сервер, попросите провести коллективный тест и замер пары под нагрузкой, а также приложить вывод nvidia-smi с топологией. При использовании видеокарт с пассивным охлаждением проверьте, рассчитан ли корпус на поток воздуха через радиаторы и как система работает на длительном задании. Ещё до заказа измерьте доступное место и оцените потребляемую мощность всей машины. В расчёт входят не только ускорители, но и процессоры, память, накопители и охлаждение.
Совместимость программного стека стоит вернуть в отдельную строку приёмки. Проверьте, что выбранная версия драйвера, библиотеки и приложения поддерживает архитектуру купленных GPU и нужные коллективные операции. Для Volta NVIDIA отдельно описывает переход на CUDA 13: возможность офлайн-компиляции для архитектур ниже compute capability 7.5 сохранена в ветке CUDA 12.9. Существование подходящего инструментария не означает, что конкретная современная сборка приложения включает поддержку V100. Это нужно подтвердить реальным запуском нужной версии.
21. Как посчитать стоимость улучшения
Пусть задача выполняется за один час, из которого 12 минут занимает открытое ожидание передачи. Если это ожидание сократить вдвое, полный результат при прочих равных составит 54 минуты. Ускорение заметно, но гораздо меньше двукратного выигрыша на самом обмене. Числа условны. Они показывают, почему сначала нужно оценить долю критического пути, которую затронет новая фабрика. Сумма всех измеренных передач может быть гораздо больше 12 минут, если часть уже скрыта вычислениями.
Прямые затраты включают оборудование и интеграцию. Для действующего сервера добавьте время переноса задач и простоя, для новой стойки — требования к электропитанию, отводу тепла и месту в машинном зале. С другой стороны, если более быстрая группа GPU сокращает время платного использования инфраструктуры, эта разница влияет на стоимость каждой задачи. Сравнивайте сценарии на одном и том же времени использования и с сопоставимым качеством результата. Цена одного GPU и показатель ГБ/с дают лишь две строки расчёта.
Для закупки полезно запросить тест на рабочей модели или на задаче со схожим профилем обмена. Если предоставить рабочие данные нельзя, подготовьте синтетический вход с теми же размерами и контрольными параметрами. Попросите отчёт отдельно по задержкам и по устойчивой производительности под несколькими запросами. Этот отчёт поможет решить, нужен ли больший домен, более широкие соединения внутри текущей группы или изменение размещения программы.
22. Как сформулировать требования к закупаемому серверу
В спецификации закупки начните с приложения. Укажите, сколько ускорителей должно получать одно задание, какая модель или вычислительная схема нужна и какие метрики будут проверяться. Если важна работа с большой языковой моделью, включите длину входа, длину ответа, число параллельных пользователей и целевую задержку. Если проверяете обучение, задайте одинаковый объём работы и критерий сходимости или точности, когда это важно для сравнения. Такие требования помогают поставить рядом системы разных поколений без догадок по пиковым цифрам.
На аппаратном уровне запросите точное обозначение ускорителей, схему доступных межсоединений и границы домена. Для коммутируемой фабрики уточните, относится ли заявленная полоса к одной карте, группе или всей системе. Для многосерверной задачи добавьте требования к сети, схеме подключения адаптеров и распределению рангов. Отдельно запишите, с какой версией операционной системы и драйверов оборудование будет приниматься. Тогда результаты тестов можно повторить на месте после поставки.
В программу приёмки включите проверку диагностики, коллективной операции и нужного приложения. Диагностика подтверждает состав и состояние связи. Коллективный тест измеряет обмен на заданной группе. Приложение показывает результат с учётом того, как данные подготовлены и где происходят синхронизации. Проверка на одной паре годится как первый этап, но при требованиях к работе на восьми устройствах надо договариваться о прогоне на всех восьми в той же конфигурации, которая будет выдана пользователю.
Продумайте, что означает частичная готовность оборудования. Если узел ожидает перезагрузку или коммутируемая фабрика ещё инициализируется, тест модели может завершиться ошибкой после длительного запуска. Для эксплуатации выгоднее отделить проверку доступности GPU от подтверждения их готовности к совместной работе. Система мониторинга может получать штатные показатели NVIDIA, а задачи поступают только в рабочие группы. При выборе порогов используйте документацию по платформе и историю тестов, чтобы исключить ложные срабатывания из-за поддерживаемых режимов.
23. NVLink за пределами языковых моделей
В моделировании физических процессов область расчёта иногда делят на фрагменты. Каждый GPU обновляет свою часть и обменяется данными в приграничных слоях. Размер этих сообщений зависит от формы разбиения. Если разделить область на слишком много узких полос, площадь границ относительно объёма расчёта вырастет. Тогда ускоритель будет чаще ждать данные соседа. Прежде чем увеличивать число GPU, сравните варианты разбиения и проверьте, какие границы проходят по самым быстрым физическим маршрутам.
В задачах линейной алгебры при распределении больших матриц возникают перестановки блоков, рассылка или редукция. Хороший результат зависит от размера блоков и того, успевает ли программа подводить данные к вычислению. Если маленький блок заставляет оборудование слишком часто переключаться между операциями, увеличение полосы решит только часть проблемы. Если крупный блок создаёт дисбаланс нагрузки между участниками, узким местом становится время последнего участника. Профиль операции помогает подобрать размер, который соответствует и памяти, и геометрии матрицы.
В анализе графов доступ к данным нередко нерегулярен. Два успешных теста последовательного копирования могут дать мало информации о задаче, которая выполняет множество небольших удалённых обращений. Для неё важны расположение границ разбиения, возможность сгруппировать обращения и доля повторно используемых данных. Выигрыш может дать перенос часто используемых фрагментов в локальную память. Если алгоритм допускает выбор между репликацией и передачей на запрос, решение проверяют на реальном распределении обращений.
24. Вопросы, возникающие при первом внедрении
Если программа видит обе карты, значит ли это, что она использует NVLink? Обнаружение GPU показывает, что драйвер предоставляет доступ к устройствам. Маршруты узнают из топологии, поддержку прямого обмена проверяют отдельно, а поведение выбранной программы — по тесту или трассировке. Только так можно связать её производительность с конкретным путём передачи.
Будет ли одна большая модель быстрее на двух GPU? Результат зависит от той работы, которую карты выполняют одновременно, и от добавленных пересылок. Если между завершением первой и началом второй части лежит обмен, он влияет на время ответа. Если рабочая память модели требует двух устройств, основное преимущество может состоять в возможности разместить её на GPU. Сравнивайте несколько схем на одном качестве вывода и при характерной нагрузке.
Что проверить, если после перехода на другую платформу скорость снизилась? Сначала сопоставьте настройки задачи и реальные маршруты. Заменив ускорители, команда могла одновременно изменить драйвер, сборку библиотеки, пакетирование или схему распределения. Проверьте последовательность от пары GPU к полной группе и от микротеста к приложению. Место, где старые и новые результаты впервые расходятся, подскажет, какой компонент исследовать дальше.
Достаточно ли одного измерения на коротком запросе? Короткий запрос полезен для проверки запуска и накладных расходов. При длинном входе увеличивается расход рабочей памяти, меняется доля времени на чтение контекста и могут измениться размеры передаваемых буферов. Снимите оба режима и проверьте нагрузку нескольких пользователей. Производительность при одновременных запросах часто важнее для службы, чем рекорд одиночного прогона.
При выборе между платформами сведите всё к вопросам, на которые можно ответить замером. Какая группа нужна одному заданию? Сколько памяти занимает самый тяжёлый рабочий случай? Какой обмен задерживает вычисление? Какие пути для него доступны в конкретной конфигурации? Если ответы занесены в программу приёмки, NVLink можно оценивать по эффекту на работу пользователя: по времени обучения, задержке ответа или числу задач, которые система успевает выполнить.
Документация для сверки
- NVIDIA Pascal GP100 Architecture и спецификация Tesla V100.
- NVIDIA NVLink и NVLink Switch, характеристики Vera Rubin NVL72 и техническая статья о стоечной фабрике.
- Архитектура Grace Hopper и NVLink-C2C.
- Руководство CUDA и поддержка архитектур в CUDA Toolkit.
- NVIDIA Fabric Manager, NVIDIA System Management Interface и диагностика топологии и линий.
- Документация NCCL и методика подсчёта полосы в NCCL Tests.



