Минутка: Микротик приехал!
И так, я купил первый в жизни Microtik.



Долго судьба меня берегла, но восьмикратная разница по стоимости с ближайшим рекомендуемым коммутатором Mellanox не оставила выбора.
Аппарат поддерживает 4*100Gbps QSFP разъема и вот тут самая магия.
До 10G идет обычный RJ45 и вопрос только в кабеле и качестве обжимки.
А вот дальше уже начинаются SFP разъемы. Вернее они от 1G идут, но нас реально интересуют SFP+, которые 10G/25G.
Физически разъем это довольно крупная штука с платой, на которую может быть выведен или медный кабель (пассивный DAC — direct access cable) или оптический трансивер, которым можно соединять устройства на сотни метров.
Дальше начинаются сети 40G/100G. Я в начале думал, что 25G это устаревшая технология. Но нет. На 40G/100G используются просто по 4 линии 10G/25G и QSFP разъем, который их объединяет. И есть вариант объединить 2 порта 25G для 50G скорости для TCP/IP. На UDP не очень хорошо, т. к. кабели будут работать асинхронно.
Я во что уперся. Пытался найти коммутатор на 25G и… Их нет. На 100 есть. Тут я подумал, что всё, зря платы на 25G брал. Оказалось, что нужно купить пассивный кабель 100G QSFP на 4*25G SFP+. И 4-х портовый 100G коммутатор элементарно превращается в 16-ти портовый 25G коммутатор и это все стандартно поддерживается. Вот такая магия.
Век живи, век учись.
Вторая интересная часть, что для RoCEv2 соединения нужна специфическая аппаратная поддержка со стороны коммутатора, которая есть только у чипов для датацентров. И найти информацию об этих чипах оказалось очень нетривиально. Помог Qwen3.6 облачный. Очень классно работает с поиском и проработкой технических решений.
В итоге, из предложенных 3-х плюс-минус идентичных моделей (есть такая же с 8*25+2*100Gbps, но дороже) этот оказался наиболее вменяемым по стоимости.
Завтра жду breakout кабель и начну сборку.
Идея же с кольцевым кластером оказалась нерабочей, идем в максимально промышленный вариант.