ГИГАБАЙТ L3-кеша и 96 ядер | Тестируем локальный ИИ на AMD EPYC

Что будет, если установить 96-ядерный AMD EPYC с гигабайтом L3-кеша в компактный 1U-сервер, а затем запустить на нём локальный DeepSeek V4.1 Flash размером 323 ГБ - без использования GPU? В этом видео разбираем ASUS RS501A-E12-RS12U - одноюнитовый сервер на сокете SP5 с поддержкой 400-ваттных процессоров AMD EPYC, 24 модулей DDR5 и до 16 NVMe-накопителей. Посмотрим, как инженерам ASUS удалось разместить настолько мощное железо в одном юните, насколько эффективно работает охлаждение и какие возможности даёт такая платформа. Для тестов мы установили AMD EPYC 9684X: 96 ядер, 192 потока и 1152 МБ L3-кеша. Проверим его в Cinebench, Blender, 7-Zip и SFBench, сравним с Ryzen 9 9950X3D и Core i9-14900K, а затем перейдём к научным вычислениям в Y-Cruncher, GROMACS, LAMMPS и NAMD. Но самое интересное - локальный инференс нейросетей непосредственно на CPU. Проверим, можно ли ускорить Qwen, разместив её веса в огромном L3-кеше EPYC, как количество ядер и топология CCD влияют на генерацию токенов и есть ли смысл переносить часть вычислений на NVIDIA A2. А в финале запустим DeepSeek V4.1 Flash с 748 миллиардами параметров? проверим, насколько быстро с ней справится один процессор, почему MoE-модель может работать быстрее значительно меньшей нейросети и способен ли CPU-инференс стать реальной альтернативой дорогим GPU-серверам. Полезные ссылки и материалы: Наш Telegram-канал (розыгрыш и полные логи) - clck.ru/3WAKnv Сайт ServerFlow - clck.ru/3VhXHo Результаты научных бенчмарков на OpenBenchmarking: https://clck.ru/3WUDbB https://clck.ru/3WUDdB Наш большой обзор Intel Xeon Phi - https://clck.ru/3WUEZz #AMD #EPYC #DeepSeek #ASUS #localai 00:00 Вступление 01:00 ASUS RS501A-E12-RS12U — разбираем платформу 01:33 1 сокет, 192 потока и 24 слота DDR5 02:45 Как охладить 400W EPYC в 1U 03:47 До 16 NVMe без свитчей и ретаймеров 05:27 Зачем 1U-серверу блоки питания на 1600W 06:51 BMC, PFR и серверные функции ASUS 07:47 Райзер карты PCIe 5.0 и OCP 3.0 09:09 Температуры EPYC 9684X под нагрузкой 11:29 12-канальная DDR5 против Ryzen 9950X3D 12:15 Cinebench, 7-Zip, Blender и SFBench 14:09 Y-Cruncher - считаем миллиард знаков числа π 15:22 GROMACS - молекулярная динамика на 96 ядрах 16:03 LAMMPS и NAMD - научные тесты EPYC 17:30 Влезет ли нейросеть целиком в 1 ГБ L3-кэша 18:11 Q4, Q8 и FP16 - как кэш влияет на инференс 19:40 Qwen 3.8 27B - тесты Dence модели на CPU 21:19 Batch до 256 запросов - более 10× прирост 21:55 CPU + NVIDIA A2 - помогает ли GPU-offload 22:16 DeepSeek 748B на одном процессоре 24:32 DeepSeek на EPYC + NVIDIA A2 25:20 Итоги: есть ли смысл в CPU-инференсе