30 миллиардов: на плате или на платах?
Две кнопки — одна модель: спросите сначала одну плату, потом ту же модель на паре плат. Под ответом — скорость, время и объём памяти, который заняли веса.
Одна модель на одной плате и на паре: скорость рядом
Ответ целиком и что сказала вторая плата
Пара плат · qwen3-30b-a3b-q40
Одна плата · qwen3-30b-a3b-solo
В Repka Pi 5 — 16 ГБ памяти: модель в 30 миллиардов на неё одну не помещается. Зато помещается на две такие платы — или, как в этой паре, совместно с платой на том же чипе: CM3588 несёт 9,5 ГБ весов, Repka Pi 5 — 8,4. А CM3588 с его 32 ГБ справляется и в одиночку — это соседняя кнопка.
Первый ответ после долгого простоя медленнее: веса модели поднимаются с накопителя обратно в память. Со второго вопроса — номинальная скорость.
Ответ появится здесь; под ним — время, скорость, энергия и куда ушли данные.
Демо ограничено: 20 запусков в час с одного адреса и 800 символов на вопрос. Первый запрос к незагруженной модели дольше — это видно в строке «прогрев». Потребление измеряется только у видеокарты, у платы датчика тока нет. Облачный контур отправляет вопрос внешнему провайдеру — это видно и в метриках после ответа.
Что это забирает у людей
Апгрейд без свалки железа: каждая купленная плата остаётся в строю. Большая модель перестаёт означать «сервер с видеокартой» или «облако» — это ещё одна плата за десятки тысяч рублей, и данные по-прежнему не покидают ваш периметр.
Для кого
Тем, кому нужны сложные ответы на своём железе: аналитика, разбор документов, рассуждения — без передачи данных наружу
Что забирает
Снимает главный предрассудок про edge-ИИ: «на плате живут только маленькие модели». Вот большая, вот она отвечает, вот измеренные секунды
Как попробовать
Задайте вопрос посложнее — из тех, на которых малые модели плавают. Пара отвечает за десятки секунд; одна плата сначала поднимает модель в память — это пара минут, витрина покажет прогрев. Такова честная цена большой модели на маленьком железе
Эксперимент: та же модель на паре плат
Мы поставили рядом две платы в обычной гигабитной сети и разрезали модель пополам — каждой плате по половине весов. Вот измеренное (и да, после настройки потоков под big.LITTLE пара стала ещё в полтора раза быстрее — витрина живёт, цифры обновляются).
| Одна плата CM3588 (32 ГБ) | 5,8 токена/с | модель целиком в памяти одной платы |
| Пара: CM3588 + Repka Pi 5 | 7,6 токена/с | +30 % от второй платы; синхронизация по сети — 44 мс на токен |
| Память пары | 9,6 + 8,4 ГБ | половинки помещаются в две платы по 16 ГБ — например, в две Repka Pi 5 |
Эта таблица — уже не план, а два работающих контура: обе строки можно проверить кнопками выше, и соло, и пару. Модель, которая не помещается в малую плату вовсе, работает на двух малых платах — и быстрее, чем на одной большой. Рост покупается добавлением платы, а не заменой железа. Обе цифры — длинные генерации; на коротких ответах, которые вы получите в демо, скорость выше.
На чём это работает
- Пара плат — CM3588 Plus (корень, 9,5 ГБ весов) + Repka Pi 5 (воркер, 8,4 ГБ) в общей гигабитной сети — для модели это одна машина
- Одна плата — FriendlyElec CM3588 Plus: Rockchip RK3588 (4×Cortex-A76 до 2,4 ГГц + 4×Cortex-A55 1,8 ГГц), 32 ГБ LPDDR5, 4 слота M.2 NVMe (PCIe 3.0 ×1), накопители 3 × Intel Optane
Подробные паспорта стендов, их загрузка и потребление — на странице Стенды.
Хотите такое у себя?
Посчитаем лестницу под вашу задачу: с какой платы начать, что она закроет сразу и в какой момент докупить вторую — с ценами каждой ступени и без покупок «на вырост»
Нашли неточность или есть предложение по витрине? .