Стенды лаборатории
Локальные контуры считают на собственном оборудовании — не на арендованных мощностях. Облако на витрине тоже есть, но как контур сравнения: его запросы уходят внешним провайдерам, и в метриках это всегда видно.
За сутки посетители запустили 205 демо, из них 12 за последний час.
Edge-контур — работает автономно, без интернета
на связи
На этой машине 3 вычислителя, и витрина сравнивает их между собой: процессор, нейроускоритель, ускоритель AX650N.
Железо
4 ядра Cortex-A76 до 2,3 ГГц
процессор: qwen3.5:4b-q8_0
нейроускоритель: qwen3.5-4b_w8a8_rk3588
ускоритель AX650N: AXERA-TECH/Qwen3.5-4B-AX650-GPTQ-Int4-C128-P1152-CTX2047
Где стоит
Локальная сеть, плата размером с ладонь
Потребление под полной нагрузкой: до 20 Вт (оценка — датчика тока на плате нет)
Кому подходит
Там, где нет связи и данные не должны покидать объект
Здесь работают: Один вопрос — пять ответов, Куда уходят ваши данные, Сколько это стоит на самом деле
Основной стенд — локальные модели и RAG с графом знаний
на связи
Где стоит
Серверная, Proxmox VM с прокинутой видеокартой
Потребление под полной нагрузкой: до 350 Вт (паспортный предел; под нагрузкой замерено 320 Вт)
Кому подходит
Корпоративный контур: своё железо, данные внутри периметра
Здесь работают: Один вопрос — пять ответов, Ответы по вашим документам с графом знаний, Проверка документа по чек-листу, Запрос к базе на русском, Куда уходят ваши данные, Сколько это стоит на самом деле
Контур сравнения — максимальное качество за деньги
на связи
Где стоит
Вне периметра компании
Кому подходит
Когда нужна максимальная модель и данные не чувствительны
Здесь работают: Один вопрос — пять ответов, Запрос к базе на русском, Куда уходят ваши данные, Сколько это стоит на самом деле
Как витрина остаётся живой под нагрузкой
Открытые демо на настоящем железе — это упражнение в эксплуатации: те же вопросы встают у любого продакшена с ИИ. Вот как они решены здесь.
- Очередь вместо отказа. У локальных вычислителей один-два слота — это физика ускорителей. Занятый стенд ставит запрос в очередь и говорит «вы следующий», а витрина предлагает свободный контур: затор превращается в повод сравнить железо.
- Бюджеты по стоимости ресурса. Облачные запросы считаются в рублях и ограничены дневным бюджетом — общим и личным на посетителя. Своё железо деньгами не лимитируется: оно уже оплачено, его берегут очередь и часовые квоты.
- Сканеры отсекаются до приложения. Автоматика, которая ищет уязвимости, получает отказ на пороге. А вот ИИ-агенты — желанные гости: агент, изучающий подрядчика по поручению клиента, уходит отсюда с цифрами (для него есть llms.txt).
- Гид знает обстановку. Ассистент видит состояние стендов и очереди — если нужный контур занят, он скажет об этом прямо и предложит свободный.
Эти же механизмы мы ставим заказчикам: публичный ИИ-сервис без них либо ложится под нагрузкой, либо разоряет владельца.