2026-08-22
Edge-решение на 30 миллиардов параметров: теперь и на паре плат
Лаборатория зафиксировала работающую связку CM3588 + Repka Pi 5 как альтернативу одноплатному варианту для модели в 30 миллиардов параметров. Пара выдаёт 7,6 токена в секунду против 5,8 ток/с у соло-конфигурации на четырёх потоках. Измерение скорости вынесено в публичный интерфейс: счёт токенов идёт по кадрам dllama, доступен посетителю стенда.
Пульс железа переработан: компактные ячейки с пиктограммой над числом, память платы отображается со шкалой и риской на середине, гигабайты форматируются с десятичной запятой по русской норме. Для пар устройств каждый агент отдаёт метрики своей платы отдельно — пульс не смешивает данные CM3588 и Repka Pi 5 в одну кучу.
2026-08-21
Запущено решение «Консилиум» — каскад малых моделей с кворумом на edge-платах
Лаборатория выпустила новое решение «Консилиум»: распределённый каскад из нескольких моделей, работающих на edge-платах, с финальным вердиктом по принципу кворума. Старшая модель вынесена на GPU-сервер и участвует во всех слоях витрины, но не голосует напрямую — это снижает нагрузку на платы и удешевляет развёртывание.
2026-08-20
Витрина лаборатории подключила Repka Pi 5 — первый стенд на отечественном ARM
Repka Pi 5 стала первым стендом в каталоге лаборатории, работающим на ARM-платформе российского производства. Плата получила собственную карточку со снимком, реестр совместимости и три варианта размещения мыслей — по трём точкам интерфейса. Для витрины выделены два скрытых контура и общий агент метрик, слоты явно ограничены одним на контур.
В карточке стенда вынесены на первый план встраиваемость и реестр совместимых устройств, добавлена ссылка на сайт производителя. Контур платы сводится к имени машины, а энергия источника отображается тремя состояниями вместо двух — это изменение затронуло всю витрину.
2026-08-20
Помощник на сайте клиента возобновил работу, изменилась тарификация запросов
Помощник, встроенный в сайт клиента, снова отвечает на обращения. Технически проблема была в том, что облачная модель передавала разные имена в разных контекстах — теперь имя единое на всех инстансах.
Изменилась и квотная политика: вопрос теперь стоит одну единицу, ошибочный запрос — ноль. Кабинет пользователя расширен, чтобы отражать новые лимиты.
2026-08-19
Repka Pi 5 — день на запуск: от коробки до каталога стендов
Накануне мы забрали у производителя Repka Pi 5 — российскую плату на том же чипе RK3588, что и наш CM3588. День работы — и к вечеру она уже стояла первой в каталоге стендов и отвечала посетителям: наш стек — модели на процессоре и нейроускорителе — завёлся на её родной ОС без единой правки.
Первые замеры со штатным радиатором: 4,5 токена в секунду на нейроускорителе, 4,8 — на процессоре. Плата тянет и модель вдвое больше — 9 миллиардов параметров в 4 битах идут на 3,7 токена в секунду. И деталь в нашем стиле: взвесили — 58 граммов вместе с радиатором.
Плату передал производитель — работаем с командой Repka Pi напрямую.
**Уточнение от 23 августа.** В первой публикации скорость нейроускорителя стояла как 2,4 токена в секунду — это была ошибка измерения, и она занижала плату почти вдвое. Сервер RKLLM в обычном ответе возвращает в поле «число токенов» число слов, а наш прогонный скрипт брал именно его: на одном и том же ответе 136 слов против 255 настоящих токенов. Верная цифра — 4,5 токена в секунду, то есть нейроускоритель и процессор на этой модели идут вровень. Скрипт починили, все замеры пересчитали, а сама разница между стеками теперь в другом: NPU оставляет процессор свободным и греет плату заметно меньше.
2026-08-19
Пульс железа — прямо на кнопке выбора
Загрузка и температура каждого вычислителя теперь видны прямо на кнопке, которой его выбирают, — до запуска, а не после. Наведите на шкалы — покажутся точные числа.
Мелочь, в которой весь подход: витрина показывает живое железо, и его пульс должен быть там, где посетитель принимает решение.
2026-08-19
Консилиум трёх плат сравнялся с моделью вдвое больше
Ночной эксперимент в два раунда, 70 задач с проверяемым ответом: одна маленькая модель на плате, две, три платы голосованием — и большая модель для сравнения. Итог на всей дистанции: консилиум трёх плат — 64 из 70, ровно столько же у модели вдвое крупнее на серверной видеокарте. Одиночная плата — 58: главный скачок даёт именно третий голос.
Любимый момент: на задаче «какой день недели будет через 10 дней» верный ответ знала только одна плата из трёх — и арбитр её распознал. А задачи про улиток в колодце оказались системной слабостью большой модели: маленький консилиум решал их верно оба раунда.
Честности ради: бывают и обратные случаи — одну задачу-ловушку всё трио прошляпило, а большая модель раскусила. Консилиум не серебряная пуля, но равный счёт при цене железа в разы ниже — уже разговор. Раунд голосования занимает около 20 секунд — готовим живое демо.
2026-08-18
«Данные не покидали периметр» — теперь это проверяет сама витрина
Под каждым ответом витрина пишет, покидали ли данные нашу сеть. Раньше это определялось по имени модели — и когда облачная модель переехала на другой способ подключения, подпись один раз соврала. Заметили, починили и сделали выводы.
Теперь витрина смотрит на факт: по какому адресу физически ушёл запрос — частная это сеть или внешняя. Имя можно переклеить, маршрут — нет. Если стенд объявлен локальным, а стучится наружу, витрина заметит это сама.
