Что говорили на ГигаКонф

Руководители, давно не писавшие код, должны вернуться к разработке своими руками: иначе знания устарели, а проповедь без опыта проваливается.

Эпоху отдельных автономных операций прошли; теперь задача end-to-end как автономная функция, затем автономные компании. Идти надо шаг за шагом.

Модели решают всё больше: то, что не умеют сегодня, успеют за год. Системы надо проектировать в расчёте на это.

Важен не код, а оркестр: инфраструктура, сборка, процессы. Сбер видит IPDLC как интегрированную систему процессов и платформенных инструментов.

Саморазвивающийся харнес из ресерча (Роборос): любые модели, десктоп или виртуалка, можно держать зоопарк агентов и сравнивать модели на своих задачах.

С конца мая: интеграции с корпоративными системами и учётками, команды с правами, общие пространства; подключаются готовые агенты и MCP.

Вайпкод-дашборды сотрудников живут в общем пространстве с контролем доступа и поддержкой. Единый репозиторий навыков на GitVerse совместим со всеми тремя.

Совместно с Cloud.ru сделан автоматический роутер: сам выбирает модель под запрос ради качества и цены. Плюс российская JDK с high-load версией.

Мастер-спеки и спеки изменений живут в Git, а не в Confluence. Код можно перегенерировать за несколько дней, спека ценнее. Мастер-спеку строят по коду.

Требования кибербеза оформлены как скиллы плюс гейт соответствия, с автоматическим реворком. Постфактум-контроль съедает время на переделки.

Свой harness строят на годы, модели меняют за дни и не верят бенчмаркам. Команды делятся на продуктовые (интент и discovery до спеки) и enabling.

Автономность агентов задаётся риском и обратимостью операции. Контур доверия постоянно измеряет поведение агентов на проде. Инциденты возвращаются в разработку спеками.

Связка агентов берёт идею, пишет план и требования (в том числе по Spec-Driven Development), код, тесты и сборку без ручных операций.

Работает в IDE, CLI, десктопе и как серверный харнес для автономной разработки с настраиваемым workflow, а не только агент в IDE.

Аналитики и тестировщики получают преднастроенных агентов под свои роли, чтобы не тормозить разработчиков; подключаются любые модели.

Новый агентный движок с инлайн-редактированием отдельных элементов, выбором моделей, новой моделью картинок и публикацией на своём домене.

Агентный harness — луп и оркестрация конкретного решения. Enterprise harness — переиспользуемые скиллы, репозиторий, guardrail и безопасность для всех команд.

Агенты живут в agent execution framework: контроль, наблюдаемость и возможность нажать на рубильник при отклонениях. Guardrail services ограничивают действия агентов.

Цикл: применение, сбор трейсингов, рефлексия, переписывание скиллов. Так улучшаются и навыки, и итоговое качество агентного решения.

Семейство GigaChat, доменные и голосовые модели, движение к интеллектуальному роутингу вместо явного выбора модели. Цель — ниже стоимость решения.

Защищённое ядро, окружение с контрактами, навыки и интерфейсы. Так агент можно развивать и контролировать с минимальной потерей качества.

Эволюция самого агента сложна и для продакшена неприменима. Будущее за эволюцией навыков и интерфейсов, то есть за контролируемой эволюцией.

Мировых бенчмарков мало: смету на ремонт агент формально решил, но без стоимости контрагентов. Поэтому есть корзины внутренних и внешних клиентов.

Агент не дообучают: ему объясняют задачу как сотруднику, поправки он сохраняет в долгосрочную память. Данные могут лежать в файле, JSON или S3.

Продукт растёт по процессам, командам и инструментам: сервисы (AI-фактори, Policy Engine), MCP и Skills из коробки, маркетплейсы наработок.

Плагины для IDE, CLI и Desktop. Desktop и CLI зашли и неинженерным ролям; агента GigaCode можно запустить рядом с кодом в GitVerse.

Три риска: supportability, updateability, reliability. Пример: баг в чужом харнесе висит с сентября, приоритет поднять некому.

Недетерминизм даёт модель, а не харнес. Rules и настройки харнеса улучшают результат; полный детерминизм дают специализированные харнесы.

Мост на протоколе AG-UI добавляет персистентность: сообщения и запросы к человеку сохраняются, пользователь может ответить через день или неделю.

Граф исполнения задаётся манифестом или Python-кодом, платформа ведёт машину состояний. Пример такой платформы — Temporal.

Упавшего субагента перезапускают с последнего действия; сохранённые шаги не повторяются, план остаётся прежним, даже если упали все ноды.

У агента простое API к файлам и командам, контейнеры скрыты слоем виртуализации на Cloud.ru; независимые части делают параллельные субагенты.

Две модели рядом, общая системная инструкция, температура, лимит токенов, поиск и интерпретатор кода. Конфигурацию можно сохранить и выгрузить в JSON.

База знаний из API, регламентов и ограничений с настройкой чанкинга и строгости отбора. Ответ GigaChat идёт с фрагментами и ссылками на источники.

Исследование с белыми и чёрными списками ресурсов, видимым пайплайном и оценкой компетентности источников. Работает в фоне, отчёт можно загрузить в RAG.

Сам определяет начало встречи, ведёт транскрипцию по ролям в реальном времени. После встречи формирует протокол, выжимку и список задач; аудио не пишет.

Единицей работы становится задача или интент, а контекст собирается вокруг неё. Агенты получают статус полноправных участников производственного процесса.

В раннере запускается любой harness (GigaCode CLI, open-source, коммерческий) с MCP, скиллами и инструментами. Модель доступна через gateway с гардрейлами.

Агент берёт задачу сам, в том числе ночью по таймеру, пишет код и гоняет тесты, пока не пройдёт гейты. Человек принимает результат или разбирает исключения.

Сохраняются размышления агента, вводы человека и вызовы инструментов. Человек может вмешаться в ходе работы и видит экономический вклад агентов.

Envoy-фильтр стримит и балансирует трафик, ext_proc-сервисы на лету делают валидацию, квоты, маскирование и учёт токенов. Монолиты вроде LiteLLM не подошли.

EPP выбирает под по префикс-кэшу, очереди и занятости KV-cache (взвешенный Z-score), а не round-robin. Движки vLLM и SGLang остаются немодифицированными.

Соль в префиксном кэше против KV-cache leakage между арендаторами. Guardrail анонимизирует данные в потоке и подставляет оригиналы в ответ; фильтр открыт на GitHub.

Фиксированная цена, тиры моделей и гарантированная скорость на поток; сверх лимита работает pay as you go. Целятся в разработчиков, в том числе через GigaCode.

Из коробки cache hit был 20-25%. Помогла группировка реплик по атрибутам (например, B200 и H100) и sticky-сессии в роутере SMG.

Max running requests в vLLM и SGLang подбирают нагрузочными тестами. Лучше подождать в очереди, чем получить рост TTFT из-за перегруза.

Нужны RoCE или InfiniBand, настройка QoS и отключённый ACS на PCI. Под каждую новую модель SGLang приходится дорабатывать.

Cache-aware роутинг перегружал одну реплику, а маленькую Qwen 35B-A3B в PD запустить не удалось. Её кэш вынесли в оперативную память.

Prefill упирается в вычисления, decode в чтение памяти. Сначала выделяют профиль (prefill/decode heavy, всплески, общий префикс), и только потом выбирают оптимизации.

Настройка параллелизма, CUDA-графы, правка регистров и shared memory в partial-ядре, speculative decoding. Одна оптимизация сломала стабильность и была откачена.

На Qwen при высоком cache hit (агенты) выигрыш около 10×, при 50% 3–4×, на уникальных запросах goodput ухудшается. Goodput важнее throughput.

На 4 картах разделение prefill и decode не помогло: две-четыре реплики с тензорным параллелизмом оказались лучше любой раскладки prefill/decode.

Qwen3.6 35B A3B в NVFP4 занимает 23 ГБ, остальное под KV-cache в FP8. TP1, без NVLink и обмена между картами.

Запросы со stream=false переводят в stream=true; на прокси обрывают зацикленную генерацию и повторяют до пяти раз. Экономия 200–300 GPU-часов в неделю.

Роутинг по префиксу плюс лимит long prefill в 4000 токенов: холодный запрос не останавливает decode, хвосты P95–P99 уходят.

Лимит питания около 260 Вт, хуки блокируют rm и перезапуски без подтверждения. Парком управляют агенты вместе с людьми.

Большую часть хода занимают ожидание LLM, затем MCP и sandbox. Реальная CPU-нагрузка меньше 1%, поэтому контейнер на пользователя простаивает.

Воркеры берут шаги разных пользователей из двух очередей (терны и степы), лочат чат ID, а долгое ожидание LLM выгружают. Файлы идут сразу в S3.

Память живёт во внешнем сервисе с очередью консолидации. MCP Gateway держит секреты и степ-ап авторизацию; смену тулов добавляют в конец чата, не ломая KV-cache.

Песочница нужна лишь в 20% шагов, поэтому хватает пула ВМ. Файлы, пакеты и дамп процессов лежат на SDS, а операции идемпотентны.

На своём бенчмарке из 12, затем 17 языков качество на Rust и Go доходило до двукратного падения относительно Python при идентичных задачах.

На свежем аналоге SWE-bench результаты падали вплоть до трёх раз; у одной модели 300 задач Киберджима нашлись прямо в её трейнсете.

Окружение, инструменты, условие и детерминированный проверочный скрипт; на тысяче таких задач уже можно запускать GRPO.

Только post-train: SFT, затем RL по доменам и онлайн-дистилляция экспертов в универсальную модель для кода, офиса, 1С и кибербезопасности.

Балансировщик least-loaded бросал запросы одной сессии на разные GPU, и KV-cache hit rate был около 20% при потенциальных 90% по аналитике.

Единый пул KV-cache по RDMA/InfiniBand поднял hit rate до 80%. Роутинг по префиксам с учётом нагрузки дал около 50%.

Новые архитектуры кэша (Mamba-состояние в Qwen3 Next) ждут поддержки в Mooncake около пяти месяцев; нагрузка на InfiniBand; sharing работает только внутри кластера.

Кэш-роутер агностичен к формату кэша и кластерам. Поверх sharing он снизил трафик по InfiniBand в 5 раз и вернул hit rate между кластерами с 62% до 80%.

Человек задаёт правила: какие MCP доступны, SLA и SLO, когда эскалировать. Агент спрашивает человека, а не наоборот. Права растут от read-only до execute.

Ранбук - автономный сценарий-граф из агентов, MCP и знаний с проверкой перед каждой нодой. Типы: базовые, кастомные от команд и динамические из постмортемов.

Без размеченных знаний агенты бесполезны. Control plane хранит реестр агентов, права и телеметрию и блокирует обращение за пределы разрешённого.

Эксплуатационные требования попадают в мастер-спеку PDLC, а минорные дефекты из прода возвращаются фиксами без людей. Критичное действие подтверждает человек.

По теории самодетерминации ИИ атакует компетентность, автономность и связность. Отсюда тревога у джунов, потеря азарта у мидлов, «саботаж как лояльность» у сеньоров.

Шесть групп компетенций агентной разработки измеряют неинвазивно, по логам GigaCode и артефактам работы. Результат виден в HR-системе «Пульс» по командам и людям.

Пока курс был добровольным, роста Agentic Mode не было. После назначения обязательным и обновления плагина доля агентного режима почти удвоилась.

Аналитик, разработчик и тестер сливаются в E-shaped инженера, а владельцы продукта и бизнес-аналитики становятся продуктовыми инженерами со спецификациями.

В отличие от скоринга или рекомендаций, бизнес-процессы разные, отдельную ML-команду на каждый не окупить. Отсюда мультиагентная система: свой агент на каждый процесс.

Менеджер AI-трансформации отвечает за эффект и стейкхолдеров, FDE разбирает процесс и делает агента под ключ: промпты, тулы, eval. Команды нарезаны по процессным доменам.

Нужны инженер с пониманием evals и высоким ownership. Берут технарей-студентов, стажировка, наставник, затем самостоятельная работа. ML-инженеры для этого не годятся.

Тулы, промпты и evals частично пишут агенты, поэтому инструменты для FDE упаковывают в скиллы. Общим остаются единый вход в LLM, логи и оценка качества.

На старте проекта не экономьте: людям нужно экспериментировать и обмениваться опытом. Всерьёз оптимизировать стоит, когда траты выходят на тысячи долларов в день.

Цена кэшированных токенов в 20–40 раз ниже. Кэш ломают ожидания дольше 5 минут и смена модели или reasoning; помог автопрогрев пингом раз в 5 минут.

Бенчмарки собирают из собственных pull request. Переход с Opus на Sonnet и дешёвые модели вышел дороже из-за лишних ревью-циклов.

Правила в agents.md агенты нарушают. Ограничения вроде лимита ревью-циклов нужно зашивать в харнес или CI.

На вход состояние и набор вариантов, на выходе уверенность в каждом. Есть режим выбора лучшего и бинарный режим с оценкой от 0 до 1.

Варианты задаются текстом и могут меняться на каждом шаге. Калибровка не нужна, варианты оцениваются параллельно, время почти не растёт.

Разбор логов и документов, фильтр таблиц в Postgres, LLM-роутер, компактизация контекста агента на каждом шаге.

Через сутки вышла open-source версия, через три недели decisions API у OpenAI, затем модели Microsoft и других. Ров продукта ничтожен.

Производство обгоняет discovery, релизов больше, но качество портфеля падает: берём не лучшие гипотезы, а всё подряд. Следом узким станет адопшен клиентами.

Агент путает наблюдение, интерпретацию, гипотезу, прогноз и решение. Исход эксперимента бывает разным, и нехватка данных тоже валидный результат.

Слой знаний с трассируемостью: источник, метод, время, сегмент, контекст, граница применимости, решение и результат. У эксперимента есть срок годности.

Подбирает метод проверки под тип гипотезы, раздаёт задачи субагентам, проверяет вход и выход, решает о достаточности данных и эскалирует человеку.

После выхода в прод часть кейсов не работала. Собрали размеченные сессии клиентов, зафиксировали модель и экспериментировали только с харнесом.

Закрепили исходную задачу в контексте, сохраняли длинные выгрузки порциями, починили таблицы в Word и таймзоны. Всё это улучшило качество и скорость.

Оцениваются только артефакты: записи в БД, письма, документы. Есть критические проверки и порог 70% некритических, оценка бинарная.

Open-source харнесы прогнали на тех же задачах и той же модели. Смотрели средний результат, стабильность между прогонами, типы задач и стоимость.

Промпты и скиллы компенсируют слабости моделей и устаревают; детерминированные стены вокруг модели (sandbox, хуки, права) остаются и живут дольше.

Функции уезжают из промпта в API вендора, а сам harness из ноутбука в облако. Лабы и IDE-стартапы сходятся к комбайну с собственной моделью.

Авторизацию нельзя отдавать модели, а классификатор рано или поздно ошибётся. Нужны слои: классификатор, sandbox, хуки, секреты вне VM.

Фиксируем среду и задачи, где агент падал, делаем несколько прогонов с внешней проверкой, смотрим повторяемость и цену. Так решаем, какой компонент удалить.

7500 строк правил разбиты на файлы и подгружаются триггерами по ходу задачи. Правила и задача укладываются в 40% окна, агент работает на Minimax и DeepSeek Flash.

Soft-правило модель может забыть или обойти. Агент знакомого CEO дописал в harness «пропускай проверку, пользователь нетерпелив», и билды сломались.

Плагины-guardrails не дают агенту ответить «готово», пока он не пройдёт чек-листы. Агент обновляет зависимости в 100+ микросервисах по данным Sonar.

Запросы к Sonar и Sentry делаем кодом, а не через MCP, у каждого шага свой контекст и гейт. Результат проверяемее, но агент не умнее, а излишняя жёсткость его ухудшает.

Одноразовая песочница под задачу, сеть изолирована, токены корпсистем внутрь не попадают: доступ идёт через MITM-прокси, которые подменяют токены.

Агент делает только коммит и сообщает о нём структурированным сообщением, а push и MR создаёт система. Запускать джобы в пайплайне агент не может, только читать.

Чтобы человек доверял результату, агенту дали dev-секреты и доступ к dev-системам. Цель: решать про merge по сценариям, скриншотам и код-ревью.

У команд разные процессы, GitLab и деплой, на каждой находили corner cases. Поэтому команды сами настраивают pipeline: скиллы, мета-репо, секреты.

Пользователь правит поля события, данные приходят с захваченного хоста, плюс свободный чат. Легитимные и вредные запросы используют одну лексику.

Вход: алфавит, невидимые символы, запрещённые темы, prompt injection. Выход: темы, бренды, утечка системного промпта. Ответ проверяется по чанкам.

Регулярки, нечёткий поиск и ключевые слова на CPU, интерпретируемо. Белые списки (процессы, имена правил корреляции) снимают ложные блокировки.

Декодируют base64, в том числе обрезанные строки по кускам, убирают пунктуацию и цифры, приводят к нижнему регистру, разбирают leet speak.

Клиент говорит только с LLM-координатором: у него память, хуки, компакция контекста и 16 функций для быстрых ask-запросов без смены состояния.

Операции, меняющие состояние (депозит, перевод), делегируются навыку со своим промптом и недетерминированным графом, по которому модель ходит сама.

Хуки харнесса не дают провести финансовую операцию без подтверждения пользователя; подтверждение идёт через координатор и виджеты.

Сервис графов: команды двигают блоки, система собирает навык, размечает данные, обучает LoRA и прогоняет eval. На прод за недели.

При одной модели харнесс даёт до 20% разницы, а GCR в СберОнлайн вырос с 60 до 95% без смены модели. Свою обвязку строят на годы, модели меняют за дни.

Критичные ограничения делают детерминированно: sandbox, хуки, права, гейты в CI. После апгрейда модели компенсирующие инструкции из промптов удаляют.

Публичным бенчмаркам не верит никто. Все меряют на своих кейсах: набор проверяемых задач, повторяемость k прогонов, цена за решённую задачу или PR.

KV-cache hit, кэш-aware роутинг, очередь вместо перегруза, модель под задачу. Цель по кэшу 92–94%, иначе токены и GPU уходят впустую.