Выпуск #20 · 5 августа 2026 г. · 1:35:14
Разработка AI-продуктов: контекст, evals и агенты | Федя Морозов, CTO ботов поддержки, Т-Банк
Описание
CTO в Т-Банке и разработчик инфраструктуры одной из крупнейших рекомендательных систем.
В выпуске
- Как измерять качество генеративного продукта, работающего с реальными пользователями
- Почему наивный LLM-as-a-judge создаёт второй слой галлюцинаций
- Как выстроить пирамиду разметки и контролировать качество самих оценщиков
- Какие гардрейлы нужны агенту, способному выполнять действия
- Почему контекст и правильные инструменты важнее выбора конкретной модели
- Как внедрять LLM постепенно, не разрушая работающую систему
- Когда достаточно гибридного workflow, а когда нужен полноценный агент
- Как использовать агентов в разработке, управлении командой и повседневной жизни
- Какие решения и части собственного голоса не стоит делегировать
- Какие навыки сохранят ценность, когда большую часть кода начнут писать агенты
Тайм-коды
00:00 — Хайлайты выпуска
00:50 — Начало
01:17 — Знакомство с Федей Морозовым
02:15 — Что генеративные модели изменили в ML-продуктах
05:43 — Avito.Tech.Conf
06:31 — Может ли банковский бот выполнять действия
09:09 — Главные риски генеративного продукта
11:49 — Как построить пирамиду оценки качества
15:10 — Почему наивный LLM-as-a-judge не работает
18:53 — Как устроена поддержка Т-Банка
23:25 — Гардрейлы, авторизация и детерминированные проверки
27:07 — A/B-эксперименты и контролируемые выкладки
31:57 — Почему контекст и тулы важнее модели
34:21 — Безопасная точка внедрения LLM: классификация запросов
36:47 — Гибридные сценарии вместо полного перехода на агентов
42:36 — Как перейти к полноценному агенту
45:18 — PydanticAI, Qdrant, Python, n8n и текстовые файлы
46:53 — Кто должен входить в команду AI-продукта
50:07 — Почему генеративная поддержка всё ещё остаётся ресёрчем
52:39 — Заменит ли диалоговый интерфейс кнопки и приложения
56:45 — Персональные ассистенты, доступ к данным и контроль
01:04:49 — Единственная вещь, которую Федя не делегирует агентам
01:12:11 — Как агент освобождает руководителя от рутины
01:19:05 — Агенты в разработке и архитектурных решениях
01:27:59 — Идеальный процесс разработки новой фичи
01:30:24 — Какие навыки останутся важными для разработчиков
01:34:29 — Что стоит делегировать агентам
01:34:58 — Итоги
Материалы и ссылки
Связанные выпуски
Выпуск №16 — «AI-агент в продакшне: браузер, тулы и эвалы»
Выпуск №17 — «ИИ-продакт про работу, карьеру и будущее»
Продолжить тему
Смотреть следующим
Выпуск #21 · 1:43:03 Внедрение ИИ в компании: как перестроить команды и процессы | Дмитрий Бобылёв, CEO FastForwardСмотреть и слушать
