Уровень 4 (занятие) · лекция · 26 сентября, 11:10
LLM как инженерный инструмент
Как устроена языковая модель с точки зрения инженера, чем отличаются автодополнение, чат и агент, где модель ошибается систематически и как ставить ей задачу. Отдельно — контекст агента как бюджет.
Вопрос в зал
- Кто писал код с LLM на прошлой неделе?
Вопрос в зал
- Кто писал код с LLM на прошлой неделе?
- Кто хоть раз потом переписывал за ней?
Вопрос в зал
- Кто писал код с LLM на прошлой неделе?
- Кто хоть раз потом переписывал за ней?
- Что именно переписывали?
Фича дня: витрина проектов
Что делает модель
Предсказывает следующий токен по всему, что лежит в контексте
- Нет памяти между запросами: каждый раз всё заново
- Не видит ваш диск и репозиторий
- Знает о проекте только то, что попало в запрос
В запрос кладёте вы или инструмент: в Claude Code его собирает агент
Что такое токен
Токены — «наименьшие отдельные единицы языковой модели; они могут соответствовать словам, частям слов, символам или даже байтам»Anthropic, глоссарий Claude Docs
Что лежит в контексте
Контекстное окно — «объём текста, на который модель может оглядываться и ссылаться при генерации нового текста… «рабочая память» модели»Anthropic, глоссарий Claude Docs
Один промпт — один ответ?
Недетерминированность — «даже при температуре 0 результаты не будут полностью детерминированными: одинаковые входные данные могут давать разные ответы при разных вызовах API»Anthropic, глоссарий Claude Docs, статья «Temperature»
Три режима работы
LLM-агент в цикле вызывает инструменты, чтобы достичь цели
An LLM agent runs tools in a loop to achieve a goal
Агент: цикл
Агенты — «системы, в которых LLM сама динамически управляет своим ходом работы и использованием инструментов…»Anthropic, «Building effective agents», 19.12.2024
Кент Бек называет агента «джинном». На вопрос, по каким признакам он понимает, что агент сбился с пути, он ответил:
Любые признаки того, что джинн жульничает — например, отключает или удаляет тесты
Any indication that the genie was cheating, for example by disabling or deleting tests.
Пример: я дал агенту задачу
Термин «контекстная инженерия» мне нравится больше, чем «промпт-инженерия»: это искусство дать весь контекст, чтобы задача стала в принципе решаемой для LLM
I really like the term "context engineering" over prompt engineering. It describes the core skill better: the art of providing all the context for the task to be plausibly solvable by the LLM.
Контекст растёт с каждым шагом
Контекст — «набор токенов, который подаётся модели, когда она генерирует ответ»Anthropic, «Effective context engineering for AI agents», 29.09.2025
Больше контекста — не лучше
«модели используют контекст неравномерно: их работа становится всё менее надёжной по мере роста длины входа»Chroma, «Context Rot», 2025
- Середину длинного контекста модель использует хуже начала и конца
- Лишний файл стоит токенов, задержки и внимания модели
Как оплачивается контекст
Кэширование промптов — «позволяет продолжать работу с заданных префиксов промпта, что заметно снижает время обработки и стоимость повторяющихся задач»Anthropic, Claude Docs, «Prompt caching»
Что кэш дал нашему агенту
Правила проекта — всегда в контексте
Как управлять бюджетом
«найти минимально возможный набор токенов с высоким сигналом, который максимизирует вероятность нужного результата»Anthropic, «Effective context engineering for AI agents»
- Стабильное начало: правила и инструкции не меняются между шагами
- Подгрузка по запросу: файл — когда он нужен для шага
- Сжатие и очистка: новая задача — новый контекст
- Шумную работу — отдельному агенту, назад только вывод
Вопрос в зал
- Что агент вашего RAT-PoC должен знать всегда?
- Что — только по запросу?
- Как проверить, что после чистки контекста стало не хуже?
Отчёт агента
Выглядит готовой
Форма и утверждение — как просили
Свежие API и дата среза
Надёжная граница знаний — «дата, до которой знания модели наиболее полны и надёжны»Anthropic, Claude Docs, «Models overview»
- Что вышло позже, она дополнит по памяти о старой версии
- Новая версия фреймворка, переименованный метод, изменившийся конфиг
Лечится документацией в контексте
Выдуманные пакеты
Галлюцинация — «даже самые продвинутые модели иногда порождают текст, фактически неверный или противоречащий данному контексту. Это явление называют «галлюцинацией»»Anthropic, Claude Docs, «Reduce hallucinations»
- 2025: несуществующие пакеты у 5% ответов коммерческих моделей и у 22% открытых
- 2026: у свежих моделей около 5%, но не ноль
- Выдуманные имена повторяются от запроса к запросу
Как это превращается в атаку
Слопсквоттинг — LLM выдумывает несуществующий пакет, а злоумышленник регистрирует это имя. ИИ-брат тайпсквоттинга
Slopsquatting – when an LLM hallucinates a non-existent package name, and a bad actor registers it maliciously. The AI brother of typosquatting.
На витрине: пакет для превью
Опасный питч экранирован
Ответ лежал в репозитории
В каком-то смысле LLM только и делают, что галлюцинируют. Это машины сновидений. Промптами мы направляем их сны
…in some sense, hallucination is all LLMs do. They are dream machines. We direct their dreams with prompts.
Уверенный неверный ответ
Угодничество (sycophancy) — «…обратная связь от людей может поощрять ответы, совпадающие с убеждениями пользователя, а не с истиной; такое поведение называют угодничеством»Sharma et al., «Towards Understanding Sycophancy in Language Models», ICLR 2024
- Модель не сообщает, что не знает
- Если настаивать, она соглашается с неверным
- Спорить с моделью бесполезно
Нужен внешний проверяемый факт: тест, документация, запуск
Тесты зелёные, форма сломана
Почему тесты этого не видят
Ощущение скорости ≠ скорость
- 2025: с ИИ задачи заняли на 19% больше времени
- А участники считали, что ускорились на 20%
- 2026: признаки ускорения, но METR сам называет данные ненадёжными
Замеряйте, а не оценивайте на глаз
Самый популярный новый язык программирования — английский
The hottest new programming language is English
«Естественность» родного языка сводится к лёгкости, с которой на нём можно высказывать бессмыслицу, не бросающуюся в глаза
…the "naturalness" with which we use our native tongues boils down to the ease with which we can use them for making statements the nonsense of which is not obvious.
Промпт — это ТЗ
Промпт — «любой текст, подаваемый на вход большой языковой модели, чтобы настроить её поведение определённым образом»Google for Developers, Machine Learning Glossary
Хороший промпт
Промпт растёт из проверок
Как дополнять
- Дописывать постановку, а не спорить с моделью в чате
- Маленькими шагами: сначала план, потом код по кускам
- Зашли в тупик — новая сессия с дополненным промптом
- Что помогло один раз — в файл правил проекта
Критерий приёмки = тест
Критерии приёмки — «критерии, которым должен удовлетворять рабочий продукт, чтобы заинтересованные стороны его приняли»ISTQB Glossary
- Требование без числа агент «выполняет» любым кодом
- Правило «наружу только утверждённое» без теста — тоже
- Каждое правило из промпта превращается в тест
Появился новый вид программирования, я называю его «вайб-кодинг»: полностью отдаёшься вайбу… и забываешь, что код вообще существует
There's a new kind of coding I call "vibe coding", where you fully give in to the vibes, embrace exponentials, and forget that the code even exists.
Ваша работа — сдавать код, работоспособность которого вы доказали
Your job is to deliver code you have proven to work.
← → листать · F на весь экран · P режим докладчика · Esc выйти
О чём лекция
До этого мы говорили о продукте и требованиях. Сегодня — об инструменте, которым вы будете пользоваться весь курс: о языковой модели. Без магии и без обзора продуктов: что модель делает, сколько это стоит и где на неё нельзя полагаться.
- Модель глазами инженера. Модель предсказывает следующий токен по тому, что лежит в контексте. Памяти между запросами у неё нет, знаний о вашем проекте — тоже, если вы их не дали. Токены, контекстное окно, задержка и недетерминированность как проектные ограничения.
- Три режима работы. Автодополнение, чат и агент. Чем они отличаются: кто держит контекст, какой горизонт у одного шага, кто и когда проверяет результат. Цикл агента и почему ему нужен внешний критерий остановки.
- Контекст как бюджет. Агент перечитывает всю историю на каждом шаге: на живом примере контекст вырос с 32 до 251 тысячи токенов. Что класть в контекст, что не класть, как работает кэш и чем платим за лишнее: токенами, задержкой и качеством.
- Где модель ошибается систематически. Устаревшие API, выдуманные пакеты, уверенный неверный ответ, согласие с пользователем. И главное — вопросы, которых модель не задаст: кто увидит эту страницу и какие данные туда нельзя.
- Промпт как постановка задачи. Контекст, задача, критерии приёмки, ограничения, формат результата — та же структура, что у функционального требования с прошлой лекции.
Сквозной пример — витрина проектов курса: публичная страница, где проекты команд представлены людям снаружи.
Что сделать сегодня
- Вспомнить последнюю задачу, которую вы решали с LLM, и записать, какой режим использовали и как проверяли результат.
- Переписать один свой недавний промпт по пяти полям: контекст, задача, критерии приёмки, ограничения, формат результата.
- Для своего RAT-PoC выписать, какие данные проекта нельзя отдавать модели и какие нельзя показывать наружу.