Как проверить AI coding навыки: сценарии, критерии и повторная оценка
Как проверить AI coding навыки: что измерять, какие сценарии дать, как читать score и перевести пробелы в 14 дней практики.
Проверить AI coding навыки — значит увидеть, как человек ставит задачу модели, отбирает контекст, отбраковывает слабый код, чинит по гипотезам и закрывает риск тестом. Список знакомых инструментов сам по себе мало что говорит. Ниже — каркас проверки и вход в оценку AI для разработчиков.
Что именно измерять в AI-coding
<p>Измеряйте рабочие решения, а не скорость печати. Навык складывается из постановки задачи, бюджета контекста, проверки результата, безопасной работы с данными и умения встроить AI в ревью, отладку и тесты.</p>
| Ось навыка | Сильный сигнал | Слабый сигнал |
|---|---|---|
| Промпт | Цель, ограничения, критерий готовности | «Напиши нормальный код» |
| Контекст | Нужные фрагменты и образец стиля | Весь репозиторий или пустой чат |
| Отбор | Отвергает опасный/лишний diff | Копирует всё подряд |
| Проверка | Тесты и краевые случаи | «Выглядит ок» |
| Безопасность | Нет секретов в промпте | Вставляет .env и PII |
Сценарии, на которых виден навык
Хорошая проверка даёт короткие рабочие ситуации. В SkillDeck направление разработки и кластер AI-coding опираются на такие сценарии, а не на викторину по названиям моделей.
- Добавить функцию по образцу модуля с жёсткой сигнатурой.
- Исправить падающий тест, не раздувая diff.
- Разобрать стек: гипотезы сначала, патч после факта.
- Провести первый проход ревью опасного PR.
- Собрать регрессионные тесты на заявленный багфикс.
- Отказать модели в небезопасном предложении и объяснить почему.
Для самостоятельной тренировки до оценки используйте те же оси на своём тикете: запишите промпт, число итераций, что отвергли, какие тесты прогнали. Сравнение «до/после шаблона» показывает рост быстрее, чем ощущения.
Самопроверка за один вечер
- <p>Выберите один тикет с понятным критерием готово.</p>
- <p>Напишите промпт по каркасу из <a href="/blog/prompty-dlya-koda">промптов для кода</a>.</p>
- <p>Ограничьте файлы и запреты явно.</p>
- <p>Примите или отклоните ответ с письменной причиной.</p>
- <p>Прогоните тесты и отметьте краевые случаи.</p>
- <p>Сделайте мини-ревью собственного diff чеклистом из <a href="/blog/ai-code-review">AI code review</a>.</p>
Как руководителю проверить команду
Соберите одинаковый набор сценариев для всех и смотрите распределение пробелов. Не сравнивайте «кто быстрее нагенерировал». Сравнивайте качество входа, долю опасных принятых патчей, наличие тестов и чистоту работы с данными.
| Артефакт | На что обратить внимание | Какое решение принять по итогам |
|---|---|---|
| Промпт | Насколько полно в нём прописан каркас задачи | Пополнить или обновить библиотеку шаблонов, чтобы не собирать каждый раз с нуля |
| Изменения в коде | Оценить объём правок и их логическую связность | Придерживаться правила небольших PR — разбивать большие изменения на маленькие, понятные части |
| Тесты | Проверить, не вызвали ли изменения регрессии, и оценить уровень риска | Внедрить практику написания и проверки тестов с помощью AI, чтобы быстрее ловить проблемы |
| Ревью | Отделить полезные подсказки модели от лишнего шума, выделить главное | Выстроить ритуал совместной работы: AI помогает с анализом, человек принимает финальное решение |
После среза назначьте практику на реальные модули: кому — отладка, кому — тесты, кому — промпты. Обзор слоёв — в AI для разработчиков, отладка — в отладке кода с AI, тесты — в AI для написания тестов.
Как читать score и gaps
Score показывает текущий уровень на сценариях. Gaps — где практика даст быстрый эффект. Выберите один-два пробела рядом с вашей работой: если горите на проде багами, начните с отладки и тестов; если ревью тормозит — с AI code review и малого diff.
План SkillDeck строится вокруг цикла: оценка, пробелы, практика до 14 дней, повторная оценка. Так видно, вырос ли навык решения, а не только комфорт в чате.
Ошибки при проверке навыка
- Считать навыком знание названий моделей и тарифов.
- Давать задачи без критерия готовности.
- Оценивать только скорость первого черновика.
- Игнорировать утечки данных в промптах.
- Не возвращаться к повторной оценке после практики.
Рубрика оценки ответа на сценарий
Когда проверяете сами или коллегу, ставьте баллы по осям, а не по «ощущению сильного инженера». Пример рубрики на 10: промпт 0–2, контекст 0–2, отбор 0–2, проверка 0–2, безопасность 0–2. Ниже 6 — практика обязательна. 8–10 — можно менторить других.
| Балл оси | 0 | 1 | 2 |
|---|---|---|---|
| Промпт | Нет цели | Цель есть, нет ограничений | Полный каркас |
| Контекст | Пусто или весь репо | Фрагменты без образца | Контракт + стиль |
| Отбор | Принял всё | Поправил косметику | Отсёк риск и лишнее |
| Проверка | Не гонял | Только happy path | Тесты + края |
| Безопасность | Секреты в чате | Частично обезличил | Чисто и по правилам |
Что делать в первые 48 часов после score
Не расползайтесь на все gaps. Выберите один пробел, который бьёт по текущему риску продукта. Сформулируйте критерий роста на две недели: например, «каждый багфикс с AI идёт с repro и регрессионным тестом» или «каждый PR с AI имеет малый diff и секцию проверки».
- Запишите выбранный gap и критерий роста в одном месте команды.
- Привяжите практику к реальным тикетам спринта.
- Раз в несколько дней делайте короткий разбор удачных/слабых промптов.
- В конце цикла повторите оценку или самопроверку по той же рубрике.
Руководителю полезно держать общую таблицу: кто на каком gap, какой критерий, какой тикет-носитель практики. Так оценка не зависает как «разовый тест», а становится входом в цикл измерения, практики и повторной проверки.
Для найма и грейдов AI-coding лучше встраивать как одну ось рядом с базовым engineering: чтение кода, проектирование, качество PR. Кандидат, который быстро генерирует, но не умеет отвергнуть опасный diff, получает низкий балл по оси отбора — даже при красивом синтаксисе.
Внутри команды избегайте публичного стыда за низкий score. Оценка показывает пробел для практики. Публично полезнее разбирать обезличенные удачные промпты и безопасные отказы модели. Это ускоряет культуру проверки сильнее, чем рейтинг «кто круче в чате».
- Проведите срез по одной рубрике для всей команды.
- Сгруппируйте gaps: промпт, отладка, ревью, тесты, безопасность.
- Назначьте носителей практики на ближайший спринт.
- Через 14 дней повторите 2–3 сценария из той же оси.
- Обновите шаблоны промптов по результатам, а не по моде на инструменты.
Если после практики score не двигается, проверьте, не подменяете ли вы навык ритуалом: формальный шаблон без реальной проверки тестов. Вернитесь к артефактам — diff, тесты, причины отказа модели — и только потом снова к оценке.
Перейти к оценке и практике
Чтобы проверить AI coding навыки на рабочих сценариях SkillDeck, пройдите оценку AI для разработчиков. Карта направления — на странице разработки. После балла соберите короткий план практики и вернитесь к повторной оценке.
Самопроверка без внешнего наблюдателя работает, если вы заранее фиксируете рубрику и не двигаете критерии после ответа. Запишите баллы до того, как посмотрите эталонный разбор. Иначе легко завысить самооценку и пропустить слабый отбор.
Для распределённых команд удобны асинхронные сценарии: человек прикладывает промпт и diff, ревьюер ставит баллы по рубрике. Так проверка масштабируется без бесконечных созвонов и сохраняет артефакты для повторной оценки.
Свяжите результат оценки с онбордингом: новому инженеру в первую неделю дают эталонные промпты и один сценарий самопроверки. Это быстрее вводит в культуру команды, чем общая лекция про использование AI.
Зафиксируйте, какие артефакты считаются доказательством навыка: промпт, список отвергнутого, тест, заметка в PR. Без артефактов оценка превращается в разговор о впечатлениях. С артефактами легко сравнить рост через две недели практики на тех же осях рубрики.
Если команда большая, проведите калибровку оценщиков: два человека ставят баллы одному и тому же сценарию и сверяют расхождения. Так рубрика становится общей, а не вкусом одного лида.
Не сравнивайте людей по скорости первого черновика от модели. Сравнивайте по качеству критериев готовности, доле отвергнутого опасного кода и наличию регрессионных тестов. Иначе команда начнёт оптимизировать шум, а не навык.
После повторной оценки сравните не только итоговый балл, но и оси рубрики по отдельности. Часто общий score почти не двигается, а отладка или безопасность уже выросли. Такие сдвиги показывают, куда практика сработала, и куда нужен новый носитель тикетов.
Чек-лист проверки AI-coding
- <p>Зафиксируйте оси: промпт, контекст, отбор, проверка, безопасность.</p>
- <p>Подготовьте 4–6 коротких сценариев.</p>
- <p>Снимите самопроверку или командный срез.</p>
- <p>Пройдите <a href="/assessment/engineering">оценку AI для разработчиков</a>.</p>
- <p>Выберите 1–2 gaps под текущие риски продукта.</p>
- <p>Практикуйте на реальных тикетах с критерием готово.</p>
- <p>Повторите оценку и сравните качество решений.</p>
Итог: как проверить AI coding навыки — через сценарии и критерии, а не через список инструментов. Измерьте решения, закройте пробелы практикой и снова проверьте рост на оценке AI для разработчиков.
Частые вопросы
Чем проверка AI-coding отличается от обычного coding interview?
Добавляются постановка задачи модели, отбор контекста, отказ от опасного ответа и проверка с тестами. Чистый алгоритм без работы с AI не показывает этот слой навыка.
Можно ли проверить навык без доступа к платной модели?
Да, на доступном инструменте команды. Смотрите качество каркаса запроса и проверки результата. Оценка SkillDeck использует единые сценарии, чтобы сравнивать решения, а не бренды моделей.
Сколько времени занимает осмысленная проверка?
Самопроверка по одному тикету — вечер. Командный срез — набор коротких сценариев. Полный цикл с практикой и повторной оценкой — дни, не месяцы ожидания «когда-нибудь обучимся».
Что важнее для джуна: скорость генерации или отбор?
Отбор и проверка. Скорость без критерия готовности размножает долг. Ментор смотрит, что джун отверг и какие тесты прогнал.
Нужно ли включать безопасность данных в проверку?
Обязательно. Утечка секретов и PII в промпт — красный сигнал навыка, даже если код «собрался».
Куда идти сразу после чтения статьи?
На оценку AI для разработчиков, затем в практику по gaps. Карта навыков — на странице разработки.