Как проверить AI coding навыки: сценарии, критерии и повторная оценка

Как проверить AI coding навыки: что измерять, какие сценарии дать, как читать score и перевести пробелы в 14 дней практики.

Проверить AI coding навыки — значит увидеть, как человек ставит задачу модели, отбирает контекст, отбраковывает слабый код, чинит по гипотезам и закрывает риск тестом. Список знакомых инструментов сам по себе мало что говорит. Ниже — каркас проверки и вход в оценку AI для разработчиков.

Что именно измерять в AI-coding

<p>Измеряйте рабочие решения, а не скорость печати. Навык складывается из постановки задачи, бюджета контекста, проверки результата, безопасной работы с данными и умения встроить AI в ревью, отладку и тесты.</p>

Ось навыкаСильный сигналСлабый сигнал
ПромптЦель, ограничения, критерий готовности«Напиши нормальный код»
КонтекстНужные фрагменты и образец стиляВесь репозиторий или пустой чат
ОтборОтвергает опасный/лишний diffКопирует всё подряд
ПроверкаТесты и краевые случаи«Выглядит ок»
БезопасностьНет секретов в промптеВставляет .env и PII
Разработчик проходит проверку рабочих сценариев AI-coding

Сценарии, на которых виден навык

Хорошая проверка даёт короткие рабочие ситуации. В SkillDeck направление разработки и кластер AI-coding опираются на такие сценарии, а не на викторину по названиям моделей.

  • Добавить функцию по образцу модуля с жёсткой сигнатурой.
  • Исправить падающий тест, не раздувая diff.
  • Разобрать стек: гипотезы сначала, патч после факта.
  • Провести первый проход ревью опасного PR.
  • Собрать регрессионные тесты на заявленный багфикс.
  • Отказать модели в небезопасном предложении и объяснить почему.

Для самостоятельной тренировки до оценки используйте те же оси на своём тикете: запишите промпт, число итераций, что отвергли, какие тесты прогнали. Сравнение «до/после шаблона» показывает рост быстрее, чем ощущения.

Самопроверка за один вечер

  1. <p>Выберите один тикет с понятным критерием готово.</p>
  2. <p>Напишите промпт по каркасу из <a href="/blog/prompty-dlya-koda">промптов для кода</a>.</p>
  3. <p>Ограничьте файлы и запреты явно.</p>
  4. <p>Примите или отклоните ответ с письменной причиной.</p>
  5. <p>Прогоните тесты и отметьте краевые случаи.</p>
  6. <p>Сделайте мини-ревью собственного diff чеклистом из <a href="/blog/ai-code-review">AI code review</a>.</p>

Как руководителю проверить команду

Соберите одинаковый набор сценариев для всех и смотрите распределение пробелов. Не сравнивайте «кто быстрее нагенерировал». Сравнивайте качество входа, долю опасных принятых патчей, наличие тестов и чистоту работы с данными.

АртефактНа что обратить вниманиеКакое решение принять по итогам
ПромптНасколько полно в нём прописан каркас задачиПополнить или обновить библиотеку шаблонов, чтобы не собирать каждый раз с нуля
Изменения в кодеОценить объём правок и их логическую связностьПридерживаться правила небольших PR — разбивать большие изменения на маленькие, понятные части
ТестыПроверить, не вызвали ли изменения регрессии, и оценить уровень рискаВнедрить практику написания и проверки тестов с помощью AI, чтобы быстрее ловить проблемы
РевьюОтделить полезные подсказки модели от лишнего шума, выделить главноеВыстроить ритуал совместной работы: AI помогает с анализом, человек принимает финальное решение

После среза назначьте практику на реальные модули: кому — отладка, кому — тесты, кому — промпты. Обзор слоёв — в AI для разработчиков, отладка — в отладке кода с AI, тесты — в AI для написания тестов.

Как читать score и gaps

Score показывает текущий уровень на сценариях. Gaps — где практика даст быстрый эффект. Выберите один-два пробела рядом с вашей работой: если горите на проде багами, начните с отладки и тестов; если ревью тормозит — с AI code review и малого diff.

План SkillDeck строится вокруг цикла: оценка, пробелы, практика до 14 дней, повторная оценка. Так видно, вырос ли навык решения, а не только комфорт в чате.

Ошибки при проверке навыка

  • Считать навыком знание названий моделей и тарифов.
  • Давать задачи без критерия готовности.
  • Оценивать только скорость первого черновика.
  • Игнорировать утечки данных в промптах.
  • Не возвращаться к повторной оценке после практики.

Рубрика оценки ответа на сценарий

Когда проверяете сами или коллегу, ставьте баллы по осям, а не по «ощущению сильного инженера». Пример рубрики на 10: промпт 0–2, контекст 0–2, отбор 0–2, проверка 0–2, безопасность 0–2. Ниже 6 — практика обязательна. 8–10 — можно менторить других.

Балл оси012
ПромптНет целиЦель есть, нет ограниченийПолный каркас
КонтекстПусто или весь репоФрагменты без образцаКонтракт + стиль
ОтборПринял всёПоправил косметикуОтсёк риск и лишнее
ПроверкаНе гонялТолько happy pathТесты + края
БезопасностьСекреты в чатеЧастично обезличилЧисто и по правилам

Что делать в первые 48 часов после score

Не расползайтесь на все gaps. Выберите один пробел, который бьёт по текущему риску продукта. Сформулируйте критерий роста на две недели: например, «каждый багфикс с AI идёт с repro и регрессионным тестом» или «каждый PR с AI имеет малый diff и секцию проверки».

  • Запишите выбранный gap и критерий роста в одном месте команды.
  • Привяжите практику к реальным тикетам спринта.
  • Раз в несколько дней делайте короткий разбор удачных/слабых промптов.
  • В конце цикла повторите оценку или самопроверку по той же рубрике.

Руководителю полезно держать общую таблицу: кто на каком gap, какой критерий, какой тикет-носитель практики. Так оценка не зависает как «разовый тест», а становится входом в цикл измерения, практики и повторной проверки.

Для найма и грейдов AI-coding лучше встраивать как одну ось рядом с базовым engineering: чтение кода, проектирование, качество PR. Кандидат, который быстро генерирует, но не умеет отвергнуть опасный diff, получает низкий балл по оси отбора — даже при красивом синтаксисе.

Внутри команды избегайте публичного стыда за низкий score. Оценка показывает пробел для практики. Публично полезнее разбирать обезличенные удачные промпты и безопасные отказы модели. Это ускоряет культуру проверки сильнее, чем рейтинг «кто круче в чате».

  1. Проведите срез по одной рубрике для всей команды.
  2. Сгруппируйте gaps: промпт, отладка, ревью, тесты, безопасность.
  3. Назначьте носителей практики на ближайший спринт.
  4. Через 14 дней повторите 2–3 сценария из той же оси.
  5. Обновите шаблоны промптов по результатам, а не по моде на инструменты.

Если после практики score не двигается, проверьте, не подменяете ли вы навык ритуалом: формальный шаблон без реальной проверки тестов. Вернитесь к артефактам — diff, тесты, причины отказа модели — и только потом снова к оценке.

Перейти к оценке и практике

Чтобы проверить AI coding навыки на рабочих сценариях SkillDeck, пройдите оценку AI для разработчиков. Карта направления — на странице разработки. После балла соберите короткий план практики и вернитесь к повторной оценке.

Самопроверка без внешнего наблюдателя работает, если вы заранее фиксируете рубрику и не двигаете критерии после ответа. Запишите баллы до того, как посмотрите эталонный разбор. Иначе легко завысить самооценку и пропустить слабый отбор.

Для распределённых команд удобны асинхронные сценарии: человек прикладывает промпт и diff, ревьюер ставит баллы по рубрике. Так проверка масштабируется без бесконечных созвонов и сохраняет артефакты для повторной оценки.

Свяжите результат оценки с онбордингом: новому инженеру в первую неделю дают эталонные промпты и один сценарий самопроверки. Это быстрее вводит в культуру команды, чем общая лекция про использование AI.

Зафиксируйте, какие артефакты считаются доказательством навыка: промпт, список отвергнутого, тест, заметка в PR. Без артефактов оценка превращается в разговор о впечатлениях. С артефактами легко сравнить рост через две недели практики на тех же осях рубрики.

Если команда большая, проведите калибровку оценщиков: два человека ставят баллы одному и тому же сценарию и сверяют расхождения. Так рубрика становится общей, а не вкусом одного лида.

Не сравнивайте людей по скорости первого черновика от модели. Сравнивайте по качеству критериев готовности, доле отвергнутого опасного кода и наличию регрессионных тестов. Иначе команда начнёт оптимизировать шум, а не навык.

После повторной оценки сравните не только итоговый балл, но и оси рубрики по отдельности. Часто общий score почти не двигается, а отладка или безопасность уже выросли. Такие сдвиги показывают, куда практика сработала, и куда нужен новый носитель тикетов.

Чек-лист проверки AI-coding

  1. <p>Зафиксируйте оси: промпт, контекст, отбор, проверка, безопасность.</p>
  2. <p>Подготовьте 4–6 коротких сценариев.</p>
  3. <p>Снимите самопроверку или командный срез.</p>
  4. <p>Пройдите <a href="/assessment/engineering">оценку AI для разработчиков</a>.</p>
  5. <p>Выберите 1–2 gaps под текущие риски продукта.</p>
  6. <p>Практикуйте на реальных тикетах с критерием готово.</p>
  7. <p>Повторите оценку и сравните качество решений.</p>

Итог: как проверить AI coding навыки — через сценарии и критерии, а не через список инструментов. Измерьте решения, закройте пробелы практикой и снова проверьте рост на оценке AI для разработчиков.

Частые вопросы

Чем проверка AI-coding отличается от обычного coding interview?

Добавляются постановка задачи модели, отбор контекста, отказ от опасного ответа и проверка с тестами. Чистый алгоритм без работы с AI не показывает этот слой навыка.

Можно ли проверить навык без доступа к платной модели?

Да, на доступном инструменте команды. Смотрите качество каркаса запроса и проверки результата. Оценка SkillDeck использует единые сценарии, чтобы сравнивать решения, а не бренды моделей.

Сколько времени занимает осмысленная проверка?

Самопроверка по одному тикету — вечер. Командный срез — набор коротких сценариев. Полный цикл с практикой и повторной оценкой — дни, не месяцы ожидания «когда-нибудь обучимся».

Что важнее для джуна: скорость генерации или отбор?

Отбор и проверка. Скорость без критерия готовности размножает долг. Ментор смотрит, что джун отверг и какие тесты прогнал.

Нужно ли включать безопасность данных в проверку?

Обязательно. Утечка секретов и PII в промпт — красный сигнал навыка, даже если код «собрался».

Куда идти сразу после чтения статьи?

На оценку AI для разработчиков, затем в практику по gaps. Карта навыков — на странице разработки.

Пройти бесплатную оценку