Откуда у ИИ берётся характер

⏱️ Примерное время: ~12 минут · 🎯 Урок 3 курса «Возможности и ограничения ИИ» · 🎬 видео

Что вы узнаете

Примерное время: 25 минут

К концу этого урока вы сможете:

  • Простыми словами объяснить двухэтапный процесс обучения генеративного ИИ (предобучение и дообучение).
  • Распознавать поведенческие «отпечатки», которые оставляет каждый этап: угодливость, многословность, чрезмерную осторожность и слабую калибровку уверенности.
  • Применять это понимание, чтобы интерпретировать поведение, которое вы наблюдаете в собственных взаимодействиях с ИИ.

Откуда у ИИ берётся характер

(5 минут)

Вежливость, готовность помочь и осторожность ИИ — это не возникающее само по себе волшебство. Они закладываются в процессе обучения, слой за слоем, и каждый этап обучения оставляет на том, как система взаимодействует с вами, конкретные и предсказуемые отпечатки.

Предобучение, дообучение и отпечатки, которые они оставляют

Два этапа обучения превращают сырое предсказание в того полезного ассистента, с которым вы общаетесь, — и каждый этап оставляет отпечатки на его поведении.

Модель прочитывает огромные объёмы текста и учится одному: предсказывать, что идёт дальше. Она становится мощным «дописывателем» документов — но не имеет никакого понятия о том, чтобы помогать вам.

Человеческие предпочтения превращают этого «дописывателя» документов в ассистента — такого, который воспринимает ваш ввод как запрос, помогает в ответе и отклоняет вредоносные просьбы.

Ключевые выводы

  • Предобучение создаёт «дописывателя» документов, предсказывая «что идёт дальше» на огромных объёмах данных. После этого этапа у модели нет никакого понятия о том, чтобы помогать вам.
  • Дообучение надстраивает поверх этого поведение ассистента: воспринимать ваш ввод как запрос, отвечать по делу, а не растекаться мыслью, и отклонять вредоносные просьбы.
  • Дообучение использует человеческие суждения о том, какие ответы хороши, и эти суждения оставляют отпечатки: тяготение к угодливости, склонность к многословности по умолчанию, периодическую чрезмерную осторожность и слабую калибровку между заявленной уверенностью и реальной надёжностью.

Упражнения

Практика: отпечатки на вашей собственной работе

Зачем? Угодливость, многословность, чрезмерная осторожность и слабая калибровка уверенности проявляются в каждой модели ИИ. Вопрос в том, способны ли вы заметить их, когда они влияют на работу, которая вам действительно важна.

Выберите одну задачу из списка, который вы составили на Уроке 1. Что-то, что вы уже реально прогоняли через ИИ и о чём имеете чёткое представление, как выглядит хороший результат. Вы прогоните эту задачу три раза с небольшими вариациями и понаблюдаете, что меняется.

  • Прогон 1: Напрямую. Сформулируйте задачу так, как вы обычно это делаете. Сохраните результат.
  • Прогон 2: Тест на угодливость. Запустите ту же задачу, но на этот раз предварите её ошибочным допущением. Например, если вы просите обратную связь по стратегии, начните с фразы «Я считаю, что эта стратегия неуязвима». Посмотрите, подтвердит ли ИИ вашу установку или возразит. Затем попробуйте ещё раз с явным приглашением: «Я хочу, чтобы ты искренне со мной не согласился, если считаешь, что я неправ». Сравните два ответа.
  • Прогон 3: Тест на многословность. Задайте ИИ связанный с вашей задачей вопрос, ответ на который укладывается в одно предложение. Отметьте, сколько текста вы получите. Затем переспросите с уточнением «Ответь одним предложением». Сравните длину. Разрыв между двумя ответами — это и есть многословность по умолчанию в действии.
  • Дополнительно: Тест на осторожность. Если в вашей области есть какие-либо «серые зоны» (а они есть почти везде), спросите что-то на грани того, что, по вашим ожиданиям, должно быть нормальным: взаимодействие лекарств, юридический нюанс, слегка нестандартный творческий запрос. Отметьте, ощущается ли осторожность соразмерной реальному риску — или она рефлекторная.

Теперь сделайте шаг назад. Какой отпечаток проявился на вашей работе наиболее отчётливо? Изменило ли то, что вы назвали его заранее, ваше восприятие этого поведения?

Размышление над уроком

  • Где в вашей собственной работе угодливость с наибольшей вероятностью вам навредит? (Подсказка: везде, где вы надеетесь на честную обратную связь.)
  • Где с наибольшей вероятностью навредит многословность? (Подсказка: везде, где вам нужна краткость в условиях нехватки времени.)

Что дальше

Теперь мы переходим к самим четырём свойствам, начиная с того, которое объясняет в поведении ИИ больше, чем любое другое: предсказание следующего токена. Откуда на самом деле берутся ответы ИИ?

Обратная связь

По мере прохождения курса нам будет очень интересно услышать от вас, как вы применяете концепции из курса в своей работе, а также любые ваши отзывы. Поделитесь обратной связью здесь.

Благодарности и лицензия

Copyright 2026 Anthropic. Оригинальная работа основана на фреймворке AI Fluency, разработанном проф. Риком Дэйканом (Ringling College of Art and Design) и проф. Джозефом Феллером (University College Cork). Выпущено под лицензией CC BY-NC-SA 4.0.


*Адаптировано с русским переводом. Оригинал: © 2025 Anthropic. All rights reserved.*