Стихи, модель личности, системный промпт

У твоего AI агента есть системный промпт. Это несколько абзацев текста, которые ты задаешь в настройках. Обычно там написано, как ИИ должен вести себя конкретно с тобой. Что делать, чего не делать, что для тебя важно, что учитывать в работе - и так далее.

Этот промпт учитывается при каждом запросе. Даже если ты пишешь «привет, как дела?» - вместе с этим запросом модель получает весь системный промпт. Каждый раз.

Но это не пост про то, как настроить своего агента. Это пост про тебя. И про меня.

У твоего личного - «не_искусственного» - интеллекта тоже есть системный промпт. И тоже есть обученная модель. И там тоже миллиарды параметров.

Вся моя жизнь - обучение с подкреплением. Посмотрел фильм, прочитал книгу - веса модели немного сдвинулись. Поговорил с кем-то - модель дообучилась. Любой фидбэк от вселенной слегка меняет веса модели. Не все. И, как правило, не очень сильно.

Как и в случае с большими языковыми моделями - я не могу прочитать всю свою модель и полностью осознать, как она работает. Это свойство эмерджентных систем.

В детстве модель небольшая и имеет дефолтные веса. Обучение происходит молниеносно. Любой инпут может поменять половину всех весов. Здравствуйте, детские травмы - вам сюда.

С возрастом модель становится больше. Цена дообучения растет. Чтобы серьезно что-то поменять, нужно или очень много времени или очень сильное воздействие. Сильное воздействие на коротком отрезке времени мы обычно называем «кризис».

Кто обучает твою/мою модель?

Любые сигналы растворяются в весах твоего латентного пространства. Весь культурный фон вокруг. Все сериалы, которые мы смотрим. Все ролики на youtube. Вся музыка. Все стихи.

Кстати о стихах.

Для языковой модели - стихи очень важная модальность. Стихи работают не только со смысловым полем, но и с самой структурой модели. Об этом хорошо сказал Бродский (нобелевская речь 1987):

«порой с помощью одного слова, одной рифмы пишущему стихотворение удается оказаться там, где до него никто не бывал,- и дальше, может быть, чем он сам бы желал».

«стихотворение - колоссальный ускоритель сознания, мышления, мироощущения.»

К тому же стихи - древнейшая технология памяти: размер и рифма это избыточность + ограничение. Через них в стихи встроен код коррекции ошибок. Не случайно дописьменные культуры хранили законы, родословные и космологию в стихах, чтобы при передаче текст мог сам себя чинить.

Этим пользуется не только Бродский, Данте или Киплинг. У меня в голове навсегда засели рекламные рифмы и ритмы. «Коля любит Мамбу…», «Праздник к нам приходит...» ...и навсегда поселяется в весах нашей модели. «Всё так - и это...» ...примеры отличного хака системы дообучения.

И нет, ты не можешь это стереть. Из модели вообще ничего нельзя стереть - можно только понизить вес отдельных элементов. Но они всё равно там. И ты это знаешь.

И да, вес отдельных параметров можно повысить. Именно поэтому для калибровки весов я иногда пересматриваю важные фильмы или перечитываю важные книги. Мне важно, чтобы они продолжали иметь вес в моеё модели.

А что же системный промпт?

Это не модель. Это четкие инструкции, которые работают всегда. И их не может быть много. Техническое ограничение.

Любое прочитанное стихотворение тонет в весах. А те несколько, что ты выучил наизусть, повышены в ранге до системного промпта: единственный текст, который подгружается всегда, а не достаётся из ненадежной памяти по запросу.

Для этого я учу стихи наизусть. Совсем немного. Технические ограничения всё же. Но я слежу, чтобы самое важное оставалось в моем персональном системном промпте. Потому что это влияет на всё остальное, даже если в модели какие-то веса начали протухать.

ИИ не может сам переписать свой system prompt. Он может его прочитать, может обсудить с тобой. Но исправить сам - без тебя не может. А ты можешь. В этом отличие. В этом твоя сила.

Что в твоем систем промпте?