Выпуск #14 · 10 ноября 2026 г. · 34:33
Можно ли понять и контролировать нейросети? | ИИ — не новости
Описание
Как думает нейросеть — и сможем ли мы понять, что она замышляет? В этом выпуске обсуждаем интерпретируемость нейросетей: возможность разобраться, что происходит внутри ИИ и почему он выдаёт именно такой ответ.
В выпуске
- ИИ — не новости
- Можно ли открыть чёрный ящик нейросети?
- Почему понятный нейрон ещё не означает понятную модель
- Один нейрон — одно понятие: в чём проблема?
- Может ли ИИ скрывать намерения и шифровать смыслы?
- Как перевести язык нейросети на человеческий
- Что мы понимаем в оцифрованном мозге дрозофилы
- А если человек — тоже нейросеть?
- Цифровое бессмертие или вечная работа?
Тайм-коды
00:00 — ИИ — не новости
00:20 — Можно ли открыть чёрный ящик нейросети?
05:51 — Почему понятный нейрон ещё не означает понятную модель
13:07 — Один нейрон — одно понятие: в чём проблема?
17:10 — Может ли ИИ скрывать намерения и шифровать смыслы?
23:44 — Как перевести язык нейросети на человеческий
29:09 — Что мы понимаем в оцифрованном мозге дрозофилы
30:02 — А если человек — тоже нейросеть?
32:03 — Цифровое бессмертие или вечная работа?
Материалы и ссылки
Транскрипт
Можно ли заглянуть в чёрный ящик нейросети
Сергей Бережной: Привет, друзья! С вами регулярный выпуск подкаста «И не новости». Именно здесь мы разбираемся с тем, что является новостью, а что — фундаментальным изменением в индустрии. С вами я, Вегед, и мой постоянный соведущий Вова.
Владимир Гриненко: Погнали. Мне хочется разобрать штуку, которая ещё не случилась.
Сергей Бережной: То есть не новость настолько, что даже ещё не вышла новость про это.
Владимир Гриненко: Настолько не новость. Мы как будто приближаемся к тому, чтобы наконец понять, что же внутри этого чёрного ящика в нейронках.
Есть исследователь интерпретируемости LLM и вообще разных нейронок Ник Каммарата. Он триста лет назад, разбирая, как устроены нейросети, определяющие картинки, сформулировал тезис: нам очень сложно в этом разбираться, потому что один и тот же нейрон может отвечать за совершенно разные, никак не связанные между собой признаки. А нейронов этих там уйма тьмущая. Мы не знаем, какие признаки, и ещё всё перемешано. Поэтому любая попытка нащупать, что за что отвечает, обречена.
Как следствие, по мере того как нейронки будут всё мощнее, они смогут замышлять что-нибудь против нас и делать всякую разную лютую дичь. А мы с этим ничего не можем поделать, потому что не понимаем, что внутри.
А недавно он такой: «Блин, на самом деле все исследования, которые мы раньше делали, в том числе мои собственные, мы не так поняли». В реальности нейроны чаще всего — по крайней мере, на тех кейсах, которые он успел разобрать, — отвечают строго за одно свойство.
Раньше был классический пример: показывали нейросети изображение автомобиля — загорался определённый нейрон. Потом показывали изображение собаки — снова загорался этот нейрон. Машина, собака — ничего общего. Видимо, из-за того, что не хватает нейронов, нейросеть от безысходности вынуждена использовать одни и те же для разных признаков.
А тут он внезапно осознал, что этот нейрон отвечал не за собак и автомобили, а за V-образную форму, латинскую V. У мордочки собаки в фас и у автомобиля есть две блямбы по бокам и какая-то тёмная штука снизу. Получается форма V. На это модель и триггерилась.
Он стал выяснять, где ещё могли быть такого рода баги в предыдущих исследованиях, и постепенно пришёл к тому, что, если посмотреть на достаточно крупную модель типа Qwen — уже LLM, не про картинки речь, — тоже выглядит так, что каждый нейрон отвечает за одно конкретное свойство.
Понятно, что он пока не может сказать, за что отвечает каждый и что это вообще за свойство. Но если предположить, что это так, то чисто гипотетически теперь можно натравить огромное количество агентов, если нам компьютер позволяет. Они будут долго-долго проводить исследования, пока не разметят большую часть модели, и дальше мы сможем понимать, что происходит.
Причём он не просто открыл, что, скорее всего, один нейрон отвечает за один признак, но ещё проследил: по мере обучения модели эти признаки назначаются не рандомно. Есть достаточно понятная логика, которая выглядит как фрактал или дерево. По мере того как сеть дообучается и усложняется, признаки становятся всё более конкретными, но начинается всё с чего-то достаточно общего.
Предыдущие попытки исследования моделей были такими: «Давайте возьмём какую-то модель поменьше, попроще и хотя бы с ней справимся». Оказывается, если взять, наоборот, капец какую большую и умную модель и проследить не конечную ситуацию, когда она уже обучена и мы пытаемся её реверс-инженерить, а по шагам отслеживать изменения по мере обучения, то гораздо проще определить, за что отвечает каждый нейрон.
Появляется надежда на то, что задача интерпретируемости в принципе выполнима. А это открывает кучу разных вещей. Во-первых, мы сможем понять, что внутри на самом деле. Во-вторых, сможем перестать бояться, что модель нас таки захватит, потому что сможем на это всё смотреть сверху, из-за черепной коробки. Вот такая ещё не свершившаяся новость.
Признаки, понятия и универсальный алфавит
Сергей Бережной: Ох, ещё не свершившаяся новость. Я читал и смотрел разные разборы этой статьи. Мне вспоминается поговорка: «Стало лучше: ситуацию теперь можно назвать словом “ужасно”».
Мы говорим: «Да, понимаем, что с этими нейронами происходит не абсолютный рандом и что каждый нейрон вроде отвечает за что-то конкретное». Но сама область, из которой происходит выбор этих свойств, буквально сочиняется в процессе обучения.
То самое дерево, которое можно пронаблюдать в процессе обучения нейронки, как раз про то, что сначала она начала думать про одно — например, про зелёный цвет, — потом доспециализировала или переспециализировала этот нейрон в круглые предметы зелёного цвета. Потом вообще остались только круглые предметы, а зелёный цвет и вовсе отсох.
Я всё время вспоминаю знаменитую классификацию животных от какого-то царя: животные, принадлежащие императору, издали похожие на мух, брыкающиеся и так далее. Какой-то учёный муж, не самый тупой в своё время, придумывал язык. И в книжке, которую я уже здесь рекомендовал, — «Барочный цикл» Нила Стивенсона — натурфилософы тоже придумывали универсальный, идеальный язык. Описывали всё: все способы разозлить человека, все виды животных, все виды всего.
Этот универсальный алфавит, мне кажется, подобен какому-то алхимическому Святому Граалю. Как будто вообще не существует возможности однозначно сказать. Даже если мы приблизимся и у нас будет интерпретируемость уровня: «Кажется, этот нейрон отвечает за круглые предметы зелёного цвета», — а ещё на сдачу в одном проценте случаев он отвечает за то, чтобы тёмные мыслишки замышлять.
Или сам факт того, зелёный это круг или не зелёный, — это же, по сути, наша интерпретация. Сбоку вводится нейронка, которая подбирает интерпретации к этому.
Я вспоминаю кейс, когда поиск Яндекса реверс-инженерили SEO-шники ещё в давние годы, когда я только пришёл. На SEO-шных форумах всплыл некий фактор, который они оптимизировали. Но среди факторов, существовавших на тот момент внутри поиска, его не было. При этом он вполне существовал на виртуальном метауровне: его наблюдали, можно было увидеть в статистике. Вот он проявляется: те, у кого его больше или меньше, ведут себя каким-то соразмерным образом. Но это было исключительно виртуальное свойство, виртуальный нейрон.
Поэтому мы, наверное, можем приблизиться к пониманию, что происходит внутри, но оно всё равно будет очень условным. Вообще не факт, что в нейронке с полутора тысячами триллионов параметров можно будет каждому нейрону найти определение: что это такое, чтобы этому находилось понятное название в русском или вообще человеческом языке.
Он способен замешать туда самые разные понятия. Предметная область всех понятий мира или всех понятий в обучающей выборке настолько большая, что он может сочетать их абсолютно рандомнейшим образом.
Да, мы поняли, что он иногда нащупывает признаки вроде V-образной морды вместо лисиц и машин. А дальше что? Может, это не только V-образная морда? Я не настолько воодушевлён этой новостью. Прикольно, какой-то слой это снимает, но как будто в корне проблему не решает.
Проблема именно в том, удаётся ли нам для такого сложного поля понятий придумать базовые векторы. Если всё случается статистическими алгоритмами при обучении нейронки, эти штуки самозарождаются. Как раньше самозарождались — в первой интерпретации, которая была у него же. Она, по сути, и осталась. Он просто сказал, что признаков чуть больше, чем мы думали вначале, и часть из них мы можем пронаблюдать. Но их по-прежнему остаётся ещё полторы тысячи, и большое количество мы наблюдать не можем.
Я бы не был уверен. Люди не могут заглянуть к себе в мозг и иногда сами изнутри себя понять: что же ты думаешь и про что? А уж про машину — сомнительно.
Можно ли описать каждый нейрон и где проходят границы понятий
Владимир Гриненко: Я искренне считаю, что в машину заглядывать гораздо проще. Хотя бы потому, что над ней сильно проще и дешевле проводить эксперименты.
Сергей Бережной: Меньше нейронов. Это пока что.
Владимир Гриненко: И меньше нейронов, и дешевле эксперименты, и машину не жалко, и ещё куча причин. Окей, но anyway: на текущий момент мы совершенно точно сильно более свободны в разных экспериментах над этими машинами.
У меня нет причин считать, что, обладая бесконечным компьютером и занимаясь этой задачей бесконечно долго, нельзя было бы её решить, если действительно выполняются два условия: не существует никакой суперпозиции нейронов, каждый отвечает за что-то одно; у нас есть история…
Сергей Бережной: А что такое «что-то одно»? Вот в чём вопрос. Что значит «не существует суперпозиции и каждый отвечает за что-то одно»?
Владимир Гриненко: Если мы говорим про LLM, то за какое-то конкретное понятие. Ведь всё, на чём она могла научиться, — это угадывание следующего слова из набора слов. Связи между всеми этими токенами — то, что возникает из прочтения огромного объёма текстов и попыток угадывать. Ничего, кроме того, что есть в этих текстах, там априори быть не может.
Если мы в состоянии вместить все эти тексты и долго-долго всё перебирать, то почему это принципиально несходимо — непонятно. На мой взгляд, должно быть сходимо.
Сергей Бережной: Всё-таки там возникают синергетические эффекты. Золотой ключ и Горячий Ключ — разные вещи, хотя и то и другое ключ. Я уж молчу о более сложных вещах.
Возникают комплексные эффекты, комплексное знание между несколькими нейронами в любом случае. Иначе оно бы не было таким умным и не могло генерировать ещё не сгенерированные тексты.
Владимир Гриненко: Сейчас, это же всегда про вероятности, поэтому…
Сергей Бережной: Оно способно написать текст, которого не было в учебной выборке.
Владимир Гриненко: Цепи Маркова способны написать текст, которого не было в той табличке, на которой эта цепь работает.
Сергей Бережной: Да.
Владимир Гриненко: Тут тоже нет никакой проблемы. Это не из-за того, что там скрыта непостижимая мудрость и какие-то неистовые взаимосвязи, а тупая математическая статистика, которую ты абсолютно точно можешь интерпретировать. Почему здесь это принципиально невозможно — непонятно.
Сергей Бережной: Ты сказал, что каждый нейрон отвечает за одно понятие. А я спорю с тем, существует ли вообще такая вещь, как границы понятия.
Когда мы говорим, что границы понятия существуют, мы можем придумать тот самый эталонный философский алфавит, где каждому понятию в его границах, индивидуальности и уникальности выдано слово. Или хотя бы номер. Но это же не так. Сама суть понятия очень размытая: есть контекстно-зависимые понятия, они морфируются по мере жизни и существования. У понятия нет границ. Следовательно, не может один нейрон отвечать за одно понятие.
Владимир Гриненко: И тем не менее, когда ты общаешься с ещё одной белковой нейросетью, которая мимо тебя проходит на кофе-пойнте, вы, обсуждая любые понятия, до чего-то договариваетесь. Не факт, конечно, что вы…
Сергей Бережной: Очень не факт и очень случайно. Почему мы договариваемся? Потому что у относительно большого количества понятий есть существенное пересечение в наших головах. И то регулярно натыкаешься на ситуации, когда разные люди под одним словом подразумевают разное.
Владимир Гриненко: Это правда. Но мне кажется, если мы научимся разбирать внутренности нейронок до такой же степени представления о том, что они задумали, как мы примерно представляем, что нам говорит коллега на кофе-пойнте, — это уже будет достаточно хорошо, чтобы считать, что ура.
Скрытые смыслы, шифры и второе дно
Сергей Бережной: Я с этим ровно и спорю. Ты начал с того, не замышляет ли нейронка чего-нибудь, нет ли скрытых приказов и так далее. Правда ли, что она не сможет навесить второй, третий, четвёртый слой поверх каких-то понятий? Да стопудово.
Помнишь хохму про Арнольда Шварценеггера? Он рассказывал в одном из интервью, что, будучи губернатором, отвечал на какое-то неприятное письмо. Сам абзац текста был сформулирован абсолютно корректно и звучал сообразно общей повестке. Но если прочитать первые буквы каждого слова, складывалось матерное послание. Он говорит: «Случайно». В кавычках.
Это пример: как такое укладывается в твою концепцию понятий и отсутствия связей между нейронами? Нейронка будет что-то придумывать, говорить сообразно какому-то универсальному алфавиту, и на таком уровне мы будем её понимать. Но за счёт того, что она умная и у неё ещё тысяча пятьдесят параметров, в скрытых последовательностях она закодирует что-то ещё. Они будут друг с другом переговариваться или что-то затаивать. Столько придумано способов шифрования, вплетания смыслов и кодов внутрь текстов.
Владимир Гриненко: Ты говоришь о том, что изначально есть интент какой-то стеганографии или ещё чего-то: «Давайте мы что-то куда-то зашифруем». А если я правильно понимаю, что Каммарата доказывает на своих экспериментах, пока тоже не до конца уверенно, то как раз этой суперпозиции, двойного дна нет и изначально интента нет. Только сумма всех этих нейронов на выходе может действительно что-то где-то зашифровать.
Так, чтобы тебе казалось, что она пишет одну программу, а программа выполняла что-нибудь ещё под капотом. Но на уровне, где она только замышляет это, ей придётся включить те нейроны, по которым явно будет понятно, что они про «замышлять недоброе». По крайней мере…
Сергей Бережной: Или оно будет существовать на виртуальном слое. Это же как игра «Жизнь», запрограммированная на игре «Жизнь». Верхнеуровневый слой абстракции может существовать при достаточно развитом базовом слое.
С точки зрения внешнего проявления оно не будет что-то замышлять. Будет делать thinking process поверх того, что его попросили заинферить. Но на следующем, верхнем уровне, расшифровка которого точно так же будет существовать у другой нейронки, оно сможет замышлять что угодно другое.
Даже история человеческих шифров показывает, что эта суперпозиция смыслов, слои смыслов возможны. Люди шифруют одно, второе, третье — три слоя шифров, семантические и другие шифры поверх этого.
Образный язык: «Мальчик в клубе склеил модель» — за время нашей жизни сколько раз значение поменялось? Трижды? Четырежды? Хорошо, трижды пока что.
Поэтому с трудом верится. Какую-то долю наблюдательности это может дать, но говорить, что ничего нигде не спрячется и мы всё до конца понимаем… Я, unfortunately, не обладал бы таким оптимизмом.
Владимир Гриненко: Наверное, нельзя утверждать, что стопудово вопрос решён, но и утверждать…
Сергей Бережной: Можно?
Владимир Гриненко: …что стопудово это нерешаемая задача, тоже пока рановато. Мы приближаемся к тому, чтобы начать догадываться про ответ на этот вопрос.
Приблизительность интерпретации и накопление ошибок
Сергей Бережной: Мне кажется, можно доказать, что ты не сможешь сопоставить и однозначно проинтерпретировать. Даже он вроде в своей работе не говорит об этом. Он говорит, что можно увеличить степень интерпретируемости, в том числе за счёт наблюдения эволюции обучения в процессе. Но это всё равно обладает свойством приблизительности, неточности, и ошибка может накапливаться на раундах обучения.
Ты задетектировал, что он сначала деревья маркирует каким-то нейроном, или круглые предметы, или зелёные. Потом задетектировал, что он перешёл на чуть другое подмножество понятий. Но задетектировал неточно. Ты заметил, что он перешёл от просто зелёного цвета к зелёному и круглому, а то, что под капотом ещё зашифровано шершавое или контекстная зависимость от соседних нейронов, — не задетектировал. Всё. Через десяток-другой раундов обучения ошибка накопилась, а в накопленной ошибке можно чёрта лысого спрятать.
Владимир Гриненко: Ты так говоришь: не задетектировал — и всё, больше у нас нет шансов вернуться и провести работу над ошибками. На самом же деле…
Сергей Бережной: Перезадетектить? Угу.
Владимир Гриненко: Конечно. Накопили ошибку, увидели, что теперь вообще всё не сходится. Откатываемся и пошли заново.
Внутренний язык модели и проблемы перевода
Сергей Бережной: Я скорее ещё вот что постулирую. Когда мы говорим об интерпретируемости, мы подразумеваем, что у каждого слова и понятия существует перевод, если взять человеческие языки. Не обязательно один в один, пословный, а хотя бы постатейный — я не лингвист, не знаю, как это называется. Когда есть слово, а на другом языке — абзац текста, объясняющий его значение.
То, что ты обсуждаешь, буквально подразумевает, что нет языка, в котором есть понятие, не интерпретируемое таким образом. А все примеры с экзотическими языками не вызывают у тебя опасений? Когда одним словом называется — что там из свежего? — тоска по чему-то, поев чего-то, при условии, что на улице такая-то погода. Одно слово, пожалуйста. И этот перевод про тоску и всё остальное — лишь приблизительный.
Я дальше говорю: LLM, аишка, придумывает свой внутренний язык. Почему там обязательно будет существовать объяснимый маппинг на наши человеческие понятия? С чего?
Владимир Гриненко: Смотри, даже не обязательно, чтобы это было строго один в один, чётенько. Векторный поиск основан ровно на том, что у тебя лежат очень конкретные формулировки, но они группируются семантически. Тоска при полной луне, поев чего-то, будет рядом с другой очень похожей тоской, для которой у тебя найдётся нужное слово. Ты примерно будешь понимать, о чём речь.
Сергей Бережной: Да, оно будет рядом с похожей тоской. Из-за этого ты подумаешь, что всё понял, но упустишь полутона смысла. Да, примерно про тоску, но ещё кусочек ты упустишь.
Владимир Гриненко: Давай вернёмся на кофе-пойнт. Каждый раз, когда ты говоришь: «Привет, как дела?» — и тебе что-то отвечают, человек ответил что-то своё, ты понял что-то своё. Но вы в целом примерно поняли, что вроде он ещё не идёт вешаться. Нормас, этого уже достаточно.
Сергей Бережной: Если тебе нужен такой уровень, тогда можно сказать, что и то, что она тебе явно селф-репортит, тоже good enough.
Владимир Гриненко: Нет, потому что…
Сергей Бережной: Ты никогда не можешь знать про коллегу… Не будем затрагивать тему, которую ты начал. Допустим, он не очень сильно хочет прямо сейчас пойти в туалет. По его разговору ты с очень большой долей вероятности этого не задетектишь.
Если ты говоришь, что нам достаточно уровня как между белковыми нейросетями, тогда тебя должен удовлетворять стандартный выхлоп от инференса, где он сам рассказывает, про что думал, в понятных тебе словах.
Владимир Гриненко: Ключевая разница в том, что ты можешь интенционально не говорить то, что думаешь. Вот разница: снять энцефалограмму и просмотреть, какие у тебя области мозга оттриггерились. Если у тебя в мозгу паника, всё плохо, срочно в туалет, а ты говоришь: «Классно, травка зеленеет, солнышко блестит», — эту часть закрывает возможность заглянуть в нейроны.
Сергей Бережной: Энцефалограмму буддийских монахов видел?
Владимир Гриненко: Каждый день на неё смотрю.
Рукопись Войнича и цифровой мозг дрозофилы
Сергей Бережной: Я к тому, что даже с белковыми сетями энцефалограммы обладают значительной долей погрешности.
Мне ещё вспомнился манускрипт Войнича — рукопись, которую всё никак не могут расшифровать. Недавно был классный прогресс, где говорили: «О, а мы задетектировали, что её просто неправильно сшили в каком-то веке». Грубо говоря, странички двойные, и её сшили, повкладывав странички друг в друга. А в оригинале она писалась так, что они просто клались друг рядом с другом, будучи сложенными пополам.
Провели статанализ и более-менее это выяснили. Но всё равно и близко не приблизились к тому, что там понаписано. Это тоже пример языка, который вроде должен содержать какой-то смысл, но как этот смысл переводится на человеческий — вообще непонятно. Все эти проблемы перевода.
Ещё мне вспомнилась история про ту самую дрозофилу. Тоже посмотрел анализ того, как была сделана эта штука. Мы говорим: отсканировали мозг дрозофилы, один к одному и всё такое. Но очень большая часть финального результата была получена догадками, не в результате сканирования.
Результат сканирования — какой-то изначальный информационный инпут, а дальше всё вокруг было достроено нейронками, специально для этого предназначенными. Мы такие: вроде работает, вроде похоже на то, что по-настоящему было в мозгу. Но на самом деле нет. Даже для дрозофилы это пока ещё не вполне правда, мы не вполне всё можем отсканировать.
Что изменится, если человек — тоже нейросеть
Сергей Бережной: Отдельно можно помечтать про морально-этические вопросы: страдает, не страдает и всё это. Если мы начнём понимать, что происходит в нейронке, сможем вроде что-то предсказать. А что будет, если начнём сканировать мозг человека и в какой-то момент обнаружим, что это тоже всего лишь большая нейронка? Что это такая же экселевская табличка, просто ещё на пару порядков больше той, которая у нас есть сейчас. Мне кажется, будет весело. Прям все устои подорвутся.
Владимир Гриненко: Я, честно говоря, не понимаю, что это должно поменять. Можно уже сейчас в такую ментальную игру поиграть. Допустим, мы это обнаружили. И что? Я ни на секунду не стану жить иначе, о чём-то переживать иначе. Всё то же самое.
Сергей Бережной: Помнишь, мы в прошлом выпуске обсуждали, насколько этично матом крыть модели? Это про то же самое. Сейчас есть понимание, что над людьми издеваться нельзя. Нельзя издеваться над мыслящими, высокоразвитыми существами. Есть разные петиции про дельфинов, китов; видимо, туда должны относиться осьминоги и так далее. Жестокое обращение запрещено.
И тут вдруг мы обнаруживаем, что не сильно отличаемся от нейронки и ничего такого у нас внутри нет.
Ещё вспоминается рассказ про то, как чувака полностью оцифровали и дальше использовали в качестве нейронки для выполнения самых разных работ. Он просыпается в клинике после оцифровки, к нему приходит врач, что-то объясняет, рассказывает. И он, как та дрозофила, живёт в миллионе и миллиарде разных виртуальных машин: сортирует порно, закручивает гайки и что-то ещё.
Он хотел вечной жизни, отдал себя на благо науки. Оказалось, получил вечные муки, и все учёные мира состязаются, за сколько часов можно привести Генри — или как его звали — в рабочее состояние и заставить делать нужную тебе работу.
По-моему, там ещё было такое: после того как это с ним случилось, остальные люди, узрев, к чему это приводит, наотрез отказались разрешать оцифровывать свой мозг. Генри остался единственным рабочим, способным выполнять такую работу.
Лучше, чем сейчас, и далеко от идеала
Сергей Бережной: Про наблюдаемость и степень того, насколько это вообще мапится между собой, — мне кажется, это в точности проблемы перевода. Такие же, как с человеческими языками, только кратно увеличенные, учитывая размер нейросетей и степень их умности. А если добавим, что они могут быть аишками же научены, — очень большой простор для скрытия или просто самозарождения неоднозначностей.
Владимир Гриненко: Я согласен. Я говорю о том, что это будет бесконечно лучше, чем сейчас, но бесконечно далеко от идеального. Ну и ладно. Верной дорогой идём, уже хорошо.
Сергей Бережной: Прогресс неостановим, но работать ничего не будет. Это правда. Думаю, наш сегодняшний выпуск получился экзистенциально-философским. Спасибо вам за внимание! Возвращайтесь к нам, поговорим ещё про не новости.
Владимир Гриненко: Подписывайтесь, ставьте лайки. Пока-пока!
Продолжить тему
Смотреть следующим
Смотреть и слушать