Commentary: Голем в машине
Michael M. Rosen
Like Silicon From Clay: What Ancient Jewish Wisdom Can Teach Us About AI
[Подобно кремнию из глины. Что старая еврейская мудрость может поведать нам об искусственном интеллекте
AEI Press, 2025. — 328 p.
Я не еврей, но история о големе — защитнике евреев, сотворенном из глины неким волшебником с помощью таинственных обрядов, — притягивала меня с младших классов школы, когда я узнал о немецком экспрессионистском фильме 1920 года с таким названием. И правда, какой увлеченный книгами подросток на мечтает заполучить сильного молчаливого заступника, готового по его приказу расправиться со всеми обидчиками? Позже моя жена Бет познакомила меня с совершенно необычной пьесой Семена Ан‑ского «Дибук», написанной на идише, где речь идет о злом духе, который якобы вселяется в беспомощную жертву.
Поэтому меня и заинтересовало предложение написать рецензию на книгу о големах, дибуках и магидах (менее известных духах из еврейского фольклора) — книгу, которая напрямую связывает эти существа с искусственным интеллектом.
После прочтения книги Майкла Розена «Подобно кремнию из глины» интерес к теме не угас, хотя убедить меня автору не удалось. По мнению Розена, различные точки зрения на ИИ и машинное обучение (МО), а также наше желание обеспечить «функционирование ИИ в рамках этических норм и ответственности», возможно, черпают вдохновение в этих еврейских сверхъестественных сущностях, и «мы можем извлечь лучшее из каждого такого подхода, дабы выработать внятную последовательную линию поведения».
Поставленная таким образом задача чрезвычайно сложна, и в конечном счете план Розена слишком дерзок для успешного завершения. Вместе с тем «Подобно кремнию из глины» остается весьма интересной, даже захватывающей книгой: автор со страстью и красноречием погружается в идущую ныне дискуссию о будущем ИИ и тайных закоулках еврейской мистики.
Начинает Розен с разделения участников дискуссии. Одну группу таковых он называет автономистами — они считают последние достижения в области ИИ поистине революционными, способными изменить основы жизни человека. Вторую группу он окрестил автоматонерами — те полагают ИИ простым расширением (а не преобразованием) уже существующей цифровой технологии, которое может нести и вред.
Каждая группа имеет позитивное и негативное крыло (при этом остается выразить сожаление, что Розен выбрал два названия, которые столь навязчиво, столь раздражающе похожи друг на друга). Позитивные автономисты представлены Сэмом Альтманом из Open AI и «убеждены, что машины уже достигли — или вот‑вот достигнут — степени независимости», позволяющей им функционировать без управления и надзора со стороны человека. Они полагают это развитие ИИ благом, ибо оно улучшает качество жизни и расширяет возможности человека. Негативные автономисты (к ним Розен относит Джеффри Хинтона и Илона Маска) считают то же развитие ИИ опасным и несущим потенциальную угрозу человечеству.
С другой стороны, автоматонеры Розена полагают технологию ИИ по существу «безжизненным роботом, обреченным следовать командам своего разработчика», то есть всего лишь «усовершенствованным, пусть и в значительной степени, вариантом уже существующей компьютерной технологии». Позитивные автоматонеры видят возможности ИИ улучшить качество жизни человека, не угрожая ему, но только при условии, что в программу встроена возможность корректного человеческого контроля. Именно к этой группе Розен питает особое расположение.
Представление об искусственном интеллекте как о «безжизненном роботе, обреченном следовать командам своего разработчика», приводит Розена к размышлению о големе — могучем человекоподобном автомате, которого, согласно легенде, в XVII веке создал раввин Йеуда Лев бен Бецалель, известный также как Маараль, для защиты обитателей гетто от преследователей евреев. Розен подробно описывает процедуру, в рамках которой, используя каббалистические приемы, Маараль с двумя помощниками вылепил из глины это существо, а затем вставил ему под язык пергамент с текстом «Адонай эмет» («Г‑сподь есть истина»), чтобы оживить его и дать возможность двигаться. Помещение, в которое рабби Лев якобы поместил голема и где тому надлежало находиться до того, как в нем возникнет нужда, — чердак синагоги в Праге, до нашего времени остается недоступным для посетителей. (Те, кто все же умудрился туда проникнуть, свидетельствуют, что обнаружили там лишь кучку красной пыли, покрытую старым талитом.)
Выходя за пределы еврейской истории, Розен говорит, что «голем воплощает представление позитивных автономистов об идеальном ИИ — сверхъестественном существе, рожденном творцом‑человеком, но превосходящем его возможности, силе добра, явившейся в мир, чтобы улучшить и продлить нашу жизнь», но при этом признает, что «даже с благими намерениями, даже при оптимальной конструкции и даже после скрупулезного следования инструкциям функционирование такого устройства может пойти неправильно» — как в случае с учеником волшебника или монстром Франкенштейна.
С другой стороны, дибук — это «фольклорная версия концепции [ИИ] негативного автоматонера, внешнее воплощение вредоносного внутреннего состояния», которое следует подвергнуть экзорцизму — изгнать. Розен пишет, что процедуры изгнания дибуков вошли в религиозную практику некоторых еврейских общин Северной Африки и распространились на мусульман, которые ставили в вину еврейскому духу причинение зла им тоже. Ритуалы изгнания дибука можно легко представить как механизм изготовления козла отпущения, но Розен смотрит глубже: он усматривает в генеративном ИИ ту опасность, что ИИ может оседлать «наши самые низменные инстинкты и превратить их в некий новый, неизбежный для человека цифровой кодекс», который его создатели навязывают публике против ее желания.
Тем не менее сам Розен сохраняет оптимизм в отношении возможностей ИИ. Оптимизм этот, по его мнению, выражен в другом ответвлении каббалистической традиции — мифологии магидов. Розен приводит слова философа Гершома Шолема о том, что магиды суть святые ангелы или души усопших святых. «Магиды были продуктами бессознательной психической деятельности, которые кристаллизовались на сознательном уровне разума каббалистов в психические сущности», — писал Шолем. Они являются оборотной стороной дибука, формой проявления наших лучших побуждений вместо худших.
Говоря словами Розена, магиды выражают «нашу внутреннюю природу, наше подсознание, стремящееся творить добро, но с необходимостью требующее нашей команды». Следующим шагом является признание, что глубокое психологическое смысловое наполнение магида, а также дибуков и големов «дает возможность раскрыть наши продуктивные способности, которые в иных случаях были бы подавлены или вытеснены» — или вообще выпали бы из сферы дискуссий по поводу ИИ.
Изложив все это, Розен вновь погружает читателя в перипетии схватки автономистов с автоматонерами. Вместо того, чтобы предложить выбор одного из лагерей, Розен хочет, чтобы мы поискали способы их примирения. Он полагает, что человек может осуществлять контроль над искусственным интеллектом, не препятствуя его развитию, и обеспечивать строгие этические стандарты, исключив при этом несправедливые предпочтения при программировании платформ ИИ. По мнению Розена, главное заключается не в конкретной выбранной линии поведения, а в том, с каким отношением и каким умонастроением мы подходим к решению поставленной задачи, как это олицетворяют его три сверхъестественных существа.
Розен заключает: допуская, что ИИ представлен големом, то есть неразмышляющей машиной, творящей добро или зло в зависимости от получаемых команд, мы оказываемся в ситуации, когда «наши внутренние дибуки — темные инстинкты — будут определять ход наших мыслей в процессе программирования и принятия решений, если мы не приводим в действие наших внутренних магидов — светлых ангелов, способных противостоять дибукам».
Что ж, очень милое умонастроение, но я не уверен, что в нем больше проницательности, чем в любом типичном высказывании на большинстве конференций по определению путей развития ИИ.
И вот тут бросаются в глаза два пробела в рассуждениях Розена. Первый касается вопроса, могут ли сами по себе иудаистские (или, если на то пошло, христианские) религиозные учения служить нравственным ориентиром в создании и распространении ИИ и технологий машинного обучения? Стоит ли ограничивать разговор о будущем ИИ мифологическими и психологическими понятиями — или же каббалой, которая и сама есть побочная ветвь иудаизма, — оставив без внимания основную иудео‑христианскую религиозную традицию, сохранившуюся на протяжении тысячелетий? И если «Адонай эмет» смог оживить голема тогда, то почему этого не можем сделать мы — теперь?
Второй пробел — Китай. Не стоит гадать, на что будут похожи наши «темные инстинкты», если они обрушатся на нас из недр искусственного интеллекта: все это уже произошло в Китае Си Цзиньпина — начиная с тотального наблюдения государства до попыток манипуляции сознанием и биотехнологической войны . При этом Розен практически умалчивает о том, как Китай превращает созданную в США технологию в тоталитарный кошмар, если не считать цитирования венчурного инвестора Марка Андриссена , что «единственный крупный риск ИИ заключается в том, что Китай завоюет глобальное господство в области искусственного интеллекта, а мы — США и Запад — нет».
Розен, конечно же, не пытается смотреть на угрозу китайского ИИ сквозь призму древней еврейской мудрости. В противном случае он бы пришел к совершенно другой классификации, основанной на мифологических персонажах, в соответствии с которой американский ИИ — это голем, автомат, молча ожидающий, что его активируют для службы и защиты, а Китай — это дибук, способный «оседлать наши самые низменные инстинкты и превратить их в некий новый, неизбежный для человека цифровой кодекс».
Ну а магид может оказаться нашим собственным иудео‑христианским нравственным кодексом, основанным на правде и добре. Здесь, похоже, мы и находим ориентир, указывающий путь к победе Запада и превращению искусственного интеллекта в продуктивный и полезный инструмент, на что всегда надеялись его первые создатели.
Оригинальная публикация: The Golem in the Machine
Дэн Браун и его «Голем»: роман без еврейской души
Метод Верна–Этцеля
