ПАТ: Подумай о военных снарядах. Согласно этой идее, чем сложнее будет их целенаводящее компьютерное устройство, тем менее предсказуемым оно окажется. Рано или поздно некоторые снаряды решат, что они пацифисты, повернут обратно и спокойно приземлятся дома, не взорвавшись. Можно даже вообразить себе "разумные пули", которые поворачивают на полпути, потому что не желают совершать самоубийства.
СЭНДИ: Как мило!
КРИС: Я отношусь к таким идеям скептически. И все-таки, Сэнди, мне бы хотелось услышать твое предсказание по поводу того, когда появятся первые разумные машины.
СЭНДИ: Скорее всего, их еще долго не будет - по крайней мере таких, которые будут приближаться по интеллекту к человеку. Мне кажется, что в ближайшем будущем мы не сможем воспроизвести настолько сложный субстрат, как мозг.
ПАТ: Как ты считаешь, пройдет ли когда-нибудь компьютерная программа тест Тьюринга?
СЭНДИ: Это довольно сложный вопрос. Если разобраться, существуют различные степени удовлетворительного прохождения этого теста. Тут нельзя все видеть в черно-белом цвете. Во-первых, это зависит от того, кто будет экзаменатором. Какой-нибудь простачок может быть одурачен даже сегодняшними программами. Во-вторых, это зависит от того, насколько глубоко будет "копать" экзаменатор.
ПАТ: Можно выработать шкалу теста Тьюринга - версия одной минуты, пяти минут, одного часа и так далее. Было бы здорово, если бы какая-нибудь организация выступила спонсором ежегодных чемпионатов, вроде шахматных, для программ, пытающихся пройти тест Тьюринга.
КРИС: Программа, которая продержалась бы дольше всех против опытного жюри, выходила бы победителем. Надо бы установить большой приз для программы, которая смогла бы продержаться против знаменитого экзаменатора целых десять минут!
ПАТ: Что бы эта программа стала делать со своим призом?
КРИС: Тебе не кажется, что если эта программа достаточно умна, чтобы ввести в заблуждение судей, то она сообразит, как ей распорядиться призом?
ПАТ: Конечно - в особенности, если приз будет состоять из танцевального вечера в загородном парке вместе со всеми экзаменаторами.
СЭНДИ: Мне бы хотелось, чтобы подобное начинание стало явью. Было бы забавно посмотреть, как первые программы с треском проваливаются.
ПАТ: Однако ты настроена очень скептически! Как ты думаешь, могла бы какая-нибудь из сегодняшних программ продержаться пять минут против хорошего экзаменатора?
СЭНДИ: Сомневаюсь. Дело в том, что сейчас никто не работает над этой проблемой. Правда, существует программа под названием "Пэрри"; ее авторы утверждают, что она уже прошла элементарную версию теста Тьюринга. В серии заочных интервью Пэрри удалось одурачить нескольких психиатров, которым было сказано, что они говорят либо с компьютером, либо с пациентом-параноиком. В предыдущей версии этого же теста психиатрам просто показали запись коротких интервью и попросили определить, в каких из них участвовал человек-параноик, а в каких - компьютер.
ПАТ: То есть у них не было возможности задавать вопросы? Это большой недостаток, противоречащий самому духу теста Тьюринга. Представь себе, что кто-то пытается определить, какого я пола, лишь прочитав несколько моих замечаний. Это очень трудно! Я рада, что первую версию улучшили.
КРИС: Как им удалось заставить компьютер разговаривать как параноика?
СЭНДИ: Я не говорила, что компьютер в действительности разговаривал, как параноик - просто некоторые психиатры в необычных обстоятельствах так подумали. В этом варианте теста Тьюринга мне не понравилось то, как Пэрри работает. "Он", как называли эту программу, внезапно ударялся в самозащиту, уходил от неприятных тем и вообще контролировал беседу, так что "его" невозможно было по-настоящему спрашивать. В этом смысле подражать параноику гораздо легче, чем нормальному человеку.
ПАТ: Да ну? Это напомнило мне об одной шутке - какого человека легче всего имитировать на компьютере.
КРИС: И какого же?
ПАТ: Кататоника - он сидит и ничего не делает день за днем. Даже я могла бы написать компьютерную программу для этого!
СЭНДИ: Интересно, что Пэрри не создавал собственных фраз - он был снабжен обширным репертуаром готовых высказываний, из которых просто выбирал наиболее подходящие к "сказанной" ему в данный момент фразе.
ПАТ: Удивительно! Но это было бы невозможным в более крупном масштабе, правда?
СЭНДИ: Да, конечно. Чтобы компьютер мог отвечать нормально на все возможные высказывания в беседе, пришлось бы занести в его память поистине астрономическое, невообразимо огромное число предложений. И чтобы извлекать их из памяти, нужно было бы снабдить каждую сложным индексом. Те люди, которые считают, что программа, снабженная набором фраз, которые она вытаскивает из памяти подобно пластинкам в музыкальном автомате, сможет пройти тест Тьюринга, не понимают, о чем они говорят. Забавно то, что именно такой тип нереализуемых программ противники искусственного интеллекта используют как аргумент против теста Тьюринга. Они хотят, чтобы вместо действительно разумной машины вы вообразили себе гигантского неуклюжего робота, который монотонно повторяет законсервированные фразы. Предполагается, что его механический уровень остается очевидным даже тогда, когда он выполняет задачи, традиционно требующие интеллектуальной гибкости. Тогда критики заявляют: "Вот видите, это всего лишь машина - механическое приспособление, не обладающее никаким разумом". Что до меня, то я вижу ситуацию как раз наоборот. Если бы мне показали машину, способную делать то же, что и я, - я имею в виду тест Тьюринга - то я не почувствовала бы, что меня оскорбляют или мне угрожают. Наоборот, я присоединилась бы к философу Рэймонду Смолляну и воскликнула бы: "Как прекрасны машины!"
КРИС: Если бы в качестве теста Тьюринга тебе разрешили задать всего лишь один вопрос, каким бы он был?
СЭНДИ: Гм…
ПАТ: А как насчет "Если бы в качестве теста Тьюринга тебе разрешили задать всего лишь один вопрос, каким бы он был?"?
Размышления
Многих людей отталкивает в тесте Тьюринга необходимое условие, чтобы экзаменуемые находились в комнате отдельно от экзаменатора, так, чтобы тот имел дело лишь со словесными ответами. Для салонной игры такое правило в самый раз, но как может настоящее научное исследование включать в себя сознательную попытку спрятать некие факты от наблюдателей? Пряча кандидатов на разумность в "черные ящики" и оставляя как свидетельство лишь ограниченный спектр внешнего поведения (в данном случае, словесную продукцию в напечатанной форме), тест Тьюринга на первый взгляд догматически придерживается некоей формы бихевиоризма, или (хуже) операционализма, или (и того хуже) верификационизма. (Эти три кузена "изма" - ужасные пугала недавнего прошлого. Говорят, что философы науки с ними расправились и похоронили их - но что это за кошмарный звук, от которого кровь стынет в жилах? Неужели они зашевелились в своих могилах? Надо было пронзить их сердца осиновым колом!) Не является ли тест Тьюринга, по словам Джона Сирла, чем-то вроде "операционалистского фокуса"?
Действительно, тест Тьюринга довольно категорично определяет, что в интеллекте важнее всего. Тьюринг утверждает, что важно вовсе не то, какой тип серого вещества имеется у кандидата в голове (и есть ли эта голова вообще) и не то, как он выглядит и пахнет, но то, способен ли он на разумное поведение. Предложенная Тьюрингом для тестирования игра-имитация не представляет из себя нечто "святое" - это просто ловко выбранная проверка общей разумности. Тьюринг был готов предположить, что любой субъект, прошедший тест Тьюринга, одержав победу в игре-имитации, с необходимостью должен быть способен вести себя разумно в неопределенно большом количестве других ситуаций. Если бы он выбрал в качестве лакмусовой бумажки способность поставить мат чемпиону мира по шахматам, мы могли бы с полным правом возражать против такой проверки. Сейчас кажется вполне вероятным, что такую машину возможно создать - но она не будет уметь делать ничего другого. Если бы он выбрал в качестве проверки способность украсть Британские Королевские Драгоценности без сообщников и без применения силы, или способность разрешить арабо-израильский конфликт без кровопролития, немногие стали бы возражать, что разум здесь "сведен" к поведению или "операционно определен" в терминах поведения. (Хотя, без сомнения, какой-нибудь философ тотчас принялся бы выдумывать весьма сложный и совершенно невероятный сценарий, согласно которому некий полный идиот случайно завладел Британскими Королевскими Драгоценностями, выдержав тест и таким образом опровергая его значимость в качестве проверки на общую разумность. Разумеется, настоящему операционалисту пришлось бы признать, что, согласно его критериям, этот удачливый дурачок по-настоящему умен, поскольку он выдержал определенный экзамен - несомненно, именно поэтому настоящие операционалисты так редко встречаются.)
Тест Тьюринга имеет определенное преимущество по сравнению с воровством королевских драгоценностей или улаживанием арабо-израильского конфликта. Дело в том, что подобные тесты невозможно повторить (если пройти их успешно один раз); они слишком трудны (многие весьма разумные люди в прошлом не смогли сделать этого); их слишком трудно судить объективно. Подобно хорошему пари, тест Тьюринга очень соблазнителен; он выглядит справедливым, трудным, но возможным, и объективным в принятии окончательного решения. Этот тест напоминает пари и в другом смысле. Он мотивирован желанием Тьюринга прекратить бесконечные бесплодные препирательства, заявив: "Либо докажите, либо замолчите!" Тьюринг говорит нам: "Вместо того, чтобы спорить о конечной природе и сущности разума, почему бы нам не договориться, что любой, кто сможет пройти этот тест, наверняка разумен, и затем задаться вопросом, как сконструировать машину, которая сможет его пройти?" По иронии судьбы, Тьюрингу не удалось остановить этот вечный спор - он лишь направил его по иному руслу.
Можно ли критиковать тест Тьюринга за его идеологию "черного ящика"? Во-первых, как замечает Хофштадтер в своем диалоге, мы обращаемся друг с другом, как с черными ящиками - наше убеждение в том, что другие люди разумны, основано на наблюдении над их поведением, которое кажется нам разумным. Во-вторых, идеология "черного ящика" является общей для любого научного исследования. Мы узнаем нечто о молекуле ДНК, наблюдая, как она отвечает на разного рода стимулы, точно так же, как мы узнаем новое о раке, землетрясениях и инфляции. Когда мы исследуем макроскопические объекты, иногда бывает полезным "заглянуть" в черный ящик. Для этого мы применяем к его поверхности "открывающий" зонд (например, скальпель); затем фотоны отражаются от открывшихся внутренностей и попадают к нам в глаза. Все это лишь еще один эксперимент с черным ящиком. Мы должны, как говорит Хофштадтер, поставить перед собой следующую проблему: "Какой зонд будет самым подходящим для поисков ответа на интересующий нас вопрос?" Если мы хотим узнать, разумно ли некое существо, вряд ли нам удастся найти более прямой и красноречивый "зонд", чем повседневные вопросы, которые мы задаем друг другу. "Бихевиоризм" Тьюринга заключается лишь в том, что он попытался включить это почти общее место в полезный эксперимент лабораторного типа.
Другая проблема, затронутая, но не решенная в диалоге Хофштадтера - это вопрос изображения. Компьютерная имитация чего-либо обычно представляет из себя детальное, "автоматическое" многоплановое изображение этого объекта или явления; но, разумеется, между реальностью и изображением - огромная разница, не правда ли? Джон Сирл говорит: "Никто не ожидает, что мы получим молоко и сахар, симулировав на компьютере формальные процессы лактации и фотосинтеза…" Если бы мы написали программу, которая изображала корову на цифровом компьютере, наше изображение, будучи всего лишь имитацией коровы, не давало бы молока. Вместо этого, "подоив" нашу корову, мы получили бы имитацию молока. Какой бы качественной эта имитация ни была, и как бы вы ни страдали от жажды, пить это молоко нельзя.
Однако представьте себе, что мы разработали имитацию математика, и что наша программа работает хорошо. Стали бы мы жаловаться, что хотели получить доказательства, а вместо этого обрели лишь имитацию доказательств? Но ведь имитация доказательств - это те же доказательства, не так ли? Здесь все зависит от того, насколько хороши эти "сымитированные" доказательства. Когда авторы комиксов изображают математиков, размышляющих перед исписанными досками, в качестве доказательств или формул они обычно пишут полную белиберду, какими бы "реалистичными" эти каракули ни казались неспециалистам. Если бы имитация математика выдавила "липовые" доказательства, похожие на доказательства из комиксов, она все же могла бы имитировать некие черты математиков, представляющие теоретический интерес - может быть, манеру речи или рассеянность. С другой стороны, если бы программа была написана так, что выдавала имитацию тех доказательств, которые мог бы найти хороший математик, она была бы не хуже ее "коллеги" - по крайней мере, в области доказательств. По-видимому, в этом и заключается разница между абстрактной, формальной продукцией, такой как доказательства или песни (см. следующую главу, "Принцесса Несказанка"), и конкретными, материальными продуктами вроде молока. К какой категории относится разум? На что похожа способность мыслить - на молоко или на песню?
Если считать, что продукт разума - контроль над телом, то такой продукт выглядит довольно абстрактным. Если же продуктом разума является некая субстанция, или даже набор различных субстанций - море любви, пара щепоток боли, немного экстаза и несколько унций того энтузиазма, которого так много у игроков в мяч - то такой продукт кажется весьма конкретным.
Прежде чем углубляться в дебаты по этому вопросу, давайте остановимся и спросим себя, насколько ясным остается этот принцип разделения там, где мы хотим его использовать. Что, если бы нам пришлось иметь дело с абсолютно детализированной, безупречной имитацией любого конкретного объекта или феномена? Любая имитация конкретным образом "воплощена" в некоей аппаратуре, и эти носители имитации как-то влияют на окружающий мир сами. Если на имитацию события мир реагирует точно так же, как и на само событие, вряд ли мы можем с полным правом утверждать, что это всего лишь имитация. Эта мысль, которая с таким юмором обыгрывается в следующей главе, будет часто возникать на страницах этой книги.
Д.Д.
6
СТАНИСЛАВ ЛЕМ
Принцесса Несказана
- Мне что-то такое снилось.... забыл, что, - произнес Король, вернувшись к Шкафчику-Сновидцу. - Но отчего ты, Хитриус, на одной ноге скачешь, а другую руками держишь?
- Да так, ничего… пустяк. Роботизм, ваше величество, замучил… Должно быть, к перемене погоды, - пробормотал хитрый архимудрит, и снова стал искушать короля, дабы тот себе новый сон присмотрел. Поразмыслил Шириний, справился в "Оглавлении снов" и выбрал "Брачную ночь принцессы Несказаны". И приснилось ему, будто сидит он у камина и читает старинную книгу в роскошном переплете. А в книге той на тонком пергаменте с золоченым обрезом, алыми буквами написаны словеса затейливые, повествующие о принцессе Несказане, что пять веков назад в Данделии правила; о Лесе ее Льдистом, о Башне Спиральной, о Ржущей Птице Домашней, о Стоглазой Сокровищнице, а больше всего - о красе ее несказанной, да о добродетели несравненной. И возжаждал Шириний этой красы, и желания его воспылали, как пламень, и очи его зажглись, как два маяка в ночи. И помчался он внутрь сна искать Несказану, но ее не было там, и только самые старые роботы хранили память о принцессе. Утомленный дорогой, забрел Шириний в самое сердце Королевской Пустыни, где даже дюны были покрыты позолотой, и наткнулся там на убогую хижину. Шириний подошел поближе и увидел старца в белоснежных одеждах. Старец поднялся навстречу ему и произнес:
- Ты ищешь Несказану, глупец, будто не ведаешь, что уже пять столетий не живет она на белом свете; сколь же страсть твоя тщетна и пуста! Единственное, что я могу для тебя сделать, это показать тебе ее - не во плоти, разумеется, но смоделированную информационно. Модель та цифровая, а не психическая, стохастическая, энергетическая, и тем более, эротическая; она находится в Черном Ящике, который я смастерил на досуге из всякой всячины.
- Ах, покажи мне ее, покажи скорее! - вскричал, дрожа, Шириний. Старец кивнул, нашел в старинном фолианте данные принцессы, закодировал их на перфокартах вместе со всем средневековьем, написал программу, включил Черный Ящик и отодвинул щиток с окошечка:
- Зри, несчастный!
Наклонился король, взглянул, и вправду увидел точную копию средневековья, всю цифровую, двоичную и нелинейную, а в нем - страну Данделию, Лес ее Льдистый, Башню Спиральную, Ржущую Птицу Домашнюю, Стоглазую Сокровищницу и Несказану собственной персоной, что в лесу смоделированном прогуливалась неспешно и бинарно, и электрические схемы у нее внутри лучились золотым и алым и тихо гудели, когда она срывала смоделированные маргаритки и напевала смоделированную песенку. Шириний, не в силах дальше сдерживаться, вскочил на Ящик и давай в него колотиться, пытаясь забраться в смоделированный мир. Но старец тотчас выключил ток, столкнул Короля наземь и вскричал:
- Безумец! Почто невозможного возжелал? Не дано материальному существу попасть в мир, состоящий из электронных завихрений, интегральных конфигураций и процессов нелинейного моделирования!
- Но я должен! Должен! - вопил вне себя Шириний, пытаясь пробить лбом обшивку Черного Ящика и оставляя на ней вмятины. Тогда старый мудрец произнес:
- Ну что ж, если таково твое желание, я помогу тебе соединиться с принцессой Несказаной - есть один способ, но для этого ты должен расстаться со своей материальной формой. Я сниму с тебя мерку и по твоим коэффициентам смоделирую и запрограммирую тебя, атом за атомом, а потом помещу эту модель в средневековый цифровой мир в ящике, где она пребудет, доколе электроны текут в проводах и скачут с катода на анод. Но сам ты, здесь стоящий, исчезнешь и пребудешь лишь в образе токов, что кружат прекрасно, дискретно, вероятностно и нелинейно.
- А тебе можно верить? - спросил Шириний. - Как я узнаю, что ты смоделировал меня, а не кого-то другого?
- Хорошо, давай устроим испытание, - сказал старец. И он обмерил короля, как это делает портной, но точнее, поскольку снял мерку с каждого атома. Наконец он запустил программу в ящик и молвил:
- Смотри!