Публика, меж тем, была впечатлена продолжительным потоком кажущихся успехов и новостей об ИИ-технологии. Одной из программ, вызвавшей возбуждение публики, была программа решения математических теорем. Даже начиная с Платона, многошаговые дедуктивные умозаключения виделись вершиной человеческого интеллекта, так что наперво казалось, что ИИ сорвал куш. Но, подобно Блочному Миру, программа оказалась ограниченной. Она могла найти только очень простые теоремы, которые уже были известны. Затем были большие телодвижения насчет "экспертных систем", БД фактов, которые могли отвечать на вопросы, заданные человеком-пользователем. Например, медицинские экспертные системы могли диагностировать болезнь пациента по заданному списку симптомов. Но снова оказалось, что она имеет ограниченное применение и не проявляет чего-либо близкого к обобщенному интеллекту. Компьютеры могли играть в шашки на уровне эксперта и в конечном счете IBM-овский Deep Blue превосходно обыграл Гари Каспарова, мирового чемпиона по шахматам, в его собственной игре. Но эти успехи ушли впустую. Deep Blue выиграла не за счет ума; он выиграл за счет того, что был в миллионы раз быстрее, чем человек. У Deep Blue нет интуиции. Опытный игрок смотрит на позицию на доске и сразу видит, какие варианты игры наиболее выгодны или опасны, тогда как компьютер не имеет врожденного чувства того, что важно, и должен исследовать гораздо больше вариантов. У Deep Blue также нет ощущения истории игры, и он не знал ничего о своем оппоненте. Он играл в шахматы так и не поняв, что такое шахматы, аналогично этому калькулятор выполняет арифметические операции, но понятия не имеет о математике.
Во всех случаях ИИ-программы были хороши только в одной определенной области, для которой они были разработаны. Они не обобщали и не выказывали гибкости, и даже их создатели признавались, что их программы не мыслят подобно человеку. Некоторые ИИ-проблемы, которые изначально казались легкими, не добились прогресса. Даже сегодня ни один компьютер не понимает язык так же хорошо, как может трехлетний ребенок, и не видит даже так, как может мышь.
По истечение многих лет усилий, неосуществленных обещаний и несостоявшихся успехов, ИИ начал блекнуть. Ученые из этой области ушли в другие области исследований. Компании, завязанные на ИИ, оказались неудачными. Вложения стали скудными. Стало казаться невозможным запрограммировать компьютер, чтоб он выполнял даже наиболее базовые задачи восприятия, языка и поведения. Сегодня немногое изменилось. Как я уже сказал ранее, до сих пор есть люди, которые верят, что ИИ-проблемы могут быть решены более быстрыми компьютерами, но большинство ученых думают, что в целом такие попытки ущербны.
Мы не должны порицать пионеров ИИ за их неудачи. Алан Тьюринг был блестящим человеком. Все могли бы сказать, что Машина Тьюринга должна изменить мир - и она сделала это, правда не путем ИИ.
* * *
Мой скептицизм насчет притязаний ИИ был обострен примерно в то самое время, когда я подал заявление в MIT. Джон Серл, влиятельный профессор философии в Калифорнийском Университете в Беркли, в то время говорил, что компьютеры не были и не смогут быть интеллектуальными. Чтоб доказать это, в 1980 году он предложил мысленный эксперимент, называемый Китайской Комнатой. Это было примерно следующее:
Предположим, у вас есть комната с прорезью в одной из стен, и внутри находится англоговорящий человек, сидящий за столом. У него есть большая книга с инструкциями и все карандаши и бумага для черновиков, которые ему как-нибудь могли бы понадобиться. Перелистывая книгу, он видит, что инструкции, написанные на английском языке, указывают ему способы манипулирования, сортировки и сравнения китайских символов. Представим себе, что указания ничего не говорят о значении китайских символов; они только задают, как символы должны быть скопированы, стерты, переупорядочены, перекодированы, и т. д.
Кто-то снаружи просовывает кусочек бумаги через прорезь. На ней написан рассказ и вопросы по этому рассказу, все на китайском. Человек внутри не говорит и не читает ни слова по-китайски, но он берет бумажку и идет работать с книгой. Он трудится и трудится, следуя инструкциям в книге. В некоторых ситуациях инструкции говорят ему записывать символы на клочке бумаги, в других - перемещать и стирать символы. Применяя правило за правилом, записывая и стирая символы, человек работает до тех пор, пока инструкции из книги не скажут ему, что все готово. По окончании, наконец у него есть новая написанная им страница символов, которая без его ведома стала ответами на вопросы. Книга говорит ему передать эту бумагу через прорезь. Он делает это и удивляется, для чего было это утомительное упражнение.
Снаружи человек, говорящий на китайском, читает страницу. Ответы правильные, он замечает - даже проницательные. Если его спросят, исходят ли эти ответы от интеллектуального разума, он определенно скажет "да". Но прав ли он? Кто понял историю? Определенно, это не человек внутри, несведущий в китайском и понятия не имеющий, о чем история. Это не книга, которая просто хорошая книга, спокойно лежащая на письменном столе среди кипы бумаг. Так где же возникло понимание? Сеел говорит, что никакого понимания не возникало, это всего лишь связка бессмысленного листания страниц и черкания карандашом. А теперь чудесное превращение: Китайская Комната - это в точности цифровая вычислительная машина. Человек - это процессор, бездумно выполняющий инструкции, книга - это программа, дающая инструкции процессору, черновики - это память. Таким образом, не важно, как хитро спроектирован компьютер для эмуляции интеллекта путем имитации человекоподобного поведения, у него нет понимания и нет интеллекта. (Серл дает понять, что он не знает, что такое интеллект; он только говорит, чем бы он ни был, компьютер не может иметь этого).
Этот аргумент создал огромную пропасть между философами и апологетами ИИ. Это расплодило сотни статей, а в дополнение - еще больше сарказма и вражды. Защитники ИИ выступили с массой контраргументов Серлу, таких как заявление, что хотя ни один из компонентов комнаты не понимает китайский, комната в целом понимает, или что человек в комнате действительно понимает китайский, но просто не знает этого. Что относительно меня, я думаю, что Серл был прав. Когда я размышлял над аргументом Китайской Комнаты и о том, как работают компьютеры, я не видел понимания ни там ни там. Я был убежден, что нам необходимо понять, что такое "понимание", найти способ формально определить его, что могло бы прояснить является система интеллектуальной или нет, когда она понимает китайский, и когда - нет. Одно лишь ее поведение не сможет нам этого сказать.
Человеку не требуется "делать" что-то, чтоб понять рассказ. Я могу спокойно прочитать рассказ, и хотя нет явного поведения, мое понимание и осмысление наглядны, по крайней мере для меня. С другой стороны, исходя из моего спокойного поведения вы не сможете понять, понял я рассказ или нет, даже если я знаю язык, на котором написан рассказ. Вы могли бы позже спросить меня, чтоб узнать, понял ли я, но мое понимание возникло, когда я читал рассказ, а не когда я отвечал на ваши вопросы. Тезис этой книги в том, что понимание не может быть измерено внешним поведением; как мы увидим в следующих главах, это внутренняя метрика того, как мозг помнит что-либо и использует эти воспоминания для того, чтоб делать предсказания. Китайская Комната, Deep Blue и большинство компьютерных программ не делают ничего похожего на это. Они не понимают, что они делают. Единственный же способ, по которому мы можем судить, является ли компьютер интеллектуальным - это по его выходным данным, или поведению.
Последним аргументом в защиту ИИ является то, что компьютер теоретически мог бы эмулировать целый мозг. Компьютер мог бы смоделировать все нейроны и их соединения, и, если так, то не останется различий между интеллектом мозга и интеллектом, эмулированным на компьютере. Хотя, это может быть практически и невозможно, я с этим согласен. Но исследователи ИИ не эмулируют мозг, и их программы не интеллектуальны. Вы не можете эмулировать мозг без того, чтоб сначала понять, что он делает.
* * *
После того, как я получил отказ и в Intel и в MIT, я не знал, что делать. Когда вы не знаете, как продолжать, часто наилучшей стратегией является ничего не делать, пока ваше мнение не прояснится. Таким образом, я продолжил работу в компьютерной отрасли. Меня удовлетворяло остаться в Бостоне, но в 1982 году моя жена захотела переехать в Калифорнию, так что мы переехали (снова путем наименьшего сопротивления). Я добился назначения в Силиконовой Долине, в проекте, названном Grid Systems. Grid занимался лэптопами, прекрасными машинами, которые стали первыми компьютерами в коллекции Музея Современного Искусства в Нью-Йорке. Работая сначала в маркетинге, а потом инженером, я создал в конце концов высокоуровневый язык программирования GridTask. Он и я становились все более и более важными для успеха Grid; моя карьера пошла в гору.
Я все еще не мог выкинуть из головы мое любопытство насчет мозга и интеллектуальных машин. Я был поглощен желанием изучать мозг. Так я прошел заочные курсы по психологии человека и обучался самостоятельно (никто еще не получал отказа от заочной школы!). После изучения порядочного объема биологии, я решил подать заявление в аспирантуру по биологии и изучать интеллект в биологических науках. Если компьютерные науки не нуждаются в мозговых теоретиках, то может быть мир биологии откроет двери для компьютерщика. Тогда еще не было такой вещи, как теоретическая биология, и в особенности теоретическая нейронаука, так что биофизика показалась наиболее подходящим полем для моих интересов. Я усердно учился, сдал требуемые вступительные экзамены, подготовил резюме, рекомендательные письма, и Вуаля! я был принят на дневное отделение биофизики в Калифорнийский Университет в Беркли.
Я был взволнован. Наконец то я смог приступить к серьезной работе над теорией мозга, или мне так казалось. Я завершил свою работу в Grid без намерений работать снова в компьютерной индустрии. Конечно, это обозначало неопределенный отказ от моей зарплаты. Моя жена уже подумывала что "пора покупать дом и заводить семью", и я к счастью перестал быть кормильцем. Это определенно не было путем наименьшего сопротивления. Но это было наилучшим вариантом, который у меня был, и она поддержала мое решение.
Джон Элленби, исследователь из Grid, затащил меня в свой офис почти перед моим уходом и сказал: - "я знаю, ты не собираешься когда-либо возвращаться в Grid или компьютерную индустрию, но ты никогда не сможешь сказать заранее, что произойдет. Вместо того, чтоб полностью отказываться, почему бы тебе не взять отпуск? В таком случае, если через год или два ты надумаешь вернуться, ты сможешь сохранить зарплату, положение и возможность распоряжаться пакетом акций". Это было прекрасным предложением. Я принял его, но я чувствовал, что оставляю компьютерную индустрию навсегда.
2. Нейронные сети
Когдая поступил в Калифорнийский Университет в Беркли в январе 1986, первым, что я сделал, было собрание истории теорий интеллекта и функций мозга. Я прочел сотни статей анатомов, физиологов, философов, лингвистов, компьютерщиков и психологов. Множество людей из множества областей широко описали мышление и интеллект. В каждой область науки был свой набор журналов и в каждой использовалась своя терминология. Я нашел их описания неподходящими и неполными. Лингвисты говорили об интеллекте в терминах "синтаксис" и "семантика". Для них мозг и интеллект существовали только как язык. Специалисты по зрению ссылались на 2-мерные, 2.5-мерные, 3-хмерные модели. Для них мозг и интеллект существовали только как визуальное распознавание паттернов. Компьютерщики говорили про схемы и фреймы, новые термины, которые они придумали для представления данных. Никто из этих людей не говорил про структуру мозга и про то, как бы в нем укладывалась любая из их теорий. С другой стороны, анатомы и нейрофизиологи широко описали о структуре мозга и о том, как ведут себя нейроны, но они в большинстве своем избегали любых попыток построить крупномасштабную теорию. Было сложно и тщетно пытаться ухватить смысл этих разнообразных подходов и гор экспериментальных данных, сопровождающих их.
Примерно в это же время на сцену вышел новый обещающий подход к интеллекту. Нейронные сети существовали еще с конца 60-х в той или иной форме, но нейронные сети и движение ИИ были конкурентами, и за деньги и за умы агентов, занимающихся вложениями в исследования. Исследователи нейронных сетей существенно игнорировались исследовательскими фондами в течение нескольких лет. Тем не менее, немногие продолжали задумываться о них, и к середине 80-х они окончательно добились места под солнцем. Сложно сказать точно, откуда взялся неожиданный интерес к нейронным сетям, но несомненно одним содействующим фактором стали продолжительные неудачи в искусственном интеллекте. Люди прогнозировали насчет альтернатив к ИИ и нашли одну в искусственных нейронных сетях.
Нейронные сети были подлинным улучшением после ИИ-подхода, потому что их архитектура базируется, хотя и очень слабо, на реальных нейронных сетях. Вместо программирования компьютеров, исследователи нейронных сетей, известные также как коннекционисты, интересовались изучением того, какое поведение может быть продемонстрировано связыванием группы нейронов вместе. Мозг состоит из нейронов; таким образом, мозг - это нейронная сеть. Это факт. Надежда коннекционистов была в том, что эфемерные свойства интеллекта могли бы проясниться изучением того, как нейроны взаимодействуют, и некоторые из проблем, которые не решались с помощью ИИ, могли бы быть решены репликацией соответствующего соединения между популяциями нейронов. Нейронные сети отличаются от компьютера тем, что в них нет процессора, и они не хранят информацию в централизованной памяти. Знания и память сети распределены по ее соединениям - прямо как в реальном мозге.
На первый взгляд, нейронные сети казались наилучшим приложением моих интересов. Но я быстро развеял свои иллюзии в этой области. За это время у меня сформировалось мнение, что три вещи были существенными для понимания мозга. Первым моим критерием было включение времени в функции мозга. Реальный мозг быстро обрабатывает потоки информации. Нет ничего статического в потоках информации, поступающих в мозг и из мозга.
Вторым критерием была важность обратных связей. Нейроанатомы давно осведомлены о том, что мозг насыщен обратными связями. Например, в контуре между неокортексом и нижележащей структурой, называемой таламусом, количество соединений, идущих обратно (в сторону входа) превышает количество идущих в прямом направлении более чем в десять раз! То есть, на каждое волокно, передающее информацию в направлении неокортекса приходится десять волокон, передающих информацию в направлении органов чувств. Обратные связи преобладают также и в большинстве соединений внутри неокортекса. Никто не понял конкретную роль этих обратных связей, но из опубликованных исследований ясно, что они есть везде. Я полагаю, что это должно быть важным.
Третьим критерием было то, что теория или модель мозга должна учитывать физическую архитектуру мозга. Неокортекс не является простой структурой. Как мы увидим далее, он организован как повторяющаяся иерархия. Ни одна нейронная сеть, не обладающая такой структурой, определенно не будет работать как мозг.
Но как только феномен нейронных сетей покинул сцену, ее занял класс очень простых моделей, которые не удовлетворяли ни одному из этих критериев. Большинство нейронных сетей состоят из небольшого количества нейронов, соединенных в три слоя. Паттерн (вход) подается на первый слой. Эти входные нейроны соединены со следующим слоем нейронов, так называемым скрытым слоем. Скрытый слой затем соединяется с последним слоем нейронов, выходным. Соединения между нейронами имеют различный вес, подразумевая, что активность одного нейрона может усиливать активность другого нейрона и ослаблять активность третьего в зависимости от веса соединения. Изменяя эти веса, нейронная сеть обучается отображать входные паттерны на выходные.
Такие простые нейронные сети обрабатывали только статические паттерны, не использовали обратных связей и не были чем-то похожим на мозг. Наиболее общий тип нейронных сетей, называемых сетями "обратного распространения", обучались путем распространения ошибки от выходных слоев обратно к входным. Вы могли бы подумать, что это одна из форм обратной связи, но это не так. Обратное распространение ошибки возникало только во время фазы обучения. Когда нейронная сеть работала в обычном режиме после того, как она была обучена, информация распространялась только в одну сторону. От выходов к входам не было обратных связей. И у этих моделей не было времени. Статический входной паттерн преобразовывался в статический выходной. Затем подставлялся другой входной паттерн. В сети не было какой либо истории или записей о том, что происходило даже чуть раньше. И наконец архитектура этих нейронных сетей была тривиальной по сравнению со сложной и иерархической структурой мозга.
Я думал, что это направление быстро перейдет к более реалистичным сетям, но этого не произошло. Поскольку эти простые нейронные сети были способны на интересные вещи, казалось, что исследования остановятся прямо там на годы. Был найден новый и интересный инструмент, и неожиданно тысячи ученых, инженеров и студентов бросились получать гранты, зарабатывать ученые степени и писать книги о нейронных сетях. Были созданы компании, использующие нейронные сети для предсказания курсов на фондовых рынках, обработки заявок на получение кредитов, проверки подписей и выполнения сотен других приложений по классификации паттернов. Хотя намерения исследователей в этой области могли бы быть более общими, эта область стала доминирующей стараниями людей, которые не были заинтересованы в понимании того, как работает мозг или что такое интеллект.