Если мы теперь сравним условные рефлексы первого и второго типа, то увидим, что за сходством терминологии здесь скрывается существенное различие явлений. В первом случае «подкрепляющим» называют такой стимул, который «безусловно» вызывает у животного вырабатываемую реакцию (SA→RA). Так, в опытах с пищевыми условными рефлексами мясо (подкрепляющий стимул) «безусловно» вызывает пищевую реакцию – слюноотделение. Во втором же случае вообще нет такого стимула, который «безусловно» вызывает лай. «Подкрепление» же (мясо) играет другую роль – роль вознаграждения. В условных рефлексах второго типа нет аналога ситуации SA→RA
В нашей модели наличие ящиков первого порядка достаточно для моделирования классических условных рефлексов, но не может обеспечить реализации условных рефлексов второго типа. Иначе обстоит дело, если использовать ящики высших порядков. Наличие карточки F в ящике ЕС моделирует след в памяти того, что событие F произошло после С, которому предшествовало Е. Из вышесказанного ясно, как ящик ЕС может быть использован для того, чтобы осуществить вероятностное прогнозирование предстоящих событий, в частности предсказать вероятность наступления события F.
Но ящики второго (и более высокого) порядка могут быть использованы еще и другим образом. Под каждой буквой (в нашем примере F, Е, С) можно понимать любое событие, воспринимаемое животным. Таким событием может быть и внешнее явление, и собственное действие животного: сгибание лапы, лай и т. п.
Пусть F будет означать появление мяса, Е – стук метронома, С – лай. Послышался стук метронома Е. Собаке же хочется мяса F. Что надо сделать, чтобы с наибольшей вероятностью получить мясо? В памяти-картотеке просматриваются ящики ЕА, ЕВ, ЕС,, где А, В, С… – различные действия собаки. В каждом из этих ящиков подсчитывается вероятность наступления желаемого события (появление мяса). Таким образом, используя ящики второго порядка, можно не только осуществлять вероятностное прогнозирование внешних событий, но и строить планы собственных действий С, приводящих с наибольшей вероятностью в заданных условиях (произошло Е) к желаемому результату («хочу мяса» – Е). Еще лучше эта задача решается с ящиками более высоких порядков. Ящики n-го порядка позволяют строить планы действий, состоящие из n минус 1 шагов, приводящих с наибольшей вероятностью к желаемому результату в заданных условиях. С помощью ящиков n-го порядка можно строить и более короткие планы действий – из n минус к шагов, но зато к первых элементов будут использованы для более точного прогноза.
Чем более высокого порядка ящиками располагает модель, тем точнее она осуществляет вероятностное прогнозирование, тем более длинные планы действий можно строить. Но это дается ценой значительно большей громоздкости памяти и «перебора» при выборе из памяти. Число ящиков в модели сильно увеличивается при возрастании их высшего порядка (n).
При том же числе т возможных событий (т. е. таких событий, которые наступили хоть раз в жизни модели) модель может содержать: ящиков первого порядка – т, ящиков второго порядка – m2, ящиков третьего порядка – m3,, ящиков n порядка – mn.
Так что в простой среде пользоваться ящиками высоких порядков нецелесообразно: процедура прогнозирования становится громоздкой и длительной, а выигрыш в точности может быть малым или даже совсем отсутствовать (если, например, среда представляет собой бернуллиеву последовательность, т. е. случайную последовательность, в которой вероятность возникновения того или иного события не зависит от предшествовавшего события).
Здесь мы сталкиваемся с тем, что стремление улучшить вероятностное прогнозирование приводит к чрезвычайно громоздкой модели памяти. А нельзя ли каким-либо образом несколько разгрузить память, не ухудшая результатов вероятностного прогнозирования? Нельзя ли запоминать не все в равной степени и даже кое-что совсем не запоминать? Вслед за этим сразу же возникает другой вопрос: что именно надо запоминать более основательно, чтобы сохранить способность к вероятностному прогнозированию?
Пусть наша модель запоминает не все, что поступит на ее вход, с одинаковой глубиной. До сих пор блок памяти системы имел на входе сигналы («внешние события»), а на выходе, в качестве конечного продукта, – вероятностный прогноз, который мог быть использован следующими блоками, осуществляющими преднастройку. Теперь же и сам блок памяти должен будет использовать свой «продукт» – прогноз.
Если произошло событие А, то с помощью ящика «А» подсчитывается Р(А) – вероятность того, что снова произойдет А, Р(В) – вероятность того, что наступит событие В…, Р(К) – вероятность того, что наступит событие К. Это и есть вероятностный прогноз.
Предположим, что после этого наступило событие Y – событие, вероятность наступления которого, согласно прогнозу, равнялась P(Y). Теперь, как мы уже писали выше, следует поставить карточку Y в ящик А. Но карточка ставится с разным «весом» в зависимости от степени неожиданности события Y, она ставится с коэффициентом 1— P(Y).
Назовем эту величину коэффициентом неожиданности. Если в прошлом опыте после А всегда следовало Y, то Р(Y) = 1 (субъективная «модель среды» точно соответствует среде). Тогда 1—Р(Y) = 0, т. е. повторно наступившее событие Y не запоминается, не загружает память. В жестко детерминированной среде модель перестает запоминать, как только «научается» безошибочно прогнозировать ход событий. Но, если среда изменится и наступит не то событие, которое прогнозировалось, это событие врежется в память с максимальным коэффициентом неожиданности 1–0 = 1. Каждое событие запоминается тем сильнее (т. е. оказывается труднее забываемым), чем более неожиданным (удивительным) было возникновение его в данный момент.
Вероятности ожидания сигналов или ситуаций могут меняться от Р = 1 до очень маленьких величин. Всегда ли субъект учитывает все значения вероятностей или он может работать более экономно?
Можно предположить, что преднастройка осуществляется лишь по отношению к действиям, адекватным такой ситуации, возникновение которой прогнозируется с вероятностью, превышающей некоторую минимальную величину Р0. Величина Р0 играет роль абсолютного порога вероятностного прогноза. К ситуациям, появление которых прогнозируется с вероятностью меньшей, чем Р0 преднастройка не осуществляется. Если Р0 = 1/10 (а из экспериментальных данных вытекает, что это примерно так), то при наличии равновероятных сигналов вероятностный прогноз достигает пороговой величины Р0 лишь при числе сигналов до 10; при большем числе сигналов вероятностный прогноз появления каждого из них меньше порогового. Если же сигналы возникают с неодинаковыми вероятностями, то среди них могут оказаться сигналы с Р>0,1, но число таких сигналов будет всегда меньше 10 – независимо от общего числа сигналов. А это значит, что, как бы велико ни было число возможных сигналов, при наличии порога Р0 организм упрощает ситуацию так, как будто число возможных сигналов не больше, чем 1/Р0 (т. е. не более 10 в приводимом примере). Наличие порога Р0 позволяет при большом общем числе альтернатив принимать во внимание при прогнозировании лишь небольшую часть (не более 1/Р0) наиболее вероятных альтернатив.
Различие в подготовке к действиям на два сигнала наблюдается лишь тогда, когда различие прогнозируемой вероятности появления этих сигналов достаточно велико, больше некоторого ΔР – дифференциального вероятностного порога. В частности, для выработки условного рефлекса выработка прогноза с Р = 1 не является необходимой (такая ситуация практически недостижима даже в эксперименте); достаточно, чтобы прогнозируемая вероятность подкрепления была близкой к единице (Р≥1–ΔР).
Описанная структура памяти отражает лишь одну ее сторону, но именно ту, которая позволяет понять, как из прошлого опыта создается прогноз будущего, как осуществляется вероятностное прогнозирование.
Подготовка к действию и значимость сигнала
В приведенной выше структуре памяти в основу прогноза кладется частота (вероятность) возникновения событий и их сочетаний. При этом другие характеристики событий принимаются одинаковыми. Между тем ясно, что в действительности и преднастройка, и реакция субъекта на события сильнейшим образом зависят от значимости этого события для субъекта. Рассмотренная выше ситуация, когда все события принимаются как равные по значимости, является искусственной – удобной для первоначального исследования, но отличной от ситуации в реальной жизни. Очевидно, что сообщение о том, что этажом ниже возник пожар, вызовет совсем иную по силе и быстроте реакцию, чем сообщение о том, что этажом ниже ветер выбил стекло в окне – даже в том случае, если априорная вероятность этих сообщений одинакова. Равновероятные события могут вызвать очень различную преднастройку и различные реакции. Два разных субъекта различно реагируют на одну и ту же ситуацию даже при одинаковой неожиданности ее возникновения, если эта ситуация имеет для них различную значимость.
Значимость – величина субъективная, различная для разных субъектов, да и для одного и того же субъекта меняющаяся в зависимости от различных обстоятельств и прежде всего от целей субъекта. Дать определение значимости очень трудно; вместе с тем реальность ее существования и влияния на реакции субъекта не вызывает никакого сомнения. Совокупность значимостей, достаточно постоянных для данного субъекта, составляет существенную характеристику его личности. Это выявляется в его индивидуальных реакциях, в его системе предпочтений. Так, один предпочитает провести вечер на концерте Баха, а другой – за столом с приятелями. Но, чтобы сравнить то и другое и решить вопрос о предпочтении, надо измерить предпочитаемые вещи в сравнимой системе единиц. Поскольку каждый осуществляет такое сравнение, можно предположить, что у субъекта имеется некая единая шкала оценки значимости для различных ситуаций. Такая шкала напоминает деньги – всеобщий эквивалент, единую систему для оценки самых различных предметов и благ, дающую возможность сравнивать их. Только наличие такой единой шкалы (меры) может обеспечить систему индивидуальных предпочтений, выборов. Мы здесь не будем рассматривать, как формируется индивидуальная система значимостей. Ясно, что она связана с опытом, включая воспитание, влияние социальной среды.
В эксперименте, в ситуации, значительно упрощенной, по сравнению со сложными жизненными коллизиями, удается показать, как значимость сигнала влияет на время реакции на этот сигнал.
В экспериментах, проведенных на 26 испытуемых (студентах 20–29 лет), с помощью цифровой лампы предъявлялась случайная последовательность сигналов— цифры 1 и 2 с заданными частотами (соответственно Pj и P). По инструкции испытуемый должен был в ответ на появление сигнала 1 возможно быстрее и без ошибок нажимать ключ левой рукой, а в ответ на сигнал 2 нажимать другой ключ правой рукой. Время реакции регистрировалось электрическим миллисекундомером, включавшимся при появлении сигнала и выключавшимся при правильном нажимании ключа (при этом происходило и выключение сигнала).
Эксперименты проводились с тремя последовательностями сигналов (по 120 сигналов в каждой), различавшихся вероятностями появления сигналов 1 и 2:
а) последовательность: Р1 = Р2 = 0,5;
б) последовательность: Р1 = 0,75; Р2=0,25;
в) последовательность: Р1 = 0,83, Р2 = 0,17.
В I серии опытов испытуемые получали обычную почасовую оплату, зависящую от времени занятости в эксперименте.
Во II серии опытов вводилась еще дополнительная плата за каждую быструю и правильную реакцию на сигнал 2, что делало этот сигнал более значимым для испытуемого. Эта дополнительная плата была неодинаковой в разных сериях и в целом обеспечивала примерно одинаковый выигрыш для всех трех последовательностей сигналов.
В экспериментах с одинаковой значимостью сигналов 1 и 2 (первая серия) время реакции на сигнал и доля ошибочных реакций оказались большими на маловероятный (редкий) сигнал и меньшими на высоковероятный (частый) сигнал.
В экспериментах с неодинаковой значимостью сигналов для испытуемого (вторая серия) оказалось, что при повышении значимости одного из сигналов (2) время реакции на него и доля ошибочных реакций отчетливо снижается. Приводим в таблице 1 результаты этих исследований.
Как видим из этих экспериментов, введение дополнительной платы за правильную и быструю реакцию на сигнал увеличивает значимость отдельного сигнала для субъекта, что сказывается на укорочении времени реакции на этот сигнал. Значимость здесь формируется системой вознаграждений (или наказаний) за определенные реакции.
Повышение значимости сигнала для субъекта через увеличение вознаграждения (платы) за быструю и правильную реакцию на этот сигнал ведет к укорочению времени реакции на этот сигнал и к уменьшению числа ошибок на более значимый сигнал. При наличии двух сигналов, имеющих разную значимость для субъекта, время реакции на редкий (маловероятный) сигнал может не только сравняться с временем реакции на частый (высоковероятный) сигнал, но (при достаточном разведении вероятностей появления сигналов) даже стать более коротким, чем время реакции на частый, но менее значимый для субъекта сигнал.
Таблица 1
Время реакции и процент ошибочных реакций на сигналы одинаковой и неодинаковой значимости
Таким образом, время реакции зависит не только от частоты (вероятности) сигнала, но и от его значимости. Это было, в частности, хорошо показано в работе А. Н. Леонтьева и Е. П. Кринчик (47, 48), в которой редкий, но значимый («аварийный») сигнал вызывал быструю реакцию испытуемого.
Вместе с тем необходимо подчеркнуть, что исследование зависимости времени реакции от значимости сигнала принципиально отличается от исследования зависимости времени реакции от частоты сигнала. Частоту сигнала экспериментатор может задать, а затем проследить, как зависит от нее время реакции. Частота сигнала – объективная величина. Значимость же не может быть полностью задана экспериментатором. Одно и то же событие имеет разную значимость для разных субъектов. Исследователь может судить о значимости только по реакциям испытуемого. В условиях эксперимента исследователь может менять лишь оплату (вознаграждение или наказание) за реакции испытуемого. Но плата и значимость – не одно и то же. Значимость – лишь функция платы. При этом значимость – нелинейная функция платы. При очень маленьких платах значимость почти не меняется с изменением платы. Затем с ростом платы наступает участок прямой и отчетливой зависимости значимости от платы. При очень высокой плате, по-видимому, дальнейшее изменение платы почти не влияет на значимость.
Формализовать понятие значимости во всей сложности не представляется нам возможным, по крайней мере, в настоящее время. В этом отношении мы должны присоединиться к мнению Ф. В. Вассина относительно трудностей формализации «значения – для субъекта», личностного смысла (А. Н. Леонтьев).
Тем не менее для более ограниченных задач, для частного круга простых ситуаций могут быть сделаны попытки формализации понятия значимости.