Теперь посмотрим, имеются ли общие структурные характеристики, объединяющие все иконические жесты. Тут на помощь приходят исследования специалистов в области биологии и математической теории сложности движений. Как это не раз предлагалось делать, сложность движения можно измерять количеством векторных поворотов при его производстве, то есть количеством смен направлений в геометрии движения, и образом траектории движения.
Иконические иллюстраторы по меньшей мере тремя структурными характеристиками отличаются от еще более высокочастотных аккомпаниаторов – жестов-ударов.
Во-первых, все иконы-иллюстраторы имеют не менее двух векторных компонентов и несколько поворотов, что противопоставляет их более простым в этом отношении жестовым ударам, имеющим обычно один векторный жестовый компонент или, в крайне редком случае, два, производимые с одной и той же силой, но в противоположных направлениях. Во-вторых, в отличие от жестов-ударов, иконы-иллюстраторы имеют довольно широкую амплитуду (Hadar, Butterworth 1997, 151). В-третьих, по причине своей широкой амплитуды они являются единицами, относительно продолжительными в воспроизведении: большинство из них длится, как правило, более чем полсекунды4.
Рассмотрим здесь лишь один пример. Среди русских иконических иллюстраторов есть жест «то ли так, то ли так» (по форме совпадающий с английским «so-so»), передающий колебания в выборе одного из членов альтернативы. Однократный или двукратный поворот кисти руки вправо-влево (либо наоборот, сначала влево, потом вправо) с широкой для кисти амплитудой поворота и не очень быстрый по времени, в особенности если выбор решения затруднителен, иконически передает это мысленное колебание жестикулирующего.
Завершая анализ иконических жестов, рассмотрим важнейшие контекстуальные характеристики икон-иллюстраторов.
Иконические иллюстраторы, по крайней мере русские жесты, возникают обычно по соседству с теми участками устного дискурса, где у адресанта теряется беглость речи. По своему происхождению и по роли в контексте иконические иллюстраторы делятся на два класса. Одни жесты, по-видимому, рождаются в ходе концептуального планирования речи, отражая сам процесс планирования, тогда как другие являются внешней манифестацией иного процесса – процесса порождения речи. То, что иллюстратор, соседствующий с речью, демонстрирует смысловую соотнесенность со своим лексическим спутником, означает не только что какой-то аспект семантики данного высказывания определен до лексического выбора и до порождения жеста, но и что в замысел говорящего уже входило то, каким способом, вербальным или жестовым, будет выражен данный смысл.
Иконические иллюстративные жесты выполняют несколько контекстных функций.
Прежде всего (1) они облегчают порождение речи, и проявляется это в целом ряде внешне наблюдаемых фактов. Так, человек, не желающий употребить в речи некоторое слово или выражение и пытающийся не допустить возникновения в разговоре нежелательной паузы, так сказать, «тянет время». Употребляя вместо какого-то слова жест (это обычно неопределенный по направлению и амплитуде жест руки или пальца руки), он делает общение непрерывным или более гладким.
Далее, (2) с помощью иконических иллюстраторов и жестикуляции один человек может подсказать другому нужное, но сейчас забытое слово («помню, но забыл»).
(3) Наконец, исполняемые иллюстративные жесты, отображающие самые разнообразные элементы и аспекты ситуации, существенно способствуют порождению устного текста. Например, пытаясь вспомнить реплику из некогда имевшего место диалога или желая подобрать точно выражающее мысль слово, жестикулирующий восстанавливает в памяти разнообразные аспекты репрезентируемой ситуации и вспоминает, кто были участники того диалога, как они были одеты, что делали, а также более наглядно представляет внешний контекст диалога, происходившего в прошлом. Он чешет голову, морщит лоб, приоткрывает рот, щелкает пальцами, смотрит в одну точку, например вбок или вверх, как бы прерывая связь с миром, закрывает лицо руками и др.
Согласно существующим представлениям о том, как происходит порождение речи, и моделям порождения, поиск необходимой лексической единицы проходит две стадии.
На первой стадии, исходя из имеющихся к данному моменту концептуальной и смысловой спецификации (конкретизации), ищется абстрактная лексическая единица соответствующего содержания. Этот первый промежуточный этап на пути к окончательному выбору адекватного поверхностного имени лексемы в литературе часто называют «построением семантического лексикона»5, или лемматизацией (lemma retrieval)6.
На второй стадии информация, полученная на первом этапе, используется для поиска адекватной фонологической или графической формы слова (или отдельной лексемы в случае полисемии) в наличествующем фонологическом или графическом фонде языка, то есть предполагается, что форма берется из имеющихся лексиконов7.
В терминах данной модели порождения лексики устного текста семантическая приемлемость жеста может зависеть, таким образом, от смысловой спецификации, которая открывает путь к лексикону или облегчает к нему доступ. И вероятный функциональный кандидат на роль жеста – это тот невербальный знак, который может демонстрацией отдельных смысловых комплексов облегчить лексический поиск.
Иконические иллюстративные жесты, как было показано в целом ряде экспериментов и как отмечается в работе (Hadar, Butterworth 1997, 159–161), связывают речь на обеих стадиях обработки – и на, так сказать, постсемантической, и на предречевой. Тесная связь жестов с ситуацией затрудненности или дефицита речи дает основания полагать, что они активно участвуют в процессе облегчения порождения речи и отражают некоторые особенности этого процесса (см. (Подлесская, Кибрик 2003; 2007)).
Первое фундаментальное допущение, которое здесь неявным образом принимается, таково: в процессе производства устной речи концептуальная обработка информации активизирует визуальные, жестовые, тактильные и другие невербальные каналы передачи информации и соответствующие образы. Делается это, предположительно, автоматически и, предположительно, в той мере, в которой признаки, участвующие в такой обработке, помогают вызвать мысленный образ объекта.
Некоторое подтверждение сформулированной гипотезы можно найти в реально наблюдаемых фактах, показывающих, что иконические жесты и мимика являются самыми ранними формами жестовой коммуникации – как в онтогенезе (см. информацию на этот счет, в частности, в книгах (McNeil 1992; Крейдлин 2002)), так и в филогенезе (Kimura 1979, 197–220). Например, с жестами и мимикой мы можем встретиться еще до словесных выражений, подобно тому, как мы наблюдаем движения глаз или губ до чтения вслух или во время чтения. Такие телесные движения не являются результатом всецело интенсионального процесса, но после того, как они начались, их волевым усилием можно прекратить.
Второе столь же важное допущение состоит в том, что визуальный, тактильный или иной сенсорный образ являются посредниками между концептуальной обработкой информации и порождением иконических жестов. Предполагается, например, что возникающий визуальный образ предмета, человека, ситуации и т. п. облегчает поиск и нахождение слова при синтезе устного текста. Это происходит благодаря трем разным операциям: (а) фокусированию внимания на каком-то аспекте или фрагменте при концептуальной обработке, (б) постоянному наблюдению за ключевыми признаками во время смыслового отбора и (в) отслеживанию того, как проходит непосредственная активизация форм слов в фонологическом лексиконе. Неудачи при поиске слова дают возможность выявить черты образа или мысленного представления и определить, каковы жесты, связанные с этими чертами.
Д. Мак-Нил (McNeil 1992) утверждает, что жесты возникают на ранней стадии построения сообщения, или, в его терминологии, «коммуникативной динамики» (communicative dynamics), то есть тогда же, когда порождается и языковой материал (linguistic production). По словам ученого, жестовые знаки проходят путь от когнитивного представления через образную репрезентацию смысла к выражающей его моторной артикуляции, при этом постоянно соединяясь и взаимодействуя с речью. Однако жесты, как считает Д. Мак-Нил, совсем не обязательно связаны с лексическим выбором.
Его оппоненты У. Хадар и Б. Баттерворт (Hadar, Butterworth 1997) с таким выводом Д. Мак-Нила не согласны, и мы к ним присоединяемся. Они полагают, что их представление, закрепленное в модели порождения устного текста, которую они предлагают, гораздо лучше объясняет факты соединения вербальной и жестовой продукции. Ученые проверили (и подтвердили на большом материале) свою гипотезу, согласно которой жесты с низкой смысловой конкретизацией, то есть более абстрактные и менее определенные по смыслу, должны давать бóльшие временные задержки и с большей вероятностью появляться в «предсловных» и «предсентенциальных» позициях, чем жесты с высокой смысловой конкретизацией. Нарушение этой закономерности употребления обычно порождает коммуникативный конфликт.
Модель, предлагаемая У. Хадаром и Б. Баттервортом, объясняет также и то, почему люди, испытывающие семантические трудности, производят больше предлексических (досемантических) жестов, а люди, испытывающие затруднения в поиске фонологического оформления смысла, производят больше постлексических (постсемантических) жестов.
Иконические иллюстраторы могут, разумеется, выполнять отдельные коммуникативные функции, но по отношению к той совокупности когнитивных функций, которые они выполняют, передача информации является не основным, а вторичным, второстепенным их назначением. При этом они всегда придают тексту выразительность или образность. Еще до того, как рассматривать значение и поведение иконических жестов в контексте, в котором они встречаются или могут встретиться, и строго описывать их функциональное назначение, следовало бы для каждого из этих жестов определить, что представляют собой те смыслы и когнитивные идеи, которые они призваны кодировать и передавать. К сожалению, приходится констатировать, что сегодня ни для одной культуры и ни для одного языка жестов не существует ни объяснительных словарей, ни хотя бы отдельных описаний основных иконических телесных единиц.
§2. Лекторские жесты и их типы
В данном разделе излагаются некоторые результаты и выводы, относящиеся к важной части проблемы мультимодальности, а именно к выявлению особенностей сосуществования в диалоге определенного жанра особого рода вербальных и жестовых единиц.
С самого начала установим весь круг учитываемых здесь признаков и укажем значения, которые они принимают. Прежде всего это тип рассматриваемой культуры и коммуникации: мы будем рассматривать русскую культуру и коммуникацию одного лица со многими лицами, связанными общей деятельностью, а именно с некоторой аудиторией. Речь пойдет только об одном виде такой деятельности – учебной деятельности, осуществляемой в диалоге лектора со студентами8.
Несколько огрубляя реальную картину, можно считать, что все студенты в аудиториях были примерно одного возраста, нормального физического здоровья и психического состояния. Лекторы, знаковое поведение которых изучалось, были разного пола и возраста (от 35 до 65 лет). Все они – штатные преподаватели РГГУ, представители гуманитарных профессий: лингвисты, историки, социологи, политологи, специалисты по теории литературы и культурной антропологии. На видеокамеру записывались только те фрагменты лекций, во время которых шло объяснение нового материала. Впоследствии для описания были отобраны 10–15 минут из общего числа записанных.
В отличие от авторов работ (Печерская 2001; Рико-Кассар 2005) нас интересовали не только анализ отдельных лекторских жестов и жестовых (или жестово-фонетических, как в работе (Рико-Кассар 2005)) комплексов, но и установление основных принципов и способов взаимодействия жестов с вербальным составом высказываний. В своей работе мы постарались учесть результаты и выводы, связанные с оценками соотношения невербального и вербального компонентов, которые содержатся в работах целого ряда авторов, изучавших диалогические тексты самых разных жанров, стилей и тематики. Это труды отечественных лингвистов по дискурсивному анализу текста и невербальному диалогическому поведению, авторами которых являются М. Б. Бергельсон, А. И. Галичева, Е. А. Гришина, А. А. Кибрик, Е. Б. Морозова, Ю. В. Николаева, В. И. Подлесская, Н. В. Сухова, И. А. Шаронов и др. Это также исследования зарубежных лингвистов и психологов в области мультимодальной педагогики, обучения родному и неродному языкам, исследования по овладению дошкольниками, школьниками и студентами понятийным и инструментальным научным аппаратом. Мы имеем в виду прежде всего работы (Alibali et al. 2000; Arzarello, Edwards 2005; Edwards 2003; Goldin-Meadow 2003; Graham 1999; Nemirovsky et al. 1998; Roth 2001).
Жанр, который мы исследовали, – это жанр академических лекций, которые часто рассматривают как совокупность коммуникативно направленных монологических текстов дидактического характера. Представляется, однако, что академическая лекция как речевой жанр имеет целый ряд особенностей и разновидностей. Она может читаться по-разному и, в частности, вестись в диалогическом режиме. Нам были интересны только такие лекции-диалоги, во время которых имел место очевидный и более или менее постоянный вербальный и невербальный контакт преподавателя с аудиторией (конечно, относительно малочисленной). Мы будем здесь рассматривать только поведение лектора; реакции слушателей на произносимый лектором текст представляют собой отдельный объект для изучения.
Замечание (О системности описания лекторских и других типов жестов)
Сегодня при анализе диалогов многие встречающиеся в них странные, курьезные и плохо объяснимые невербальные явления и единицы часто игнорируются как несущественные. Их списывают, нередко ссылаясь на их незнаковый характер, на индивидуальность авторского стиля, на неразвитость или отсталость культуры, на недостаточное знание особенностей данного народа и общества. Кажется, однако, что все же стоит попытаться разглядеть в этих явлениях и единицах пусть уникальные, но хотя бы в какой-то степени релевантные черты мировосприятия социальной группы, культуры или некоторого временнóго периода. Нередко интересными не только какие-то невербальные модели поведения и жесты, в частности лекторские, но и тот тип мышления и тот тип невербальной культуры, которые стоят за ними и которые обеспечивают существование и функционирование невербальных знаков и моделей в коммуникативном акте. За дидактическими телесными знаками и моделями поведения ввиду самой природы жестов часто скрываются неявные глубинные культурные слои, которые отражают ментальность лектора и производимые им когнитивные и другие интеллектуальные операции (часто проходящие мимо рефлексии исследователей невербальной коммуникации).
В ходе изучения лекторских жестов проверялось следующее предположение: чем сложнее передаваемое сообщение, тем больше мануальных жестов применяет человек в процессе трансляции сообщения, при условии, конечно, что он хочет успешно достичь своей коммуникативной цели, в данном случае – доходчиво объяснить новый материал студентам. Иными словами, мы предполагали наличие определенной корреляции между сложностью сообщения, типом коммуникативной ситуации и использованием жестов. Больше того, мы полагали, что максимально большое число иллюстраторов будет в ситуациях трудного для понимания и важного сообщения или при формулировке сложного задания, а минимальное число иллюстраторов – в ситуациях опосредованного общения при передаче легкого задания или не слишком сложного информационного сообщения.