И хотя эта книга мало чем примечательна, она тем не менее позволяет нам многое узнать о жанре любовного романа как таковом. Например, очевидно, что эта книга написана для «нее» – слово her («ее») занимает восемь полных страниц (с. 130–138), his («его») – две с половиной (с. 141–144). В книге можно найти полстраницы «глаз» (eyes) и треть страницы «грудей» (breasts), а вот «ягодицы» (buttocks) упоминаются в ней всего лишь один раз. Книгу можно назвать довольно динамичной – на одной лишь с. 62 слово «кульминация» (climax) встречается три раза.
Иногда книга может показаться не слишком интеллектуальной. Например, слово «прекрасный» (beautiful) встречается в ней 29 раз, «умный» (Intelligent) – всего однажды. Однако бывает и так, что мы ощущаем напряжение исходной книги, – взять хотя бы леденящий душу пассаж на с. 187: Murderers murderers, murdering murdering murdering murdering murdering murdering murdering, murderous murderous. murders murders, murky murmur murmured («Убийцы убийцы, убивая убивая убивая убивая убивая убивая убивая убивая, убийственный убийственный, убийства убийства мутный шум пробормотал»).
На протяжении нескольких лет мы обращались к этой книге снова и снова, каждый раз обнаруживая нечто новое и интересное.
Все это кажется поначалу странным. Можно было бы предположить, что, превращая любовный роман в алфавитный список и тем самым уничтожая его изначальный смысл, Реймер могла бы заодно уничтожить все то, что делало текст интересным. И в какой-то степени это правда. Однако в результате алфавитной реорганизации текста нам открывается невидимый прежде мир частотности слов – лексических атомов, из которых состоит текст. Эта частотность – и истории, которые она рассказывает, – как раз и превращает результат работы Реймер в столь увлекательное повествование.
Трудный ребенок
На момент нашего знакомства в 2005 году тема больших данных была еще неактуальной[37]. Идея чтения миллионов книг за долю секунды пока что не приходила нам в голову. Мы были всего лишь молодыми студентами-старшекурсниками, которых интересовала масса вопросов.
Для того чтобы найти, чем заинтересоваться, нужна соответствующая среда. Мы встретились на гарвардской программе Evolutionary Dynamics[38] – в настоящей гавани творчества и науки, организованной харизматичным математиком и биологом Мартином Новаком. Программа «Эволюционная динамика» представляла собой площадку, на которой математики, лингвисты, онкологи, религиоведы, психологи и физики собирались вместе и размышляли о новых способах изучения мира. Новак призывал нас искать решения любых проблем, интересовавших нас, вне зависимости от того, к какой области знания они относились.
Что делает проблему увлекательной? На эту тему можно вести множество споров. Нам казалось, что увлекательный вопрос – это вопрос, который может задать маленький ребенок, ответ на который неизвестен, и при поиске этого ответа (занимающем порой несколько лет научных исследований) можно достичь вполне заметного прогресса. Именно такие вопросы казались интересными и нам. Дети – отличный источник идей для исследований. Их вопросы вроде «Куда уходит солнце по вечерам?» [39] и «Почему небо синее?» [40] заставляют пытливые умы погрузиться в глубины астрономии и физики. А вопросы вроде «Может ли дерево вырасти и стать выше горы?» [41] или «Могли бы мы жить вечно, если бы изо всех сил старались избегать всевозможных опасностей?» заставляют обратиться к изучению некоторых актуальных тем в современной биологии. Привычный для любых родителей вопрос «Но почему я должен идти спать прямо сейчас?» [42] – не дает заснуть множеству неврологов.
Однако из всех этих вопросов нас увлек один: «Почему мы говорим drove, а не drived?» [43]
Вопрос показался нам интересным, поскольку представлял собой простой пример довольно важной для всего человечества темы. Почему мы, как культура, используем одни слова или идеи, а не другие? Почему мы соблюдаем одни правила и игнорируем все прочие?
Для поиска решений таких вопросов возможны два подхода. Первый состоит в том, чтобы сконцентрироваться на нынешних обстоятельствах, которые и приводят к тому, что мы ведем себя определенным образом. Например: «Мой милый сын, ты говоришь drove, потому что все остальные тоже говорят drove, а если бы ты сказал drived, то наши соседи подумали бы, что мы, твои родители, не озаботились тем, чтобы научить тебя правильному английскому языку». Это отличный ответ, заставляющий задуматься о природе социальных норм. Философы занимались осмыслением таких вопросов на протяжении столетий. Однако порой ученый может прийти к гораздо более неожиданным открытиям, изучая явления в исторической перспективе.
Пожалуй, самым впечатляющим примером перспективного подхода во всей истории науки могут считаться работы Чарльза Дарвина. Более 150 лет назад Дарвин отправился в путешествие на корабле и столкнулся со множеством странных живых существ. Особенно сильно его заинтересовали некоторые птицы, которых он увидел на Галапагосах: почему клювы вьюрков имели такую странную форму? И вообще, почему животные выглядят так, как они выглядят?
А затем Дарвин сделал крайне проницательное заключение. Вместо того чтобы сконцентрироваться исключительно на настоящем, он посмотрел в далекое прошлое. Дарвин задался вопросом – как получилось, что со временем те или иные организмы обрели нынешнюю форму? Если мы хотим понять мир в его нынешнем виде, полагал он, мы должны понять и суть процесса изменений, который привел нас в это состояние. И этот процесс изменений – важнейшее открытие Дарвина – представляет собой комбинацию воспроизводства, мутации и естественного отбора, и эта комбинация (или, иными словами, теория эволюции) способна объяснить все примечательное разнообразие живого мира.
Перспективный подход превращает вопрос о том, почему мы говорим drove, а не drived, в научный поиск тех сил, которые определяют эволюцию человеческой культуры. В течение длительного периода времени мы совершенно не представляли себе, как подступиться к этим силам. Все, что у нас было, это «детский» вопрос.
Охотники на динозавров
Мы как ученые должны заниматься сбором данных – холодных, четких фактов и точных результатов измерений. Мы должны формулировать однозначные гипотезы, а затем пытаться изменить или скорректировать их с помощью точных экспериментов и анализа. С этой точки зрения культура – вещь, которую сложно определить и еще сложнее измерить, – может оказаться довольно твердым орешком. Именно это и делает столь непростой научную работу в областях вроде антропологии. Отчасти именно по этой причине в 2010 году Американская антропологическая ассоциация приняла довольно противоречивое решение об исключении слова «наука» из формулировки своей задачи (стоит отметить, что позднее это слово было вновь возвращено в текст) [44].
Мы решили начать с достаточно узкого аспекта культуры, который довольно просто определить и измерить, – языка. Язык представляет собой своеобразный микрокосм для изучения культуры в целом. Это – основное средство распространения человеческой культуры. Он меняется, и это легко заметит любой человек, читающий пьесы Шекспира. И наконец, язык часто имеет письменную форму и именно в этой форме превращается в массив данных, удобный для научного анализа. В конечном счете письменный язык может считаться одним из самых ранних предшественников больших данных.
Каким же образом следует подходить к вопросу изучения эволюции языка? Если взять биологию, то лучший способ понять пути развития эволюции состоит в изучении окаменелостей. Однако находить ископаемые довольно сложно. Для этого требуется сочетать тщательное планирование и хорошую стратегию. С точки зрения успешного поиска окаменелостей мало кто может сравниться с Натаном Мирвольдом, возможно, величайшим охотником на динозавров в своем поколении (этот человек множества талантов также стал одним из основателей Microsoft Research и написал книгу о современной кухне) [45]. И дело вовсе не в том, что Мирвольду везет больше, чем другим, и что каждый беловатый камень, который он в своих экспедициях берет в руки, оказывается черепом динозавра Tyrannosaurus rex. Мирвольд и его команда используют подробные геологические карты, спутниковые фотографии и свою собственную программу экологического анализа. Все это помогает им понять, где заниматься поисками и где белые камни действительно имеют шансы оказаться окаменелостями. В результате, начиная с 1999 года, им удалось обнаружить десять скелетов тираннозавров – при том что за 90 предшествовавших лет было найдено всего 18 таких скелетов. Выражаясь словами самого Мирвольда, «мы господствуем на рынке T. rex».
Мы решили господствовать на рынке лингвистических окаменелостей. Подобно тому, как окаменелости эпохи динозавров рассказывают нам о биологической эволюции, лингвистические окаменелости помогают нам понять, как развивается язык. Однако для того, чтобы повысить шансы на успех в поиске таких окаменелостей, нам был необходим некий руководящий принцип, помогающий понять, где именно копать. И оказалось, что нужный нам инструмент был создан 80 лет назад человеком, который, как и мы сами, искренне любил считать.
1937: Одиссея данных
Джордж Кингсли Ципф работал в Гарварде в 1930-е и 1940-е годы, возглавляя отделение германской литературы. У него имелась комбинация довольно редких навыков – с одной стороны, он был гуманитарием, а с другой – разбирался в количественных измерениях.
Будучи филологом, Ципф проводил кучу времени в размышлениях о словах. Ему казалось вполне очевидным, что не все слова созданы равными. Определенный артикль the используется в английском языке постоянно, но мы редко слышим слово quiescence («неподвижность»). Ципф счел этот дисбаланс довольно странным и захотел понять, в чем дело.
Понять суть проблемы можно вот как. Представьте себе, что английский язык – это страна, в которой каждое слово является гражданином. А еще представьте, что высота каждого слова-гражданина пропорциональна частоте его употребления – the будет гигантом, а quiescence – карликом[46]. Каково было бы жить среди людей со столь странным ростом? Именно такой «детский» вопрос и заинтересовал Ципфа.
Чтобы представить такой мир наглядно, Ципфу пришлось бы провести перепись всех слов и посчитать, сколько раз использовалось каждое из них. В наши дни это легко и просто сделать с помощью компьютера (программы из одной строки) [47]. Именно поэтому для написания концептуальной книги Legendary, Lexical, Loquacious Love не требовались десятилетия. Но в 1937 году таких возможностей не было. Современные компьютеры просто не существовали, а словом computer («компьютер») обозначался человек, занимавшийся арифметическими вычислениями[48].
Для подсчета слов Ципфу пришлось бы пойти проверенным путем – вручную записывать каждый случай появления того или иного слова в тексте. Разумеется, это была бы невероятно скучная работа.
Думается, что он испытал восторг, узнав о работе Майлса Л. Хенли[49]. Хенли, большой поклонник «Улисса», опубликовал результат кропотливой и героической работы, которой дал довольно скучное название Word Index to James Joyce’s Ulysses («Индекс слов в книге Джеймса Джойса „Улисс“»). Эта книга (представлявшая собой то, что ученые называют «конкорданс») предлагала исследователям «Улисса» и прочим энтузиастам список всех слов книги. Мало какая другая книга вызвала бы у Ципфа больший интерес. Теперь для того, чтобы разобраться со своей первоначальной задачей, ему нужно было взять индекс Хенли и посчитать, какова длина каждой из статей[50]. Работа стала на порядок проще.
Обратите внимание, что Ципф намного опередил свое время в понимании того, что только начинают понимать ученые наших дней, – как логически анализировать информацию. Ципф умело переформулировал важные для себя вопросы в свете доступных ему данных. Вместо того чтобы заняться неразрешимой проблемой подсчета всех слов, он сфокусировался на вполне решаемой проблеме подсчета слов в книге «Улисс». И если бы он был жив в наши дни, то оказался бы у дверей Google в тот же самый момент, когда компания объявила о своем проекте по оцифровке книг.
Вооружившись индексом Хенли, Ципф проранжировал слова в «Улиссе» по частоте употребления[51]. Первое место занял определенный артикль the, использованный 14 877 раз – то есть он представлял собой каждое восемнадцатое слово. Десятым по частоте оказалось слово I («я») с 2653 случаями употреблений. Слово say, встречавшееся в книге 265 раз, оказалось на сотой позиции. Слово step с 26 случаями употреблений заняло в рейтинге Ципфа тысячное место. А чтобы оказаться на десятитысячной позиции, слову indisputable («бесспорный») было достаточно появиться в тексте всего два раза.
Изучая получившийся список, Ципф заметил кое-что любопытное – а именно обратную связь между позицией слова и частотой его использования. Если номер позиции слова был в 10 раз выше – пятисотое место вместо пятидесятого, – то оно встречалось в 10 раз реже. Таким образом his («его»), оказавшееся на восьмом месте с 3326 упоминаниями, встречается в 10 раз чаще, чем слово eyes («глаза») (восьмидесятая позиция, 330 случаев употреблений). Иными словами, можно было сказать, что редких слов гораздо больше, чем можно было ожидать. В «Улиссе» лишь 100 слов используется более 2653 раз. Однако в книге есть сто слов, использующихся более 265 раз, тысяча слов, использующихся более 26 раз, и так далее.
Кроме того, как вскоре обнаружил Ципф, это было характерно не только для слов в «Улиссе» Джойса. Такая же закономерность проявлялась в словах из газет, текстов, написанных на китайском языке и латыни, и практически во всех остальных информационных источниках, к которым он обращался. Это открытие, называемое в наши дни законом Ципфа, оказалось универсальным организующим принципом для всех известных языков[52].
Мир глазами Ципфа
До Ципфа ученые полагали, что большинство вещей, поддающихся измерению, ведут себя подобно человеческому росту.
[53]. У математиков имеется особый термин для описания распределения такого рода, при котором значения настолько тесно группируются вокруг среднего значения. Подобное часто встречающееся распределение называется «нормальным». До Ципфа люди считали, что мы живем в нормальном мире, где нормальным оказывалось бы все окружающее.