2. Несмотря на все мои страдания, дороже всего это обошлось моей страховой компании – операции на колене стоят дорого. Могла ли компания лучше предвидеть этот риск, заключая договор страхования с сумасшедшим любителем горных лыж, и назначить соответствующую страховую премию?
3. В далеком 1995 году я стал жертвой еще одного инцидента, хотя тот и причинил мне гораздо меньше страданий. У меня украли персональные данные, что в итоге стоило мне десятков часов, потраченных на бюрократические формальности и оформление различных документов, чтобы восстановить мой испорченный кредитный рейтинг. Не могли ли кредиторы предотвратить эти неприятности, каким-либо образом определив, что заявки на новые кредиты на мое имя поступают от мошенников?
4. Очистив свое доброе имя, я взял ипотечный кредит для покупки квартиры. Было ли это хорошим решением или же мой финансовый консультант должен был предупредить меня, что в скором времени размер моей задолженности может превысить стоимость приобретенной недвижимости?
5. Моя профессиональная жизнь также не отличается стабильностью. Хотя сам бизнес процветает, моя компания всегда сталкивается с риском изменения экономических условий и растущей конкуренцией. Можем ли мы защитить рентабельность, спрогнозировав, какие маркетинговые мероприятия и другие инвестиции принесут отдачу, а какие будут пустой тратой денег?
6. Каждый день я, как и вы, переживаю множество мелких событий, которые определяют мою жизнь. Хороший спам-фильтр оказывает существенное влияние почти на каждый рабочий час. Мы сильно зависим от эффективного поиска в Интернете при решении вопросов, связанных с работой, здоровьем (например, чтобы разобраться со спецификой операций на коленном суставе), домашним ремонтом и т. д. Мы полагаемся на персонализированные рекомендации музыки и фильмов от Pandora и Netflix. Мне интересно, почему после стольких лет все эти компании не изучили меня достаточно хорошо, чтобы посылать мне меньше рекламной макулатуры (и таким образом спасти от вырубки немало деревьев)?
Все эти ситуации важны. От них может зависеть, будет ли успешным или неудачным ваш день, год или вся жизнь. Но что между ними общего?
Все эти проблемы – и многие другие, им подобные, – лучше всего решаются через прогнозирование. Будет ли результат хирургической операции положительным для пациента? Не может ли обращающийся за кредитом человек оказаться мошенником? Не может ли ипотечный кредит стать непосильным бременем для домовладельца? Отреагирует ли клиент на отправленный ему рекламный буклет? Через прогнозирование подобных вещей можно существенно улучшить качество медицинского обслуживания, снизить финансовые риски, свести на нет спам, повысить эффективность борьбы с преступностью и сократить расходы.
Прогнозирование в большом бизнесе – судьба активов
Есть и другой аспект. Помимо очевидной выгоды для нас с вами как для потребителей прогнозирование полезно и для организаций, давая им в руки совершенно новый вид оружия в конкурентной борьбе. Компании набрасываются на прогнозы, как коршуны, – в положительном смысле.
В середине 1990-х годов ученый-предприниматель по имени Дэн Стейнберг пришел в штаб-квартиру крупнейшего американского банка Chase, чтобы предложить свою систему прогнозирования для управления миллионами ипотечных кредитов. Этот банковский колосс поверил в технологию прогнозирования, предложенную Стейнбергом, и взял ее за основу для принятия решений, касающихся операций со своим гигантским ипотечным портфелем. Что написал этот парень в своем резюме?
Прогнозирование – это сила. Крупный бизнес обеспечивает себе непоколебимое конкурентное преимущество, прогнозируя будущую судьбу и стоимость отдельных активов. В вышеупомянутом случае это означало, что, принимая решения по ипотечным кредитам на основе прогнозирования будущей платежеспособности домовладельцев, Chase уменьшал риск и получал дополнительную прибыль, которой в противном случае у него не было бы.
Позвольте вам представить… ясновидящий компьютер
Стремительно развиваясь и проникая во все новые сферы, сегодня предиктивные технологии стали обыденным явлением и затрагивают каждого из нас каждый день. Они влияют на ваш опыт незаметным образом – когда вы ведете машину, покупаете, учитесь, голосуете, обращаетесь к врачу, общаетесь, смотрите телевизор, зарабатываете деньги, берете в долг или даже крадете.
Эта книга рассказывает о наиболее значимых достижениях в области компьютерного прогнозирования и о двух силах, стоящих за ними: об увлеченных людях и увлекательнейшей науке, двигающих этот прогресс.
Прогнозирование – в высшей степени непростая задача. Каждый прогноз зависит от множества факторов: широкого разнообразия известных параметров, характеризующих каждого пациента, домовладельца или сообщение по электронной почте, которое может оказаться спамом. Как справиться с этой сложнейшей задачей – соединить вместе все части головоломки для составления конкретного прогноза?
Идея проста, хотя воплотить ее на практике не так просто. Проблема решается путем применения систематического научного подхода для развития и постоянного совершенствования наших умений в области прогнозирования. Другими словами, нам необходимо в буквальном смысле научиться прогнозировать.
Решение кроется в машинном обучении – компьютеры автоматически приобретают новые знания и способности, жадно поглощая самый ценный и самый мощный неприродный ресурс современного общества: данные.
«Накормите меня!» – пища для размышлений для компьютеров
Данные – это новая нефть.
Меглена Кунева, еврокомиссар по защите прав потребителей
Единственным источником знаний является опыт.
Альберт Эйнштейн
Богу мы верим, все остальные должны предоставлять данные.
Уильям Эдвардс Деминг (американский ученый, известный своей теорией управления качеством)
Большинство людей не испытывают никакого интереса к данным. Что может быть скучнее, чем эти бесконечные массивы сухих цифр и фактов, порой столь банальных, как пост в Twitter типа «Я купил себе новые кроссовки!». Это бесполезный побочный продукт, который в огромных количествах образуется в процессе ведения любого бизнеса.
Вы ошибаетесь! Правда в том, что данные представляют собой бесценное собрание опыта, на котором можно учиться. Каждая медицинская процедура, кредитная заявка, публикация на Facebook, рекомендация фильма, акт мошенничества, спам-сообщение или покупка – каждый положительный или отрицательный результат, каждая успешная или неудачная попытка продажи, каждый инцидент, событие и транзакция – кодируются как данные и сохраняется в базе данных. По оценкам, объемы данных увеличиваются на 2,5 квинтиллиона байтов в день (это единица с 18 нулями). Вот где произошел настоящий Большой взрыв, породив безграничные потоки сырых, необработанных данных, с которыми могут справиться только компьютеры. При правильном использовании компьютеры жадно поглощают этот океан данных – и учатся на них.
Иногда погоня за данными превращается в настоящую золотую лихорадку. Но данные – это не золото. Повторяю, необработанные данные – это сырье. Золото – то, что можно из них добыть.
Процесс машинного обучения на основе данных раскрывает всю мощь этого все возрастающего ресурса. Он позволяет выявить, что движет людьми и их поступками, что цепляет нас за душу и как устроен мир. Получение таких знаний и делает прогнозирование возможным.
Например, благодаря машинному обучению мы получили такие ценные сведения, как[1]:
• ранний выход на пенсию уменьшает ожидаемую продолжительность жизни;
• люди, которых на сайтах знакомств чаще отмечают как привлекательных, вызывают меньше интереса;
• большинство фанатов Рианны по своим политическим убеждениям – демократы;
• вегетарианцы реже пропускают авиарейсы;
• количество преступлений на местном уровне увеличивается после публичных спортивных мероприятий.
Машинное обучение опирается на подобные знания, чтобы совершенствовать прогнозные возможности систем через процесс обработки больших объемов данных по методу проб и ошибок, уходящий корнями в статистику и компьютерную науку.
Я знал, что вы это сделаете
Располагая такими возможностями, что мы хотели бы спрогнозировать? Фактически все, что делает человек, стоит того, чтобы стать предметом прогнозирования, – а именно то, как мы потребляем, думаем, работаем, уходим, голосуем, любим, воспроизводим потомство, разводимся, создаем проблемы, обманываем, воруем, убиваем или умираем. Давайте рассмотрим некоторые примеры[2].
Потребление
• Голливудские киностудии, принимая решение о производстве фильмов, прогнозируют их успех.
• Американский сервис Netflix заплатил $1 млн группе ученых, которым удалось лучше других усовершенствовать способность его системы рекомендаций прогнозировать, какие фильмы должны понравиться его пользователям.
• Австралийская энергетическая компания Energex прогнозирует спрос на электроэнергию для принятия решений о том, где строить собственные электросети, а компания Con Edison – возможные сбои системы в случае повышения уровня энергопотребления.
• Уолл-стрит прогнозирует цены акций, наблюдая за их движением под влиянием динамики спроса. Такие фирмы, как AlphaGenius и Derwent Capital, управляют торговыми операциями своих хедж-фондов, отслеживая тренды и настроения широкой общественности через посты на Twitter.
• Компании – от гиганта U. S. Bank до небольших фирм, таких как Harbor Sweets (производитель сладостей) и Vermont Country Store («классические продукты высокого качества, которые трудно найти»), – прогнозируют, какие клиенты будут покупать их продукцию, чтобы нацелить на них свои маркетинговые усилия. Эти прогнозы диктуют распределение драгоценных маркетинговых бюджетов. Некоторые компании в буквальном смысле прогнозируют даже то, как наилучшим образом повлиять на вас, чтобы заставить покупать еще больше (эта тема рассматривается в главе 7).
• Прогнозирование определяет и то, какие купоны вы получаете в кассе супермаркетов. Британский розничный гигант Tesco, третья по величине сеть продуктовых магазинов в мире, прогнозирует эффективность этого целевого маркетинга и ежегодно распределяет более 100 млн персонализированных скидочных купонов в 13 странах мира. Благодаря прогнозированию уровень использования купонов вырос в 3,6 раза по сравнению с предыдущими программами. Аналогичным образом поступают Kmart, Kroger, Ralph’s, Safeway, Stop & Shop, Target и Winn-Dixie.
• Прогнозирование вероятности кликов приносит щедрое вознаграждение. Поскольку веб-сайтам часто платят за каждый клик по размещенным на них рекламным объявлениям, то им важно спрогнозировать, какие объявления скорее всего привлекут ваше внимание, чтобы немедленно показать их вам. Использование прогнозирования для правильного подбора рекламы обеспечивает многомиллионные доходы.
Любовь, работа, дети и разводы
• Ведущая социальная сеть для делового общения LinkedIn прогнозирует ваши профессиональные навыки.
• Популярные сайты знакомств Match.com, OkCupid и eHarmony прогнозируют, какая из красоток на вашем экране подходит вам больше всего.
• Ретейлер Target прогнозирует, кто из покупателей ждет ребенка, чтобы рекламировать соответствующие товары. Ничто не предсказывает будущие потребительские нужды лучше, чем ожидаемое рождение нового потребителя.
• Клинические исследователи прогнозируют вероятность супружеской неверности и развода. Существуют даже сайты, на которых вы можете самостоятельно оценить ваши шансы на долгий и прочный брак (например, www.divorce360.com). По слухам, компании, эмитирующие кредитные карты, делают то же самое.
Мышление и принятие решений
• В 2012 году Обама был переизбран президентом благодаря прогнозированию поведения избирателей. Его предвыборная кампания строилась на прогнозировании того, какие избиратели положительно отреагируют на контакт (через телефонный звонок, личный визит, листовку или телевизионную рекламу), а каких такого рода контакт непроизвольно подтолкнет проголосовать против. Эта технология была использована для принятия решений о методах предвыборной агитации для миллионов избирателей в колеблющихся штатах и помогла успешно склонить на сторону Обамы намного больше избирателей, чем позволило бы сделать традиционное таргетирование.
• «Что вы имеете в виду?» Системы научились определять намерение, стоящее за письменным словом. Citibank и PayPal выявляют отношение клиентов к их продуктам, а разработанная одним исследователем программа может сказать, какие отзывы о книгах на Amazon.com носят саркастический характер.
• Разработаны компьютерные программы по автоматическому оцениванию школьных сочинений, которые также работают на основе прогнозирования. Они оценивают сочинения так же точно, как и преподаватели.
• Созданный компанией IBM суперкомпьютер Watson принял участие в популярном в США интеллектуальном телешоу Jeopardy! (российский аналог – «Своя игра») и победил двух самых именитых чемпионов за всю его историю. Опираясь на технологию прогнозирования, эта машина умеет понимать заданные в свободной форме вопросы на самые разные темы и находить на них ответы в базе данных.
• Компьютеры буквально умеют читать ваши мысли. Исследователи научили системы декодировать сканы головного мозга и определять, о какого рода вещах вы сейчас думаете – таких как определенные инструменты, здания или еда, – с точностью более 80 %. В 2011 году IBM высказала прогноз, что через пять лет технологии чтения мыслей станут преобладающим направлением исследований.
Уход сотрудников и клиентов
• Компания Hewlett-Packard оценивает каждого из своих более чем 330 000 сотрудников по всему миру по шкале «Риск ухода», показывающей вероятность того, что этот человек покинет компанию, – чтобы менеджеры могли заранее вмешаться там, где это возможно, и изменить ситуацию.
• Вы когда-нибудь были недовольны услугами сотовой связи? Ваш оператор хочет об этом знать. Все крупные сотовые операторы занимаются прогнозированием вероятности того, что вы решите уйти к конкуренту (возможно, еще до того, как у вас в голове сформируется такая мысль), используя такие показатели, как сброс вызовов, интенсивность использования телефона, информация о счетах и уход к другим операторам абонентов из вашего списка контактов.
• FedEx стабильно сохраняет за собой позиции лидера рынка, прогнозируя с точностью от 65 до 90 %, какие клиенты могут уйти к конкурентам.
• Американская система государственных университетов (APUS) прогнозирует, какие студенты могут бросить учебное заведение, и использует эти прогнозы. Университеты штатов Алабама, Аризона, Айова, Оклахома и нидерландский Технический университет в Эйндховене также прогнозируют выбытие студентов.