Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта - Макс Тегмарк 24 стр.

Рис. 3.3

Обычные промышленные роботы дороги, а написание программ для них чрезвычайно трудоемко, и нынешний тренд  к отказу от них в пользу роботов с искусственным интеллектом: они могут учиться прямо у рабочих, не умеющих писать программы.

Сколько бы жизней ни спас искусственный интеллект на производстве, значительно больше людей он может спасти на транспорте. Одни только дорожно-транспортные происшествия в 2015 году унесли более 1 миллиона 200 тысяч человеческих жизней, а несчастные случаи, связанные с авиацией, железными дорогами и перевозками по воде добавили к ним еще тысячи жертв. В Соединенных Штатах, как ни высоки их стандарты, жертвами дорожно-транспортных происшествий в 2015 году стали более 35 000 человек  это в семь раз больше всех несчастных случаев на производстве вместе взятых{27}. Когда в 2016 году у нас была об этом панельная дискуссия в Остине, штат Техас, на ежегодном совещании Ассоциации за развитие искусственного интеллекта, израильский ученый Моше Варди выступил по этому поводу исключительно эмоционально и заявил, что искусственный интеллект не только может сократить количество жертв на дорогах, но и должен это сделать: Это наш моральный императив!  заявил он. Поскольку почти все дорожные происшествия  следствие человеческой ошибки, широко распространено мнение, что автомобили-беспилотники смогут сократить смертность на дорогах как минимум на 90 %, и этот оптимизм сильно подогревает прогресс в фактическом выведении беспилотных автомобилей на дороги. Илон Маск уверен, что будущие беспилотные автомобили не только будут безопаснее, но и смогут зарабатывать деньги своим владельцам, конкурируя в свободное время с Убером и Лифтом[21].

До сих пор автомобили без водителя действительно показывали значительно более высокий уровень безопасности, чем автомобили с водителем-человеком, и несчастные случаи, которые иногда все-таки происходят, подчеркивают важность и сложность валидации. Первый фендер-бендер с участием автомобиля-беспилотника от Google случился 14 февраля 2016 года; причиной аварии стало неверное предположение относительно автобуса: что его водитель пропустит отпарковывающуюся перед ним машину. Первая гибель на дороге в результате столкновения беспилотной Tesla с прицепом грузовика, пересекавшего шоссе 7 мая 2016 года, была вызвана двумя неверными предположениями{28}: что ярко-белая боковая сторона прицепа  это просто часть яркого неба и что водитель (который, как было впоследствии установлено, смотрел в это время фильм о Гарри Поттере) наблюдает за дорогой и сможет вмешаться, чтобы предотвратить аварию[22].

Но иногда и хорошее тестирование, и хорошая валидация недостаточны для того, чтобы избежать несчастных случаев, поскольку нам также нужен хороший контроль: возможность для оператора-человека следить за системой и при необходимости влиять на ее поведение. Для таких систем, включающих человека в контур управления, принципиально, чтобы общение человека с машиной было эффективным. Это означает, что горящий красный огонек на вашей приборной панели своевременно предупредит вас, если вы случайно оставите багажник вашей машины открытым. Но ничего такого не оказалось перед глазами капитана британского парома Herald of Free Enterprise, когда он покидал порт Зебрюгге 6 марта 1987 года с открытым носовым визором, и вскоре после этого паром затонул, а вместе с ним и 193 человека{29}.

Еще один случай утраты контроля, закончившийся трагедией, хотя ее вполне можно было избежать путем улучшения коммуникации человека и машины, произошел в ночь на 1 июня 2009 года, когда самолет авиакомпании Air France, рейс 447, упал в Атлантический океан, а все 228 человек, находившиеся на борту, погибли. В официальном сообщении о трагедии говорится: Экипаж самолета не понимал, что происходит сваливание, и, следовательно, так и не совершил восстановительный маневр, который заключается в том, чтобы немного опустить нос самолета,  пока не стало слишком поздно. Специалисты по безопасности полетов утверждают, что катастрофы можно было бы избежать, если бы в кабине пилотов был индикатор угла атаки, который показал бы им, что нос самолета слишком задран{30}.

Когда 20 января 1992 года самолет авиакомпании Air Inter, рейс 148, разбился, врезавшись в гору Вогезского горного массива недалеко от Страсбурга, во Франции, погубив 87 человек, причиной этого несчастного случая стало не отсутствие достаточной коммуникации человека и машины, но сбивающий пользователя с толку интерфейс. Пилоты ввели на клавиатуре число 33, предполагая начать снижение под углом в 3,3 градуса, но автопилот интерпретировал команду как 3 300 футов в минуту, потому что он был в это время не в том режиме, а экран был слишком мал, чтобы позволить пилотам увидеть это и понять ошибку.

В деле производства и распределения электроэнергии благодаря информационным технологиям произошли настоящие чудеса: сложные алгоритмы позволяют поддерживать производство и потребление энергии в электрических сетях по всему миру в равновесии, и сложные системы управления удерживают электростанции в состоянии максимальной эффективности и безопасности. Грядущий прогресс искусственного интеллекта может сделать эту умную сеть еще умнее, оптимально скоординировав изменения спроса и предложения на всех уровнях, вплоть до солнечной батареи на одной отдельной крыше и домашней аккумуляторной батареи. Но в четверг, 14 августа 2003 года, без электричества остались 55 миллионов человек в Соединенных Штатах и Канаде, многие из них были лишены электроэнергии на протяжении нескольких дней. Основной причиной, как показало расследование, в этом случае тоже была недостаточная коммуникация человека и машины: программный глюк помешал операторам в Огайо обратить внимание на необходимость перераспределения энергии, пока незначительные проблемы (перегруженность линий, оказавшихся внутри разросшейся листвы) не спровоцировали неконтролируемые каскадные отключения{31}.

Утечка теплоносителя на атомной электростанции в Три-Майл-Айленде в Пенсильвании 28 марта 1979 года обошлась почти в миллиард долларов, потраченных на очистку местности, и повлекла череду митингов против ядерной энергетики. Окончательный отчет о причинах происшествия называет много факторов, включая путаницу, возникшую из-за неудачного пользовательского интерфейса{32}. В частности, световой сигнал, который, по мнению операторов, должен был предупреждать их о срабатывании контрольного клапана и его закрытии после этого, в действительности сообщал о том, была ли послана команда, и поэтому они так до конца и не поняли, что клапан все время оставался открытым.

Все эти аварийные ситуации, возникшие на транспорте и в энергетических системах, учат нас, что, когда мы возложим на искусственный интеллект управление какой бы то ни было физической системой, мы должны будем приложить серьезные исследовательские усилия не только на то, чтобы машины хорошо работали сами по себе, но и на то, чтобы они эффективно сотрудничали с контролирующими их работу людьми. По мере того как искусственный интеллект становится умнее, умнее должен становиться не только сам машинный интеллект, не только интерфейс, с помощью которого он обменивается данными с людьми, но важна и постоянная забота о том, чтобы оптимально распределить задачи в системе человек-машина  в частности, это выявление ситуаций, когда управление должно быть передано на высший уровень, с передачей человеку необходимой для этого информации, но без потока несущественных сообщений, отвлекающих его.

У искусственного интеллекта огромный потенциал в деле улучшения здравоохранения. Оцифрованные истории болезней уже позволили врачам и пациентам лучше и быстрее принимать решения, а также мгновенно получать помощь от экспертов всего мира, проводящих диагностику по цифровым изображениям. Но в действительности лучшим экспертом в таком деле скоро может стать система с искусственным интеллектом, если принять во внимание быстрый прогресс в машинном распознавании образов и глубоком обучении. В подтверждение сошлемся на голландское исследование 2015 года, показавшее, что компьютерная диагностика рака простаты с помощью магнитно-резонансной томографии (МРТ) давала лучшие результаты, чем диагностика радиолога-человека{33}, а исследования, проводившиеся в 2016 году в Стэнфордском университете, показали, что и рак легких искусственный интеллект может диагностировать по фотографиям с микроскопа даже лучше врача-человека{34}. Если машинное обучение способствует выявлению взаимосвязи между генами, заболеваниями и откликом на лечение, то оно же могло бы радикально улучшить персонализированные методы в медицине, создать условия для содержания сельскохозяйственных животных в значительно более здоровом состоянии и для выведения более устойчивых к заболеваниям пород. Более того, у роботов есть все основания, для того чтобы превзойти людей в надежности и точности при проведении хирургических операций, и для этого даже не требуются передовые AI-технологии. В последние годы были проведены самые разнообразные роботизированные операции, и при этом часто достигались значительно бо2льшие миниатюризация и точность, позволяющие обходиться меньшими разрезами, снижая кровопотери, доставляя пациентам меньше страданий и сокращая сроки послеоперационной реабилитации.

Увы, и здесь, в деле здравоохранения, не обошлось без болезненных уроков на тему о том, как важна надежность программного обеспечения. Канадский аппарат Therac25, к примеру, был создан для лечения рака методами лучевой терапии, которая могла вестись в двух различных режимах: либо пучком низкоэнергетических электронов, либо мощным рентгеновским лучом, получаемым при рабочем напряжении порядка мегавольт и фокусируемым на цели при помощи специальной защиты. К несчастью, программное обеспечение содержало глюки, не выявленные в процессе отладки, и техники, думая, что управляют маломощным пучком электронов и не устанавливая поэтому защиту, направляли на пациентов мегаэлектронвольтный рентген, что стоило некоторым из них жизни{35}. Гораздо больше пациентов умерло в 2000 и 2001 годах от лучевой болезни в Национальном онкологическом институте в Панаме, где в оборудование для лучевой терапии с использованием радиоактивного изотопа кобальта Co60 было установлено не прошедшее достаточной валидации программное обеспечение с вводящим оператора в заблуждение интерфейсом, в результате чего время экспозиции оказывалось завышенным{36}. Согласно опубликованному недавно докладу{37}, в США в период между 2000 и 2013 годами ошибки роботизированной хирургии стали причиной 144 смертей и 1391 травмы, при этом наиболее частые ошибки включали в себя не только аппаратные проблемы, такие как паразитные электрические дуги, ожоги или падающее на пациентов оборудование, но и ошибки в работе программ, вызывающие неконтролируемые движения или спонтанное отключение оборудования.

Увы, и здесь, в деле здравоохранения, не обошлось без болезненных уроков на тему о том, как важна надежность программного обеспечения. Канадский аппарат Therac25, к примеру, был создан для лечения рака методами лучевой терапии, которая могла вестись в двух различных режимах: либо пучком низкоэнергетических электронов, либо мощным рентгеновским лучом, получаемым при рабочем напряжении порядка мегавольт и фокусируемым на цели при помощи специальной защиты. К несчастью, программное обеспечение содержало глюки, не выявленные в процессе отладки, и техники, думая, что управляют маломощным пучком электронов и не устанавливая поэтому защиту, направляли на пациентов мегаэлектронвольтный рентген, что стоило некоторым из них жизни{35}. Гораздо больше пациентов умерло в 2000 и 2001 годах от лучевой болезни в Национальном онкологическом институте в Панаме, где в оборудование для лучевой терапии с использованием радиоактивного изотопа кобальта Co60 было установлено не прошедшее достаточной валидации программное обеспечение с вводящим оператора в заблуждение интерфейсом, в результате чего время экспозиции оказывалось завышенным{36}. Согласно опубликованному недавно докладу{37}, в США в период между 2000 и 2013 годами ошибки роботизированной хирургии стали причиной 144 смертей и 1391 травмы, при этом наиболее частые ошибки включали в себя не только аппаратные проблемы, такие как паразитные электрические дуги, ожоги или падающее на пациентов оборудование, но и ошибки в работе программ, вызывающие неконтролируемые движения или спонтанное отключение оборудования.