Алгоритм обратного распространения ошибки заключается в вычислении ошибки между предсказанием нейронной сети и реальным значением. Затем эту ошибку используют для корректировки «весов»[5] или связей между нейронами. Идея состоит в том, чтобы нейронная сеть становилась лучше с каждым шагом обучения.
В 1997 году компьютер Deep Blue от IBM победил мирового шахматного чемпиона Гарри Каспарова.
2000-е
В это время началось развитие глубокого обучения, были предложены алгоритмы и методы для обучения глубоких нейронных сетей[6]. Особый интерес вызывали сверточные нейронные сети[7] (CNN) для обработки изображений и рекуррентные нейронные сети[8] (RNN) для обработки последовательностей.
2010-е
Этот период был насыщен значительными достижениями в области глубокого обучения и искусственного интеллекта. В 2012 году на ImageNet, престижном соревновании по распознаванию изображений, сверточная нейронная сеть AlexNet, разработанная Алексеем Крижевским, Ильей Суцкевером и Джеффри Хинтоном, показала революционные результаты на соревновании ImageNet. В этом соревновании участники стремились создать алгоритм, который мог бы самостоятельно классифицировать изображения из набора данных ImageNet, состоящего из миллионов размеченных изображений, принадлежащих к тысячам категорий. AlexNet значительно превзошла все предыдущие алгоритмы по распознаванию изображений, показав ошибку в топ-5 (вероятность правильного предсказания одного из пяти верхних классов) всего около 15,3 %, что было на 10,8 % лучше, чем у предыдущего лучшего участника соревнования. Эти результаты стали сенсацией и подтвердили огромный потенциал глубокого обучения и сверточных нейронных сетей в задачах компьютерного зрения.
Середина 2010-х
В это время компания Google DeepMind представила свою систему AlphaGo, основанную на глубоком обучении и методах обучения с подкреплением (обучение методом проб и ошибок). В 2016 году AlphaGo победила мирового чемпиона по игре Го, Ли Седоля, это стало важным прорывом в области искусственного интеллекта.
Середина и конец 2010-х
В это время стали появляться более продвинутые языковые модели на основе нейронных сетей, такие как Word2Vec, GloVe и ELMo, которые применялись для обработки естественного языка. В 2018 году OpenAI представила модель GPT (Generative Pre-trained Transformer), которая считается одним из прорывных достижений в области языковых моделей.
2019 год и далее
Благодаря развитию и увеличению масштаба, языковые модели стали более мощными и точными. В 2019 году OpenAI выпустила модель GPT-2, а в 2020 году GPT-3, обладающую еще более высокими точностью и способностью к обучению. GPT-3 стала основой для различных приложений, связанных с обработкой естественного языка, включая чат-боты и множество других сервисов.
Начало 2020-х
В это время различные организации и компании продолжают исследовать и разрабатывать новые методы и архитектуры для улучшения языковых моделей и глубокого обучения. Бурное развитие нейросетей продолжает стимулировать область искусственного интеллекта и машинного обучения.
Примечания
1
Информация в этом разделе содержит технические описания и термины. Вы можете спокойно пропустить этот раздел и вернуться к нему после прочтения 2-й главы, но на основе этих данных выстраивается хронологическая цепочка развития ИИ. Прим. ред.
2
Перцептрон это простейшая форма искусственной нейронной сети, которая может быть использована для бинарной классификации. Он состоит из одного или нескольких входных сигналов, взвешенной суммы этих сигналов и функции активации, которая определяет, будет ли передана выходная информация. В своей простейшей форме перцептрон может быть представлен как один нейрон с несколькими входами и одним выходом.
3
Задача XOR (исключающее ИЛИ) это простая задача бинарной классификации, которая часто используется для иллюстрации ограничений однослойных нейронных сетей, таких как перцептрон. XOR это логическая операция, которая принимает два бинарных входных значения (0 или 1) и возвращает 1, если входные значения различны, и 0, если они совпадают.
4
Данное определение было введено Джоном Хогеландом в книге «Искусственный интеллект: сама идея». Прим. ред.
5
Вес это числовое значение, которое определяет силу связи между двумя нейронами или узлами в сети. Веса используются для моделирования того, насколько сильно один нейрон должен влиять на другой при передаче информации.
6
Глубокая нейронная сеть это многослойная нейронная сеть, которая состоит из множества слоев обработки информации. Каждый слой обычно содержит множество нейронов, и каждый нейрон связан с нейронами в следующем слое. Особенность многослойных нейронных сетей в том, что они содержат скрытые слои.
7
Сверточная нейронная сеть это тип глубокой нейронной сети, которая особенно хорошо подходит для обработки и анализа изображений. Она состоит из нескольких слоев, каждый из которых выполняет определенную функцию.
8
Рекуррентная нейронная сеть это нейронная сеть, способная анализировать последовательности данных, учитывая контекст и зависимости между элементами последовательности. Она обладает способностью сохранять информацию о предыдущих состояниях внутри сети и использовать эту информацию для обработки последующих элементов.