В общем, я не понял как создать НС с нуля. Поэтому решил сделать промежуточное грубое решение исходя из того, что ясно на данный момент.
В чудесном новом мире датасаенс и нейронных сетей есть свой аналог простейшего приложения HelloWorld, как это принято в остальном ИТ. Задача состоит в том, чтобы написать программу, которая распознает рукописные цифры 0..9. Всего-то.
Я уж было решил взять тетрадь в клеточку, написать по страничке каждую цифру, отсканировать и создать таким образом набор данных для распознавания. Но тут открыл для себя прекрасный сайт kaggle.com с кучей бесплатных датасетов, конкурсами и datascience-кудесницами. Оттуда скачал *.csv датасет MNIST с 60+10 тыс рукописных цифр в размере 28х28 точек собранных из сканов контрольных работ американских школьников.
Реализовал простой алгоритм. Назвал его "метод вероятностного накопления". La méthode de l'accumulation de probabilité (fr). На всякий случай забью название, вдруг докторскую еще по ней защищать.
Суть в том, чтобы в режиме обучения для каждой цифры просуммировать веса каждой точки ее изображения для всех тренировочных образов. После тренировки НС у нас будут 10 матриц 28х28 с весами каждой точки для цифр 0..9.
В режиме распознавания подаем на вход скан цифры и определяем пересечения с матрицами цифр 0..9. Если точка закрашена в образце и матрице, суммируем вес из матрицы. Если в образце точка закрашена, а в матрице нет, вычитаем штрафные очки. Это защита от кейса "закрасим всю область черным и получим цифру 8". Матрица с максимальной суммой считается распознанной цифрой 0..9.
В общем долго объяснять, а кода получилось всего ничего ~100 строк. См. код в скринах и ссылку в конце.
Можно улучшить алгоритм. Если точка не попала в пересечение, находить ближайшую и добавлять ее вес с неким коэффициентом. Можно делать изображения черно-белыми (сейчас серое). При совпадении точек умножать ее вес на вес из матрицы и др.
Но даже с исходными условиями получилось довольно неплохо. НС корректно определило цифру в 57% случаев при тренировке 5 тыс изображений и 5тыс для теста.
Правда на вики пишут, если правильно построить НС, можно добиться 99.8% корректно распознанных цифр. На кривой козе к Тьюрингу не подъедешь.
В общем, надо копать тему дальше. Есть инструменты обучения НС более высокого порядка Google/TensorFlow, Microsoft/Azure, Amazon/AWS, Яндекс/DSVM. Где нужно задать только данные и параметры обучения и можно использовать НС не зная какие алгоритмы в ней работают. Но все-таки хочу знать что у этой штуки под капотом. Без этого пегого дудочника не напишешь и в техкранч не попадешь.
Как я сказал выше, основная проблема в том, что я не понимаю как НС должна работать "по-настоящему". Что бесит даже создатели НС, той же DeepBlue (побила Каспарова в шахматах) или AlphaGo (разгромила чемпиона мира по ГО) не могут внятно объяснить, как работает их НС и почему она сделала определенный ход.
Еще смешнее с появившимися последнее время интеллектуальными голосовыми/чат помощниками Сири, Алисой и Олегом. На жалобу клиентки, что ей не удается войти в моб банк по отпечатку пальца, Олег посоветовал отрезать ей пальцы.
Лол, кек. А что в итоге? Авторы Олега не смогли объяснить его кровожадность. Типа, Олег еще учится, потом станет умнее. Имхо, это не ИИ, а просто перебор фраз, части которых использовались в похожем контексте, а Олег тупо их склеил в примерно осмысленную фразу. Это не интеллектуальный помощник, а буллшит генератор. По развитию Олег не ушел от ELIZA, видел такую программу поддерживающую разговор с человеком еще в 1996 г (создана в 1966 г!).
Это же алгоритм и тупой комп! Что ему дали, то он и посчитал. В ИТ нет ответа "я кнопочку нажала и все пропало, не знаю что произошло". Всегда есть конкретная причина у всего и всегда есть ответ на поставленный вопрос. Может трудно получить ответ, но он всегда есть.
Математика точная наука, не то что эти ваши гуманитарные сопли:
География бессмысленное заучивание списка стран и столиц.
История зазубривание списка фактов и сознательное искажение этих фактов в угоду текущей повестке.
Литература изучение контента, написанного алкоголиками, самоубийцами и депрессивными интеллигентами, не нашедших своего места в жизни и рефлексирующих над проблемами давно утративших актуальность.
и прочие недонауки (медицина/биология, философия, психология и, мое любимое естествознание! никогда не понимал, что это такое и зачем это в школе).
История зазубривание списка фактов и сознательное искажение этих фактов в угоду текущей повестке.
Литература изучение контента, написанного алкоголиками, самоубийцами и депрессивными интеллигентами, не нашедших своего места в жизни и рефлексирующих над проблемами давно утративших актуальность.
и прочие недонауки (медицина/биология, философия, психология и, мое любимое естествознание! никогда не понимал, что это такое и зачем это в школе).
Не боюсь оскорбить гуманитариев этим постом, они его не прочтут, т.к. стоят на свободной кассе.
Со своей стороны признаюсь, что несмотря на техническое образование, не понимаю как работают многие вроде бы элементарные вещи.
Особенно плохо в школе нам давали физику. Препод был 2х-метровый боксер-еврей. Похоже он просто замещал свою жену, тоже учителя физики, но сам совершенно не любил, не понимал и не умел интересно объяснять свой предмет. Но сообщить ему сей прискорбный факт желающих не нашлось.
А еще говорят евреи круты в физике. В универе, правда, я сдал ее на высший бал и только за счет этого поступил на бюджет. Тупо зазубрил формулы и моментально все забыл на следующий день. А вот математику и особенно химию нам давали неожиданно хорошо для почти сельской школы.
Итак, ТОП-12 непонятных для меня вещей. Для того, кто плохо знает физику, мир полон чудес.
1) Электричество. Дырки и электроны, которые ползут в разные стороны в зависимости от разности потенциалов. Ну фигня же полная! Как это посмотреть в микроскоп?
2) Конденсаторы. Заряженный аккумулятор Теслы весит как пустой, но двигает авто на сотни километров. Чудо же!
3) Гравитация и закон всемирного тяготения. Кидаешь яблоко вверх и оно приземляется тебе на голову. А если его кинуть с 1-ой космической скоростью 8 км/сек, оно уйдет на стационарную орбиту вокруг планеты и будет крутиться там очень долго. А с 11.2км/сек яблоко покинет планету (16.7 Солнечную систему). Но блин, почему вещество притягивает другое вещество? Почему людей тянет друг к другу?
4) Гравитация на микроуровне. Почему электрон крутится вокруг ядра и не улетает к чертям?
5) Критическая масса и ядерная реакция. Почему если быстро и сильно сжать всего 50 кг урана-235 будет бабах и выделяется энергия, которая сожжет целый город? А если сжать всего на килограмм меньше или не так быстро, то ничего не будет?
6) Преобразование химических элементов. Раз элементы настолько сильно отличаются всего от одного электрона на орбите ядра, почему нельзя сдуть пару электронов и свинец превратить в золото? Почему вообще идут химические реакции? H2+O2= H2O и энергия. Как вещество превращается в энергию и наоборот? Концепция смешивания веществ ясна, а вот преобразование весьма туманно.
7) Как фотоны могут передавать энергию и свет, не имея массы? Как что-то может не иметь массы? Если масса = 0, то этого чего-то нет. Так вижу!
8) Ну, с невозможностью построения летательных аппаратов тяжелее воздуха вроде разобрался.
9) ОТО (общая теория относительности). Почему скорость частиц или космического корабля не может быть быстрее 300 тыс км/сек? Почему размеры предметов уменьшаются от увеличения скорости? Почему близнецы (космонавт и неудачник на Земле) стареют по-разному? Почему для элементарной частицы можно определить положение или импульс, но не оба параметра сразу?
10) Корпускулярно-волновой дуализм. Вот это совершенно наркоманская вещь! Свет одновременно набор частиц и волна. При передаче энергии это частицы, а при прохождении через дифракционную решетку (расческу) уже волна. Даже один неделимый (!) фотон, прошедший через решетку с 2мя отверстиями типа расщепляется (!!!) и оставляет след за каждой из щелей, т.е. становится волной.
11) Большой взрыв. Ага, прям из точки с нулевым радиусом и бесконечной массой все бабахнуло и разлетается в бесконечной вселенной.
12) Происхождение жизни. Из неживого создалось живое?! Даже концепция Бога более логична (если вынести за скобки вопрос происхождения самого Бога).
И возвращаясь к науке DataScience. Как я понял, главное в ней данные. Нет data нет science.
Ссылки:
1) Мой код нейросети распознающей рукописные цифры (49 КБ): https://drive.google.com/file/d/1g1Owp6PLOPE6_ChbJoe8paLDviRczHPR
https://github.com/berlicon/SimpleNeuralNetworkMNIST