October 23rd, 2019

Градиентный спуск по косточкам

Запулил статью: Градиентный спуск по косточкам

На основе весенних слайдов:
- Большие данные - лекция10 - градиентный спуск, адаптивный линейный нейрон
https://speakerdeck.com/sadr0b0t/bol-shiie-dannyie-liektsiia10-ghradiientnyi-spusk-adaptivnyi-linieinyi-nieiron

Попутно нашел множество опечаток и ошибок, перегенерил почти все картинки, поэтому слайды весной ближе к лекции буду переделывать, тогда же перезалью.


Текст по размеру сто процентов не влезет в лимиты ЖЖ, плюс там куча кода и формул, которые (формулы, а не код) сюда уже совсем никак не зайдут технически, поэтому копипастить не буду даже частично. Оставлю только анимированные картинки для красоты и чтобы они были под рукой в одном месте.








Плюс бонус - эксклюзивно для тех, кто читает этот пост здесь в ЖЖ: скрин той самой статьи NY Times с интервью Розенблатта целиком из вводной подбивки.


Цитата из статьи:

8 июля 1958 года The New York Times писала: «Психолог показывает эмбрион компьютера, разработанного, чтобы читать и становиться мудрее. Разработанный ВМФ… стоивший 2 миллиона долларов компьютер "704", обучился различать левое и правое после пятидесяти попыток… По утверждению ВМФ, они используют этот принцип, чтобы построить первую мыслящую машину класса "Перцептрон", которая сможет читать и писать; разработку планируется завершить через год, с общей стоимостью $100 000… Ученые предсказывают, что позже Перцептроны смогут распознавать людей и называть их по имени, мгновенно переводить устную и письменную речь с одного языка на другой. Мистер Розенблатт сказал, что в принципе возможно построить "мозги", которые смогут воспроизводить самих себя на конвейере и которые будут осознавать свое собственное существование».

Цитатату и перевод взял из книги С. Николенко, «Глубокое обучение, погружение в мир нейронный сетей».

Плюс небольшое замечание.

Эту цитату я запомнил из книги Николенко и подумывал, куда ее ввернуть, с конца весны. Но в эту статью на Хабре сначала вставлять не планировал, т.к. хотел оставить текст только по техническим вещам, его там и так хватает. Но на Хабре есть ограничение на минимальный кат, поэтому решил, что этой цитате там как раз будет самое место.

Дальше, во всей литературе, которую я читал, в которой более-менее подробно рассказывают про градиентный спуск, за базовый простой случай берут объекты с 2-мя признаками (обычно, это цветки ириса), один признак вроде как уже совсем примитив. Но я пока сам разбирался, решил начать все-таки с одномерных объектов, чтобы все можно было посчитать чуть не вручную на бумажке и потом не пожалел: для двумерных объектов не получилось бы построить красивую воронку спуска, да и саму активацию как плоскость в 3-мерном пространстве по первому разу понять и нарисовать не так легко, как линию на плоскости.

Но увязал я два этих момент только спустя пару недель после начала работы над текстом, когда пришло время вставить пару слов для завершения первой части с 1-д:

Между прочим, мы с вами только что научили искусственный нейрон (так же известный как мыслящая машина класса «Перцептрон») отличать красные точки слева от синих точек справа и нам потребовалось на это всего 12 попыток. Как по мне, отличный результат!


Действительно, если мы располагаем элементы в виде точек на прямой и хотим разбить их на 2 группы, одна группа точек будет всегда слева, а другая будет - справа. Теперь, если мы научим алгоритм отличать эти группы каким-то итеративным методом, будет совершенно корректно сказать, что мы научили компьютер отличать право от лева (про количество попыток, т.е. эпох обучения, см статью). И теперь еще раз посмотрите на приведенную выше цитату.

Короче, если я сейчас не повторил тот самый эксперимент Фрэнка Розенблатта, о котором он рассказывал журналисту, то что у него был за эксперимент? :)


Статья на странице газеты:





еще анимированные картинки

Collapse )