1i7 (1i7) wrote,
1i7
1i7

Categories:

Градиентный спуск по косточкам

Запулил статью: Градиентный спуск по косточкам

На основе весенних слайдов:
- Большие данные - лекция10 - градиентный спуск, адаптивный линейный нейрон
https://speakerdeck.com/sadr0b0t/bol-shiie-dannyie-liektsiia10-ghradiientnyi-spusk-adaptivnyi-linieinyi-nieiron

Попутно нашел множество опечаток и ошибок, перегенерил почти все картинки, поэтому слайды весной ближе к лекции буду переделывать, тогда же перезалью.


Текст по размеру сто процентов не влезет в лимиты ЖЖ, плюс там куча кода и формул, которые (формулы, а не код) сюда уже совсем никак не зайдут технически, поэтому копипастить не буду даже частично. Оставлю только анимированные картинки для красоты и чтобы они были под рукой в одном месте.








Плюс бонус - эксклюзивно для тех, кто читает этот пост здесь в ЖЖ: скрин той самой статьи NY Times с интервью Розенблатта целиком из вводной подбивки.


Цитата из статьи:

8 июля 1958 года The New York Times писала: «Психолог показывает эмбрион компьютера, разработанного, чтобы читать и становиться мудрее. Разработанный ВМФ… стоивший 2 миллиона долларов компьютер "704", обучился различать левое и правое после пятидесяти попыток… По утверждению ВМФ, они используют этот принцип, чтобы построить первую мыслящую машину класса "Перцептрон", которая сможет читать и писать; разработку планируется завершить через год, с общей стоимостью $100 000… Ученые предсказывают, что позже Перцептроны смогут распознавать людей и называть их по имени, мгновенно переводить устную и письменную речь с одного языка на другой. Мистер Розенблатт сказал, что в принципе возможно построить "мозги", которые смогут воспроизводить самих себя на конвейере и которые будут осознавать свое собственное существование».

Цитатату и перевод взял из книги С. Николенко, «Глубокое обучение, погружение в мир нейронный сетей».

Плюс небольшое замечание.

Эту цитату я запомнил из книги Николенко и подумывал, куда ее ввернуть, с конца весны. Но в эту статью на Хабре сначала вставлять не планировал, т.к. хотел оставить текст только по техническим вещам, его там и так хватает. Но на Хабре есть ограничение на минимальный кат, поэтому решил, что этой цитате там как раз будет самое место.

Дальше, во всей литературе, которую я читал, в которой более-менее подробно рассказывают про градиентный спуск, за базовый простой случай берут объекты с 2-мя признаками (обычно, это цветки ириса), один признак вроде как уже совсем примитив. Но я пока сам разбирался, решил начать все-таки с одномерных объектов, чтобы все можно было посчитать чуть не вручную на бумажке и потом не пожалел: для двумерных объектов не получилось бы построить красивую воронку спуска, да и саму активацию как плоскость в 3-мерном пространстве по первому разу понять и нарисовать не так легко, как линию на плоскости.

Но увязал я два этих момент только спустя пару недель после начала работы над текстом, когда пришло время вставить пару слов для завершения первой части с 1-д:

Между прочим, мы с вами только что научили искусственный нейрон (так же известный как мыслящая машина класса «Перцептрон») отличать красные точки слева от синих точек справа и нам потребовалось на это всего 12 попыток. Как по мне, отличный результат!


Действительно, если мы располагаем элементы в виде точек на прямой и хотим разбить их на 2 группы, одна группа точек будет всегда слева, а другая будет - справа. Теперь, если мы научим алгоритм отличать эти группы каким-то итеративным методом, будет совершенно корректно сказать, что мы научили компьютер отличать право от лева (про количество попыток, т.е. эпох обучения, см статью). И теперь еще раз посмотрите на приведенную выше цитату.

Короче, если я сейчас не повторил тот самый эксперимент Фрэнка Розенблатта, о котором он рассказывал журналисту, то что у него был за эксперимент? :)


Статья на странице газеты:





еще анимированные картинки




Мыслящая машина класса "Перцептрон" учится отличать левое и правое после 12-ти попыток:






Вариант активации для объектов с 2-мя признаками





Геометрический смысл производной






еще просто так из этого же номера:



Tags: математика, машинное обучение, программирование, публикации, фактчек, хабра, цифра
Subscribe

Posts from This Journal “машинное обучение” Tag

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 5 comments