1i7 (1i7) wrote,
1i7
1i7

Categories:

ИИ, нейросети, лекция-1: градиентный спуск по косточкам, адаптивный линейный нейрон

залил на ютюб прошлогоднюю лекцию, первая из цикла про нейросети: Курс Большие данные, машинное обучение: нейрон, нейросеть, TensorFlow

слайды: Большие данные - лекция-10 - градиентный спуск, адаптивный линейный нейрон
Хабра: Градиентный спуск по косточкам
ЖЖ: Градиентный спуск по косточкам
Курс Большие данные, машинное обучение, искусственный интеллект

ИИ, нейросети, лекция-1: градиентный спуск по косточкам, адаптивный линейный нейрон

https://www.youtube.com/watch?v=Uzy_EEhEb-I
вк: https://vk.com/video53223390_456239456


- Мыслящая машина класса "Перцептрон" научилась различать левое и правое после пятидесяти попыток. Позже перцептроны смогут распознавать людей и называть их по имени. В принципе, можно построить мозги, которые смогут воспроизводить себя на конвейере и которые будут осознавать собственное существование. Интервью Фрэнка Розенблатта газете New Yourk Times, 1958 год.
- Архитектура искусственного нейрона класса "Перцептрон": взвешенная сумма, активация, порог - двоичная классификация
- Линейная активация (взвешенная сумма в качестве активации): адаптивный линейный нейрон
- Математическое представление нейрона
- Постановка задачи: подобрать параметры нейрона
- Геометрический смысл задачи
- Решение задачи в 1-мерном пространстве - классификация объектов с единственным признаком
- Геометрический смысл задачи в 1-мерном пространстве
- Введение функции стоимости (она же: функция потерь) - сумма квадратичных ошибок
- График функции стоимости в 3-хмерной пространстве (2 параметра полюс значение ошибки): шарик скатывается в воронку
- Поиск минимума: полный перебор по сетке
- Поиск минимума: спуск с постоянным шагом
- Поиск минимума: градиентный спуск
- Геометрический смысл производный
- Производная как индикатор направления и крутизны/пологости спуска
- Частная производная по вектору, вектор частных производных - градиент
- Градиент функции ошибки для случая 1-д: частная производная функции ошибки по каждому из 2-х параметров
- Итеративный спуск к минимуму функции ошибки по каждому из измерений с использованием градиента: шаг спуска - производная со знаком минус умножить на коэффициент обучения, отвечающий за масштаб
- График сходимости
- Визуальное представление спуска к минимуму с использованием градиента: шарик скатывается в воронку к минимуму функции ошибки (или шарик скатывается по одеялу, если не брать логарифмическую шкалу)
- Визуальное представление спуска: поиск оптимального положения прямой активации в пространстве единственного признака объекта плюс измерение для значений активации: пересечение с порогом, разделяющее точки на классы, и направление наклона, назначающего точкам класс.
- Итожим 1-мерный случай: мы научили искусственный нейрон класса "Перцептрон" отличать красные точки слева от синих точек справа после 12-ти попыток.
- Пространство 2-д: классификация объектов с 2-мя признаками
- Геометрическое представление задачи: активация теперь плоскость в пространстве 3д: два измерения - признаки объекта плюс значение активации. Порог активации - линия разделяющая объекты на плоскости на классы, наклон активации - назначение классов для каждой из групп.
- Градиентный спуск в динамике: плоскость активации находит оптимальное положение
- Функция ошибки - поверхность в 4-хмерном пространстве, 4-д график стройте самостоятельно.
- Итог лекции
Tags: базы данных, математика, машинное обучение, нгту, образование, прикладная математика, программирование, роботы, фактчек, цифра
Subscribe

Posts from This Journal “машинное обучение” Tag

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments