1i7 (1i7) wrote,
1i7
1i7

Categories:

ИИ, нейросети, лекция-3: нейросеть по косточкам, самая простая нейронная сеть

залил на ютюб прошлогоднюю лекцию, третья из цикла про нейросети: Курс Большие данные, машинное обучение: нейрон, нейросеть, TensorFlow

ИИ, нейросети, лекция-3: нейросеть по косточкам, самая простая нейронная сеть

https://www.youtube.com/watch?v=cWxwXXKbSG4
вк: https://vk.com/video53223390_456239475

слайды: Большие данные - лекция-12 - многослойный перцептрон (многомерный градиент, обратное распространение)
Курс Большие данные, машинное обучение, искусственный интеллект

из коментов к лекции про нейросеть ШАД от Яндекса
RagazzoKZ (4 года назад): Бляха-муха, как же непонятно.... Бесит!
дима курдюков (2 года назад): Вот что пишет  преподаватель  Стэнфорда Эндрю Ын. In the previous video, we talked about the backpropagation algorithm. To a lot of people seeing it for the first time, their first impression is often that wow this is a really complicated algorithm, and there are all these different steps, and I'm not sure how they fit together. And it's kind a this black box of all these complicated steps. In case that's how you're feeling about backpropagation, that's actually okay. Backpropagation maybe unfortunately is a less mathematically clean, or less mathematically simple algorithm, compared to linear regression or logistic regression. And I've actually used backpropagation, you know, pretty successfully for many years. And even today I still don't sometimes feel like I have a very good sense of just what it's doing, or intuition about what back propagation is doing. If, for those of you that are doing the programming exercises, that will at least mechanically step you through the different steps of how to implement back prop. So you'll be able to get it to work for yourself. And what I want to do in this video is look a little bit more at the mechanical steps of backpropagation, and try to give you a little more intuition about what the mechanical steps the back prop is doing to hopefully convince you that, you know, it's at least a reasonable algorithm.
In case even after this video in case back propagation still seems very black box and kind of like a, too many complicated steps and a little bit magical to you, that's actually okay. And Even though I've used back prop for many years, sometimes this is a difficult algorithm to understand, but hopefully this video will help a little bit.

источник: https://www.coursera.org/lecture/machine-learning/backpropagation-intuition-du981

мой ответ: не ведитесь на ложную простоту аналогий с шариками и стрелочками, а вместо этого один раз посчитайте производную сложной функции — функции ошибки самой простой нейронной сети, всё будет понятно как день и никаких черных ящиков.


- Линейно неразделимое множество: попробуем отделить то, что снаружи, от того, что внутри
- Получится ли разделить линейно неразделимое единичным нейроном? (очевидно, нет, но все равно попробуем. спойлер: не получилось)
- Свяжем нейроны в сеть из 3-х нейронов: один скрытый слой из 2-х нейронов, один нейрон на выходе, на входе объект с единственным признаком, активации - сигмоиды, порог-классификатор только на выходе
- Математическое представление сети, формулы активаций
- Интуитивный смысл происходящего на 1-м слое: один нейрон разбивает выборку так, другой нейрон разбивает выборку эдак
- Значения выходов нейронов 1-го слоя как признаки объекта-проекции, попадающего на выходной нейрон
- Графическое представление активаций на 1-м слое и входов нейрона на 2-м слое
- Разделимость объектов-проекций на выходном слое
- Отступление: целесообразно ли строить сеть из нейронов с линейной активацией? (спойлер: нет)
- Критерий оптимальности коэффициентов-параметров нейросети: функция стоимости (она же: функция потерь) на основе функции правдоподобия
- Поиск минимума функции стоимости полным перебором коэффициентов, подтверждение того, что сеть разделяет объекты при минимальном значении функции стоимости
- Поиск минимума функции стоимости градиентным спуском
- Частная производная функции стоимости в общем виде
- Частные производные функции стоимости по каждому из параметров
- Замечание: аналитическое вычисление производной сложной функции vs библиотеки автоматического дифференцирования
- Графическое представление спуска по каждому из параметров - особенности функции стоимости на каждом из срезов
- Положение активаций на нейронах 1-го слоя
- Активация на выходном нейроне, представление 2-д: разделяющая линия - пересечение активации с плоскостью объектов-проекций на входе выходного нейрона
- Активация на выходном нейроне, представление 3-д: изогнутая сигмой поверхность активации пересекает плоскость объектов-проекций и назначает им классы
- Результат обучения: график потерь по эпохам
- Обучение в динамике, 2-д: движение разделяющей линии-пересечения активации и объектов-проекций на выходном нейроне в сторону оптимального положения
- Обучение в динамике, 3-д: движение поверхности активации и объектов-проекций на выходном нейроне в сторону оптимального положения
- График функции ошибки, визуализация спуска по отдельным срезам: пока противник рисует карты наступления, мы меняем ландшафты, причем вручную. Когда приходит время атаки, противник теряется на незнакомой местности и приходит в полную небоеготовность.
- Подытожим: мы обучили нейронную сеть отличать то, что снаружи от того, что внутри, при этом решили задачу аналитически
- Проверка результата: классифицировать несколько значений вручную
- Несколько равнозначных минимумов, т.е. направлений спуска сети. В какой попадем, зависит от начальных коэффициентов.
- Дополнительные замечания и темы для самостоятельного изучения
Tags: базы данных, математика, машинное обучение, нгту, образование, прикладная математика, программирование, роботы, фактчек
Subscribe

Posts from This Journal “машинное обучение” Tag

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments