Сами делайте своих роботов

залил на ютюб прошлогоднюю лекцию, вторая из цикла про нейросети: Курс Большие данные, машинное обучение: нейрон, нейросеть, TensorFlow

ИИ, нейросети, лекция-2: градиентный спуск с сигмоидой по косточкам, нелинейный нейрон

https://www.youtube.com/watch?v=LgIQ0HcmJFg
вк: https://vk.com/video53223390_456239473

слайды: Большие данные - лекция-11 - логистическая регрессия: градиентный спуск с сигмоидой
Курс Большие данные, машинное обучение, искусственный интеллект

( Collapse )

залил на ютюб прошлогоднюю лекцию, первая из цикла про нейросети: Курс Большие данные, машинное обучение: нейрон, нейросеть, TensorFlow

слайды: Большие данные - лекция-10 - градиентный спуск, адаптивный линейный нейрон
Хабра: Градиентный спуск по косточкам
ЖЖ: Градиентный спуск по косточкам
Курс Большие данные, машинное обучение, искусственный интеллект

ИИ, нейросети, лекция-1: градиентный спуск по косточкам, адаптивный линейный нейрон

https://www.youtube.com/watch?v=Uzy_EEhEb-I
вк: https://vk.com/video53223390_456239456

( Collapse )

что тот выводит мир из логики (прим. ред.: диалектической логики):

Б. Рассел: Гегель полагал, что если достаточно знают о вещи, чтобы отличить ее от всех других вещей, то все ее свойства могут быть выведены посредством логики. Это была ошибка, и из этой ошибки вырастает всё внушительное здание его системы. Это иллюстрирует важную истину, а именно, что чем хуже ваша логика, тем интереснее следствия, к которым она может привести.
(цитата из интернетов, факты не чекал)

Ирония в том, что сам Рассел является одним из отцов-основателей господствующей поныне школы [нео-]позитивизма, адепты которой до сих пор не теряют надежды вывести весь мир из...
( Collapse )

Большие данные и машинное обучение, лекция-5: визуализация данных Python+Pandas+Matplotlib, часть-2

https://www.youtube.com/watch?v=99qSuwRyrzE
вк: https://vk.com/video53223390_456239567

- Номинальная зарплата, реальное содержание заработной платы, индекс потребительских цен (ИПЦ),
- Изменение ИПЦ в % (инфляция)
- Данные: датасет ILO (МОТ - Международная организация труда) ilostat.ilo.org
- Таблица для анализа: средня зарплата по видам деятельности, полу, странам и годам
- Данные по индексам потребильских цен: МОТ, Росстат
- График инфляции по годам
- Мультииндекс, объединение таблиц средней зарплаты и ИПЦ по мультииндексу
- График: зарплата vs инфляция
- Номинальное значение заработной платы vs реальное содержание заработной платы в ценах 1992 года
- Группировка данных, групповые операции DataFrame → GroupBy → DataFrame
- Кумулятивное (накопленное) произведение GroupBy.cumprod
- Корректировка значения средней заработной платы на значения инфляции по годам в группах по странам
- График: реальное содержание заработной платы vs номинальная заработная плата в ценах 1992 года по годам в России
- Графики: реальное содержание заработной платы в ценах 1992 года vs номинальная заработная плата по годам, страны: США, КНР, Польша, Япония и т.п.
- Ретроспективное приведение зарплаты к ценам 2019 года
- Сдвиг данных внутри группы: GroupBy.shift
- Графики: номинальная зарплата vs реальное содержание зарплаты в ценах 2019 года по годам, страны: Россия, США, КНР
- Заключение:
-- Визуализация данных - еще один инструмент извлечения _знаний_ из данных.
-- Значительную часть работы составляет подготовка (преобразование) данных для построения графика. Если данные подготовлены, простроение графика технически не вызывает проблем.

и, чтоб два раза не вставать, еще один прогноз: Ольга Бузова объявит (очевидно, в своём инстаграме) о своей приверженности идеям Марксизма-Ленинизма не позднее ноября 2023 года.

6 июня 2021 года читаем:

https://t.me/pdmnews/40314
Ольга Бузова сыграет в МХАТ имени Горького в спектакле про молодого Сталина. Об этом певица написала в своём Instagram.

https://openmedia.io/news/n1/olga-buzova-sygraet-vo-mxatovskom-v-spektakle-pro-molodogo-stalina-i-poluchit-za-eto-pochti-polmilliona-rublej/
Бояков в интервью «Комсомольской правде» уточнил: героиня Бузовой — это «смешная, вызывающая у всех усмешку певица Кабаре и корпоративов», которая впоследствии становится шпионкой.

https://www.kp.ru/daily/27287.5/4424860/
- Кем же была Бузова при Сталине?
- Беллой Шанталь. Певицей Кабаре и корпоративов. Такая смешная, вызывающая у всех усмешку. Но здесь есть очень интересный момент, второй уровень. Сюжет пьесы - некий перевертыш, в ней есть опереточная брошенная девица Белла Шанталь, персонаж, который становится шпионкой, Матой Хари - умной, хитрой. Она помогает главному герою, спасает Сталина. И возникает некое чувство, что эта смешная Белла – не такая уж смешная. Как русские юродивые. Этот перевертыш мне кажется очень интересным. И он ключ к внутреннему состоянию Бузовой: она, мне кажется, как реальный персонаж сама готова к трансформации и преображению. У меня есть абсолютная уверенность, что это крутой содержательный ход: сегодня смысл там, где Бузова, как бы это не парадоксально звучало.

( Collapse )

Большие данные и машинное обучение, лекция-4: визуализация данных Python+Pandas+Matplotlib, часть-1

https://www.youtube.com/watch?v=STedHqTtCHg
vk: https://vk.com/video53223390_456239565

- Обзор библиотек визуализации данных: Matplotlib, Seaborn, Mayavi
- 3д: Matplotlib axis-3d vs Mayavi
- Matplotlib pyplot + NumPy: математика над вектором значений, график по точкам
- Pandas + Matplotlib: DataFrame.plot
- Данные: датасет ILO (МОТ - Международная организация труда) ilostat.ilo.org
- Таблица для анализа: средня зарплата по видам деятельности, полу, странам и годам
- Этапы решения задачи по визуализации: задать вопрос, на который ответит график, выбрать подходящий типовой график, подготовить данные - фильтрация, группировка, прочие преобразования
- Строим график: столбчатая диаграмма (bar chart) средней зарплаты в России по годам в долларах США (CUR_TYPE_USD)
- Подготовка данных: фильтрация данных, выбор колонок для столбиков, группировка значений по горизонтаельной оси - DataFrame.set_index
- Заголовок и легенда
- Несколько стобликов внутри групп, рубли и доллары на одном графике: простой set_index не подойдет, необходимо перегруппировать данные
- Сводная таблица DataFrame.pivot_table: превратить повторяющиеся категории в колонки
- Несколько стобликов внутри групп, рубли и доллары на одном графике: после перегруппировки сводной таблицей получилось ок
- Галопирующая инфляция и деноминация: несопоставимый масштаб данных на одном графике
- Логарифмическая шкала, подводные камни логарифма
- Несколько графиков в одном окне (subplots=True)
- Ручное масштабирование данных: ретроспективная деноминация
- Номинальная зарплата, реальное содержание заработной платы, индекс потребительских цен (инфляция)
- Данные по индексам потребильских цен: МОТ, Росстат

Но это может иметь также и тот результат, что сама рыночная стоимость благодаря изобретениям, сокращающим необходимое рабочее время, понизится и выравняется таким образом с рыночной ценой.

(т.е. оно было бы чьим-то, но вместе с этим не было бы моим), то для меня оно было бы не общее, а
( Collapse )

когда моё,
( Collapse )

Большие данные и машинное обучение, лекция-3: табличные данные в Python, библиотека Pandas


https://www.youtube.com/watch?v=ODFwEwMe8X0
вк: https://vk.com/video53223390_456239561

- Качаем данные: датасет ILO (МОТ - Международная организация труда) ilostat.ilo.org
- Таблица для анализа: средня зарплата по видам деятельности, полу, странам и годам
- Загружаем данные из файла CSV
- Pandas DataFrame - таблица, с которой можно делать что угодно (она же 2д-массив NumPy)
- Произвольный доступ к данным: диапазон строк, диапазон колонок, доступ к отдельный ячейке
- Оператор "квадратные скобки" DataFrame[] vs DataFrame.iloc[]
- Pandas Series - отдельная колонка таблицы (она же 1д-массив NumPy)
- Доступ к колонкам: через квадратные скобки по имени vs ООП-стиль через точку
- Запросы к данным: фильтр строк по значениям, больше волшебства оператора "квадратные скобки"
- Фильтр данных по значениям строковых значений
- Фильтр данных по диапазонам числовых значений
- Составные фильтры: средняя зарплата в стране за выбранный диапазон лет
- Разоблачение волшебства запросов через квадратные скобки: фильтрация данных массивом булевых значений
- Поэлементные логические операторы NumPy
- Статистические операции: минимум (min), максимум (max), среднее (mean), медиана (median)
- Среднее vs медиана (cредняя зарплата vs медианная зарплата)
- Проверка данных на правдоподобность, дополнительная проверка в сторонних источниках: откуда бы ни пришел датасет, всегда ожидайте подвох
- Больше загрузки данных: переименование колонок для приведения к удобному для использования в программе виду
- Склеивание таблиц по ключу: DataFrame.join
- Подключаем к таблице колонку с полным названием страны в дополнение к колонке с трехбуквенным кодом
- Итоги лекции: извлечение _знаний_ из массивов данных
- Задания на самостоятельную работу


*****
замечание на 15-й минуте:
"не-юникодный символ" - имелось ввиду не-аски символ, т.е. как раз юникодный