June 9th, 2021

Большие данные и машинное обучение, лекция-5: визуализация данных Python+Pandas+Matplotlib, часть-2

Большие данные и машинное обучение, лекция-5: визуализация данных Python+Pandas+Matplotlib, часть-2

https://www.youtube.com/watch?v=99qSuwRyrzE
вк: https://vk.com/video53223390_456239567

- Номинальная зарплата, реальное содержание заработной платы, индекс потребительских цен (ИПЦ),
- Изменение ИПЦ в % (инфляция)
- Данные: датасет ILO (МОТ - Международная организация труда) ilostat.ilo.org
- Таблица для анализа: средня зарплата по видам деятельности, полу, странам и годам
- Данные по индексам потребильских цен: МОТ, Росстат
- График инфляции по годам
- Мультииндекс, объединение таблиц средней зарплаты и ИПЦ по мультииндексу
- График: зарплата vs инфляция
- Номинальное значение заработной платы vs реальное содержание заработной платы в ценах 1992 года
- Группировка данных, групповые операции DataFrame → GroupBy → DataFrame
- Кумулятивное (накопленное) произведение GroupBy.cumprod
- Корректировка значения средней заработной платы на значения инфляции по годам в группах по странам
- График: реальное содержание заработной платы vs номинальная заработная плата в ценах 1992 года по годам в России
- Графики: реальное содержание заработной платы в ценах 1992 года vs номинальная заработная плата по годам, страны: США, КНР, Польша, Япония и т.п.
- Ретроспективное приведение зарплаты к ценам 2019 года
- Сдвиг данных внутри группы: GroupBy.shift
- Графики: номинальная зарплата vs реальное содержание зарплаты в ценах 2019 года по годам, страны: Россия, США, КНР
- Заключение:
-- Визуализация данных - еще один инструмент извлечения _знаний_ из данных.
-- Значительную часть работы составляет подготовка (преобразование) данных для построения графика. Если данные подготовлены, построение графика технически не вызывает проблем.