​

Парсинг и анализ данных на Python: от азов до автоматизации.
Научимся работать с pandas, импортировать и майнить данные из Сети, строить графики и картограммы, создавать отчеты.

Язык: Русский
Автор: Центр digital-профессий ITtensive
Лекций: 48
Продолжительность: 8 часов

Чему вы научитесь
Работа с данными с помощью pandas и numpy
Получение наборов данных из множества источников
Преобразование данных и предсказание последовательностей
Работа с HTTP, JSON, API, SOAP
Парсинг и скрепинг HTML сайтов
Визуализация данных: тренды и зависимости
Гео-данные м фоновые картограммы
Генерация PDF отчетов
HTML документы и шаблонизация
Отправка email и автоматизация работы

Описание
Центр digital-профессий ITtensive предлагает персонализированные программы с индивидуальными наставниками для освоения актуальных профессий будущего: аналитик данных на Python и программист больших данных.

Курс состоит из 4 больших частей.
Программа
1. Анализ данных
Вы изучите работу с импортом, объединением, преобразованием, фильтрацией данных на pandas, а также научитесь предсказывать тренды.
Вы сможете самостоятельно загружать данные в формате CSV, TSV, Excel, извлекать из них значения, находить взаимосвязи между разными наборами данных, преобразовывать и усекать наборы данных. В заключении вы освоите математический аппарат линейной регрессии для поиска линейной связи между данными и эффективно примените его для предсказания значений в будущем.

Спойлер: Продолжение описания

2. Парсинг данных
Вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP).
Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных.
Научитесь собирать данные целиком с сайта в несколько потоков: создадим мультипроцессного робота-паука.
В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных.

3. Визуализация данных
Вы изучите анатомию matplotlib и типы визуализации различных данных: линии, области, столбцы, круговые диаграммы.
Научитесь визуализировать зависимости между данными и линейную регрессию с помощью seaborn: построите ящичковые и парные диаграммы, диаграммы распределения.
Изучите визуализацию временных (хронологических) данных: ряды, скользящие средние, отклонения и "японские свечи".
В завершении разберете работу с гео-данными и построение фоновых картограмм по нескольким наборам данных, используя geopandas.

4. Генерация отчетов и автоматизация
В этом курсе вы научитесь создавать и преобразовывать PDF документы, генерировать их из HTML кода, используя шаблонизатор, отправлять отчеты по e-mail и автоматизировать работу.

В курсе используются библиотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а также бинарный файл wkhtmltopdf. Решаем задачи по созданию PDF документа через холст, разбору PDF документа, объединению PDF документов, созданию HTML и PDF документов из HTML, шаблонизации HTML через jinja2, преобразованию бинарных данных в base64-кодировку. В заключении разберем отправку e-mail, включая HTML-письма и вложенные PDF отчеты.

Для кого этот курс:
Начинающие разработчики Python с интересом к анализу данных
Веб-программисты, изучающие Python для получения и разбора данных
Менеджеры, планирующие использовать Python для автоматизации работы

Содержание складчины (файлы и папки)
01 numpy и pandas
001 Работа с numpy.mp4 [24m 905k 187]
002 Фреймы данных.mp4 [44m 219k 187]
003 Получение данных из Excel.mp4 [36m 927k 983]

02 Индексы и объединение фреймов
004 Индексы данных.mp4 [50m 675k 560]
005 Мультиндексы.mp4 [77m 706k 421]
006 Объединение фреймов.mp4 [30m 290k 248]

03 Фильтрация и изменение данных
007 Фильтрация данных.mp4 [68m 945k 191]
008 Изменение фреймов.mp4 [59m 394k 177]
009 Лямбда-функции.mp4 [77m 499k 475]

04 Линейная регрессия
010 Группировка данных.mp4 [67m 38k 550]
011 Очистка и фильтрация групп.mp4 [78m 881k 499]
012 Линейная регрессия.mp4 [78m 487k 221]

05 Импорт данных
013 HTTP запросы_ JSON и API.mp4 [30m 127k 915]
014 HTTP запросы с параметрами.mp4 [48m 827k 652]
015 Работа с SOAP.mp4 [45m 240k 606]

06 Парсинг данных
016 Получение данных из HTML.mp4 [107m 711k 694]
017 Получение табличных данных.mp4 [65m 148k 643]
018 Парсинг данных.mp4 [46m 715k 800]

07 Веб-скрепинг
019 Обход сайта по страницам.mp4 [105m 389k 178]
020 Мультипроцессность.mp4 [81m 345k 246]
021 Этика парсинга.mp4 [57m 555k 251]

08 Работа с SQL
022 Установка SQLite и создание базы.mp4 [25m 969k 420]
023 Создание таблиц и загрузка данных.mp4 [57m 516k 922]
024 Сохранение результатов.mp4 [85m 669k 728]

09 Основы Matplotlib
025 Анатомия Matplotlib.mp4 [58m 25k 451]
026 Базовые типы визуализации.mp4 [115m 772k 728]
027 Продвинутая визуализация.mp4 [69m 626k 486]

10 Визуализация зависимостей
028 Ящичковые диаграммы.mp4 [48m 329k 676]
029 Графики регрессии.mp4 [71m 747k 429]
030 Корреляционные диаграммы.mp4 [47m 763k 920]

11 Временные ряды
031 Серии данных.mp4 [36m 624k 423]
032 Скользящие средние и отклонения.mp4 [48m 976k 445]
033 Свечные графики.mp4 [36m 582k 491]

12 Гео-данные и картограммы
034 Использование карт.mp4 [31m 96k 100]
035 Картограмма с подписями.mp4 [53m 304k 89]
036 Фоновая картограмма.mp4 [66m 279k 483]

13 Работа с PDF
037 Базовый PDF документ.mp4 [36m 53k 883]
038 Добавление информации в PDF.mp4 [37m 492k 820]
039 Преобразование PDF.mp4 [57m 995k 750]

14 Базовые отчеты
040 Структура HTML документа.mp4 [28m 681k 612]
041 Оформление отчета в HTML.mp4 [25m 748k 893]
042 Страницы и колонтитулы.mp4 [47m 621k 635]

15 Генерация отчетов
043 HTML шаблоны с jinja.mp4 [45m 898k 24]
044 Циклы и условия в шаблонах.mp4 [48m 512k 434]
045 Вывод таблиц и изображений.mp4 [67m 244k 492]

16 Отправка email и интеграция
046 Работа с почтой.mp4 [21m 444k 662]
047 Отправка вложений.mp4 [39m 368k 2]
048 Запуск по расписанию в Windows.mp4 [25m 281k 977]

Объем: 2.43ГБ