​

Скрапинг вакансий с открытых источников по заданным параметрам.
Сохранение, рассылка и отображение этих вакансий.​

Чему вы научитесь
Научитесь анализировать сайты для их дальнейшего скрапинга, а также создавать простые приложения на Django

Что входит в курс?
21,5 часа видео

Материалы курса
70 лекций - 21:41:59

– Введение - 13:25
Введение - 02:10
Инструменты и библиотеки, которые будут использоваться в проекте - 05:07
Виртуальное окружение. Что это такое и зачем оно нужно - 06:08

– Скрапинг данных с сайтов - 03:26:30
Сбор данных с сайтов ( скрапинг). Две разные категории сайтов для скрапинга - 13:00
Скрапинг данных с помощью requests и beautifulsoup - 11:28
Анализ страницы сайта work.ua . Как и какие данные можно получить - 09:58
Сбор данных по одной вакансии - 21:46
Анализ пагинации для получения ссылок на другие страницы с вакансиями - 30:30
Получения данных со всех страниц с вакансиями по выбранной категории - 18:24
Анализ сайта djinni.co - 24:40
Сбор данных со второй страницы сайта djinni.co - 11:27
Скрапинг страницы сайта dou.ua - 21:02
Скрапинг страницы сайта rabota.ua - 24:21
Скрапинг данных со второй страницы с вакансиями на rabota.ua - 19:54

Спойлер: Продолжение описания

– Django - 07:56:43
Установка Django - 22:31
Как Django работает изнутри. Подключаем html-страницу - 15:17
Создание первой модели в Django - 20:33
Создание модели для сохранения данных по вакансиям - 24:55
Создание модели для специальностей. Что такое shell? - 19:35
Создание функции по интеграции функции скрапинга и сохранению данных в БД - 21:53
Продолжение по функции для сохранения данных в БД - 17:46
Финализируем функцию по сохранению данных - 06:03
Добавление остальных функций по скрапингу. Обработка исключений - 19:17
Расширение функционала. Добавление возможности поиска по другим параметрам - 20:06
Автоматизация получения входных данных для скрапинга - 23:09
Bootstrap. Немного сведений об этом фреймворке - 20:12
Шаблонные тэги в Django — block и extends - 23:36
Отображение данных из БД на странице - 14:24
Добавление логики в функцию отображения данных - 08:56
Формы. Создание формы с выбором города\специальности для сортировки отображения - 31:55
Создание нового приложения для подписчиков - 25:25
Форма регистрации и добавление нового пользователя - 34:30
Функция добавления нового пользователя - 23:00
Форма авторизации пользователя - 21:54
Функция входа и форма для редактирования данных пользователя - 21:11
Функция редактирования данных пользователя - 24:34
Создание адресов и страниц для входа и редактирования - 16:01

– PostgreSQL - 02:53:44
Установка PostgreSQL - 11:06
Миграции, новый суперюзер, загрузка данных в новую БД - 06:06
psycopg2 модуль по работе с БД PostgreSQL. Скрипт по работе БД - 26:28
Скрипт по работе с БД. Словарь с городами и специальностями - 13:38
Скрипт по работе с БД. Словарь с сайтами и урлами для скрапинга - 21:35
Скрипт по работе с БД. Получение данных по результату работы скрапинга сайтов - 21:34
Скрипт по работе с БД. Запись данных в БД. Удаление старых записей из БД - 26:54
Работа с моделаями вне Django-проекта - 23:22
Финализируем скрипт по работе с моделаями вне Django-проекта - 23:01

– Отправка писем - 47:10
Отправка писем подписчикам - 26:59
Финализируем функцию по отправке писем подписчикам - 18:24
Верификация e-mail адреса для сервиса MailGun - 01:47

– Улучшения внешнего вида и функционала - 01:36:03
Создание стартовой страницы — адрес, функция, шаблон - 19:26
Небольшие изменения для лучшего отображения страницы - 18:42
Форма обратной связи - 27:18
Отправка писем админу по отсутствующим урлам для пар город-специальность - 30:37

– Heroku - 01:54:47
Подготавка файла с настройками - 15:19
Устанавка необходимых библиотек - 20:14
Деплой проекта - 22:39
Создание необходимых переменных окружения - 24:49
Запуск проекта - 19:55
Выполнение функций по расписанию - 08:00
Создание проекта с помощью CLI - 03:51

– Улучшаем функционал сервиса - 02:52:10
Редактирование внешнего вида страниц сайта - 19:56
Переход с Django 1.11 на Django 2. Что нужно сделать? - 25:32
Логирование ошибок. Создание модели - 22:05
Логирование ошибок. Изменения в логике работы функций - 34:19
Логирование ошибок. Отправка писем администратору - 19:53
Логирование ошибок. Отправка писем администратору, дополнение - 05:30
Страницы ошибок 400.html, 404.html, 500.html - 08:21
Дополнения и изменения - 33:42
Решение с многократной отправкой писем - 02:52

– Финал - 01:27
Финал - 01:27

Требования
Базовые знания Python и html

Описание
Django - бесплатный и свободно распространяемый фреймворк для веб-приложений, написанный на Python. Каждый раз при разработке веб-сайтов требуются похожие компоненты: способ аутентифицировать пользователей (вход, выход, регистрация), панель управления сайтом, формы, инструменты для загрузки файлов и т.д. И чтобы это все не повторять, был создан Django. Django отлично работает в сочетании с любыми библиотеками, инструментами и скриптами, написанными на Python.

Шаг за шагом, Вы пройдете весь процесс по построению сервиса, который собирает вакансии с сайтов по поиску работы и рассылает их своим подписчикам. Вы узнаете, каким образом скрапить данные с сайтов , как их сохранять в БД, как создать веб-приложение на основе Django и многое другое. А после того, как приложение уже будет готово, Вы узнаете, как его можно разместить в интернете так, чтобы оно было доступно для всех.

Основная целевая аудитория курса - студенты, желающие получить знания по скрапингу данных и по Django, а также разработчики, которые уже знают Python и хотят побольше узнать о веб- разработке и скрапингу.

Некоторые темы курса:
·Virtualenv – зачем нужно и как его использовать
·Парсинг сайтов с использованием библиотек requests и Beautifulsoup
·База данных PostgreSQL и работа с ней используя модуль psycopg2
·Создание приложения на основе Django
·Оформление сайта с помощью Bootstrap 4
·Деплой приложения на сервис Heroku
·и многое другое!

Какова целевая аудитория?
Для начинающих разработчиков на Python, кому интересно как парсить сайты и сохранять данные скрапинга в Django

О преподавателе
Oleg Novikov
Python\Django Developer
Здравствуйте! Меня зовут Новиков Олег. Занимаюсь тем, что пишу приложения на Python\ Django и преподаю курс по основам программирования на Python в офлайн. Когда то, я сам обучался программированию и все что с ним могло быть связано, а теперь я готов поделиться полученными знаниями с Вами. И это очень здорово, когда ты делишься тем, что знаешь сам! Я не знаю всё, да и это невозможно, поэтому постоянно изучаю какие-то новые технологии. И мой Вам совет – делайте тоже самое! Читайте, изучайте, пишите код! Чем больше Вы применяете полученные знания на практике, тем лучше они усваиваются!
Если у Вас будут возникать вопросы - пишите, я обязательно отвечу на них!