Разработчик баз данных с нуля [2021] [Нетология] [Артур Сапрыкин, Николай Хащанов, Олег Булыгин, Надежда Короткая]

Разработчик баз данных с нуля [2021]
Нетология
Артур Сапрыкин, Николай Хащанов, Олег Булыгин, Надежда Короткая

1. Изучите языки программирования SQL и Python для работы с данными
2. Научитесь создавать и настраивать базы данных под запросы компаний
3. Освоите профессию и соберёте портфолио из 4 проектов

Знания Python и SQL нужны для создания, модификации и управления данными. По данным исследования Institute of Electrical and Electronics Engineers, эти языки самые популярные в 2021 году.

Изучив основы и набравшись опыта, через 1–3 года вы сможете повысить уровень дохода, работая по перспективным IT-профессиям: BI-архитектор, BI-разработчик и другим.

Кому подойдёт курс:
1. Новичкам

Изучите основы Python и SQL для оптимизации работы с данными​

2. Специалистам техподдержки

Сможете быстрее решать новые и нестандартные задачи при помощи SQL и автоматизируете рутинные процессы​

3. Начинающим разработчикам

Научитесь писать запросы, анализировать и обрабатывать информацию из баз данных при помощи языка SQL​

Чему научитесь:
1. Изучите основы Python и научитесь с его помощью получать и обрабатывать данные
2. Освоите управление данными и работу с аналитическими функциями SQL
3. Познакомитесь с основами администрирования баз данных на примере PostgreSQL
4. Узнаете о методах интеграции информационных систем и изучите спецификацию OpenAPI
5. Разберётесь в проектной документации IT-проектов
6. Познакомитесь с принципами agile и научитесь работать в продуктовом подходе
7. Научитесь проектировать надёжные базы данных и обеспечивать их работу
8. Разберётесь, как тестировать базы данных

Спойлер: Содержание

Модуль 1 - SQL и получение данных

С помощью SQL научитесь получать информацию из базы данных. Также сможете фильтровать, агрегировать, импортировать и экспортировать данные.

• Архитектура и структура баз данных (БД)
• Простые запросы, join, агрегаты
• Базовые команды в SQL и встроенные аналитические функции
• Импорт и экспорт данных посредством SQL и ETL программ
• Принципы работы с различными БД
• Основные библиотеки для подключения к БД из Python
• Функции SQL и их аналоги в pandas
• Консоль: знакомство, основные операторы, утилита psql
• Архитектура и проектирование
• Нормализация
• Зависимости
• Разработка запросов для аналитики авиаперелётов
• Курсовой проект

​

Модуль 2 - Основы Python для работы с данными

Освоите основы Python и научитесь с его помощью получать и обрабатывать данные.

• Основы Python
• Введение в анализ данных на Python
• Статистика в Python
• Предобработка данных
• Feature Selection

​

Модуль 3 - Программирование на Bash

Изучите базовое программирование в командном интерпретаторе Bash. Научитесь проводить синтаксический анализ с помощью регулярных выражений regexp. Освоите утилиты sed, awk, cut, grep и другие.

• Базовое программирование на Bash. Коды возврата, функции
• Regexp и их использование для синтаксического анализа
• Полезные утилиты
• Разбор скриптов и написание своих скриптов. Linter, ShellСheck

​

Модуль 4 - Warehouse (DWH)

Познакомитесь с классическим хранилищем данных, научитесь проектировать его и выполнять основные задачи.

• Введение в хранилища данных
• Проектирование хранилища данных
• Знакомство с Pentaho
• Pentaho как инструмент ETL
• ETL-pro
• Общие рекомендации по разработке ETL
• Смежные темы
• DWH в облаке

​

Модуль 5 - Администрирование Linux

Разберёте дистрибутивы Linux, основанные на RedHat и Debian, и особенности работы с ними. Узнаете, как управлять пакетами: устанавливать, удалять и пересобирать их. Научитесь управлять пользователями и их правами, приложениями и их запуском. Изучите принципы поиска проблем производительности системы.

• Типы дистрибутивов
• Управление пакетами
• Системы инициализации Linux: systemd, init-v
• Управление пользователями
• Производительность системы
• Файловые системы

​

Модуль 6 - Системы хранения и передачи данных

Узнаете, чем различаются SQL и NoSQL базы данных и как выбрать нужную из всего многообразия существующих решений. Разберётесь, зачем нужен кеш и как его использовать. Научитесь складывать и смотреть логи приложений в Elasticsearch, а также настраивать и использовать менеджер очередей RabbitMQ.

• Базы данных и их типы
• Кеширование Redis/Memcached
• ELK
• Очереди RabbitMQ

​

Модуль 7 - Реляционные базы данных

Узнаете принципы работы реляционных баз данных. Научитесь писать SQL-запросы, работать с индексами и оптимизировать выполнение запросов. Освоите репликацию, масштабирование баз данных и резервное копирование.

• Базы данных
• Работа с данными с помощью DDL и DML
• Индексы
• Репликация и масштабирование
• Резервное копирование
• Базы данных в облаке

​

Модуль 8 - Продвинутая работа с SQL

Изучите основы проектирования и поймёте, какие бывают архитектурные модели данных. Научитесь создавать хранимые процедуры и триггеры. Узнаете, что такое нормализация и денормализация. Освоите шардирование и партиционирование.

• Создание хранимых процедур
• Создание триггерных функций и триггеров
• Горизонтальное и вертикальное шардирование
• Архитектурные модели
• Модели данных
• Этапы проектирования базы данных
• Отличие OLTP- от OLAP-систем
• Разработка и заполнение базы данных, внедрение в неё хранимых процедур и триггеров
• Курсовой проект

​

Модуль 9 - Интеграция систем и документирование API

Узнаете о методах интеграции информационных систем, изучите спецификацию OpenAPI, научитесь описывать программные интерфейсы приложений и публиковать их в Swagger.

• Процесс и уровни интеграции
• Подходы к интеграции
• REST API, SOAP
• Нотация OpenAPI
• Swagger

​

Модуль 10 - Администрирование баз данных

Познакомитесь с основами администрирования БД на примере PostgreSQL. Узнаете основы архитектуры, научитесь управлять доступом, организовывать репликацию и резервное копирование данных.

• Основы конфигурации и архитектуры
• Организация данных
• Задачи администрирования
• Управление доступом
• Репликация и резервное копирование
• PL и SQL
• Работа с PostgreSQL
• Определение ролей, доступа и резервное копирование для заданной базы данных
• Курсовой проект

​

Модуль 11 - Тестирование систем и данных

Познакомитесь с основными видами и методами тестирования, поймёте разницу между QA и тестированием.

• Ручное и автоматизированное тестирование
• Тестирование данных. Требования и подход

​

Модуль 12 - Документирование в IT-проектах

Сориентируетесь в видах проектной документации, структуре и назначении артефактов. Научитесь создавать BMC, CJM и узнаете, где их применять. Рассмотрите стандарты документирования и познакомитесь с процессами документирования внутри цикла разработки ПО.

• Согласование и управление изменениями требований
• Проектная документация и артефакты
• Business canvas model
• Customer journey map
• Software requirements specification и техническое задание
• Стандарты документирования
• Подходы к документированию в IT-проектах

​

Модуль 13 - Работа по agile: scrum, kanban, lean

Поймёте отличие гибких подходов к управлению от традиционных. Познакомитесь с принципами бережливого производства (lean), гибкой методологией разработки (agile), методологией управления проектами (scrum) и системой организации процесса реализации задач (kanban).

• Отличие традиционных подходов к управлению от гибких
• Lean — бережливое производство. Поток создания ценности
• MVP и agile-планирование
• Scrum: планирование спринта, работа итерациями
• Kanban: основы метода, построение системы

​

Модуль 14 - Дипломный практикум

Разработаете архитектуру и сконфигурируете базу данных для интернет-магазина. Настроите доступы, роли и резервное копирование данных.​

Продажник