Курс по работе с данными на уровне университетских дисциплин
Инжиниринг данных
Онлайн-курс
Кроме понятной теории вы сможете общаться с действующими специлистами
Начинающим инженерам данных
Cистематизируйте знания, чтобы использовать их в работе или сменить направление
Практикующим разработчикам
Освоите навыки, которые помогут эффективнее справляться с задачами
Аналитикам и data-специалистам
Кому подойдет наш курс
Мы фокусируемся на самом удобном для восприятия виде контента – тексты и интерактивные лонгриды
Наша команда может поддерживать студентов на всем пути образовательного путешествия
Курс построен по всем принципам обучения в технических университетах и с участием преподавателей
При необходимости мы можем кастомизировать программу с упором на определенные направления
Из чего состоит программа
Текстовая теория
Сопровождение
Академичность
Расширяемость
Уникальные преимущества
Сбалансированная программа включает теория и практику с обратной связью
Наш фокус — асинхронный формат, доступ к контенту всегда и без наушников
Курс разработан с участием методологов и действующих специалистов
Программа курса
- Основные навыки Data Engineer. Сравнение трех ролей по работе с данными: Data Scientist, Data Engineer, Data Analyst. Основная терминология.
- Практический Linux. Работа с командной строкой.
- Введение в bash скрипты.
- Основы редактора vim.
- Виды баз данных. Системы управления базами данных (СУБД).
- Простые запросы. Команды ROUND, ORDER BY, LIMIT, OFFSET, DISTINCT. Логический порядок SELECT. Условиe WHERE. Команды NULL и NOT NULL. Kонкатенация. Команды LIKE и ILIKE. Методы работы со строками. Методы работы с датами.
- Основные агрегатные функции.
- ISTINCT и GROUP BY
- HAVING
- Создание схемы. Создание отношений. Формирование атрибутов, указание типов данных и ограничений. Модификация структуры отношений. Внешние ключи. Внесение данных в отношение. Изменение данных. Удаление данных и отношений.
- Как правильно писать SQL запросы?
- Организация данных в БД Как изучить свой датасет?
- Организация в Postgres. Оконные функции: простые запросы, накопление, LEAD и LAG. Команда CTE. Рекурсия. Применение с каталогами. Команда GENERATE_SERIES. Представления. Материализованные представления. Применение представлений в денормализации. План запросов. Команда JSON. Команда ARRAY.
- JOIN. Синтаксис. Комментирования
- Типы соединения: LEFT, RIGHT, INNER, FULL OUTER, CROSS JOIN. JOIN при работе с уникальными и неуникальными значениями. Команды UNION и EXCEPT. Команда CASE. Агрегация. Группировка. Подзапросы. Влияние положения на затрачиваемые
- Хранилище данных vs Озеро данных. Введение в Озера данных. Жизненный цикл Data Lake. Уровни архитектуры озера данных. Hybrid Data Lake. Data Lakehouse. Плюсы Data Lake. Минусы озера данных.
- Мультимодальная архитектура данных. Data Warehouse Design. Подход Kimball, преимущества и недостатки. Подход Inmon, преимущества и недостатки. Подход Data Vault v2.0. Архитектура Data Vault. Базовые правила построения модели Data Vault. Подход Anchor. Принцип Data Mesh - ключевые компоненты и принципы.
- Принципы построения DWH. Типы хранилищ данных. Стадии Data Warehouse Design. Логическое моделирование хранилищ данных.
- Виды архитектур и основные способы представления данных. Другие способы представления данных: снежинка, звезда и другие. Архитектура центров обработки данных, кластеры для параллельных и распределенных вычислений. Экосистема для распределенного хранения и обработки больших объемов данных: Apache Hadoop, HDFS. Распределенная обработка данных в Apache Spark. Архитектура Apache Spark: Resilient Distributed Dataset (RDD), действия трансформации. Работа с данными с использованием Spark DataFrame. Источники данных для Spark DataFrame. Обработка данных в Spark DataFrame. Использование SQL в Spark DataFrame.
- Методология моделирования Data Vault. Процесс обработки данных. ETL. ELT, Data Pipelines, Оркестрация. ETL плюсы и минусы. ELT плюсы и минусы. Параллельная обработка. DBMS – системы управления данными.
Связаться с нами
Можно связаться любыми способами
Сделано Ram Team
ООО «Лаборатория образования»
ИНН/КПП: 9722032495/772201001
ОГРН 1227700715494
ИНН/КПП: 9722032495/772201001
ОГРН 1227700715494