Курс «Дипломированный аналитик данных»

Программа курса

Блок SQL

Вывод данных из таблицы
Введние в курс
Типы данных
Наименования атрибутов
Простые запросы
Limit
Алгебра логики
Добавление условия
Поиск по набору значений (IN)
LIKE
BETWEEN
Логические операторы
Работа с NULL
Дедупликация
Вычисляемые поля
Group by
Having Order by
Практика и разбор вопросов
Работа с несколькими источниками данных
Функции
Подзапросы
Union
Join
Рекурсивные подзапросы
Практика и разбор вопросов
Использование конструктора
Конструктор. Составление запросов
Создание базы данных
Создание ключей
CREATE
INSERT
UPDATE
DROPTRUNCATE
Практика и разбор вопросов
Просто о сложном
Регулярные выражения
Реализация самостоятельных проектов
Практика и разбор вопросов

Блок Python

Как работают программы
Принцип работы операционных систем
Что такое программа
нтерпретатор и компилятор
Низкоуровневые и высокоуровневые языки программирования
Место Python в современном мире программирования
Обзор сред разработки
Установка python, Visual Studio Code + jupyter plugins, Jupyter Notebook/Lab
Версионирование кода
Система версионирования git
Github
Установка и настройка git bash
Основы работы с git
Клонирование и синхронизация с репозиторием курса
Работа с git в VS Code
Основы работы в командной строке
Командная строка/терминал windows
Основы работы в терминале Unix-подобных систем (shell/bash)
С работа с git через командную строку
Запуск python скриптов из командной строки
Основы программирования на python
Основы программирования на python
Понятие переменной
Основы синтаксиса python
Специальные конструкции и отступы
Синтаксические ошибки. Комментарии
Понятие типа данных. Функции print и input. Типы int, str, float. Операции с числами. Конвертирование типов. Функции int, float, str.
Проверка решения задач на платформе Яндекс.Контест
Автопроверка задач на Яндекс.Контест. Отчёт о проверке. Ввод, вывод, сообщение чекера.
Булевой тип данных, булевые (условные) выражения
Булевой тип данных. Булевые выражения. Понятие множества. Объединение и пересечение множеств. Операторы OR и AND. Исключащее "или" (XOR).
Условия (условные операторы)
Условные операторы if, elif, else. Порядок проверки условий. Терминация условий. Вложенные условия.
Цикл for
Итерирующий цикл for. Генератор чисел range. Взаимодействие с пользователем в цикле. Проверка условий в цикле.
Цикл while
Цикл while. Терминация цикла while. Операторы break и continue. Оператор else в циклах for и while
Коллекции в python: списки
Списки в python. Индексация упорядоченных объектов
Положительная и отрицательная индексация в списках
Итерация списков по индексам, по элементам, с помощью enumerate
Множественное присваивание. Методы списков
Вложенные циклы. Вложенные списки
Вложенные цикла и условия. Правильная работа с отступами
Форматирование строк
Метод format. f-строки. Созадние масок для форматирования строк
Чтение и запись файлов
Понятие кодировки. Функция open. Контекстный менеджер with. Чтение файлов: методы readline, readlines, read. Итерация файлов. Запись в файл
Словари. Чтение и запись json файлов
Создание словарей. Добавление пары ключ-значение в словарь. Проверка ключа на наличие в словаре. Итерация словарей по ключам, значениям, парам ключ-значение
Функции
Создание собстевнный функций. Позиционные и непозиционный аргументы (аргументы по ключу). Возвращение. Отличие return от print. Аннотация типов и docstring
Рекурсия
Хвостовая рекурсия и её реализация на python
Классы. Основы ООП
Создание собственных классов. Инициализация экземпляра класса, self. Атрибуты и методы классов. Магические методы. Создание экземпляров класса. Наследование. Методы класса (classmethod), статические методы (staticmethod)
Написание собственных модулей
Модульая струкутра кода. Вынесение кода в модули. Импорт функционала (классов и функций) из модуля
Обработка исключений. Создание собственных ошибок
Конструкция try, except. Виды ошибок в python. Создание собственных ошибок. Вызов (raise) ошибок
Библиотека NumPy. Векторизация кода
Введение в библиотеку NumPy. Класс вектора (array), индексация, основные операции с вектором. Изменение размерности вектора, многовекторные векторы, работа с матрицами. Использование булевых масок. Принципы векторизации кода
Библиотека Matplotlib. Основы визуализации данных
Основы визуализации с помощью Matplotlib.pyplot, объекты холста (figure) и осей (axes). Генерация данных для визуализации с помощью NumPy. Subplots
Библиотека Pandas. Работа с табличными данными. Разведывательный анализ данных. Визуализация с помощью библиотеки Seaborn
Введение в библиотеку Pandas. Классы Series, DataFrame.
Чтение данных из разых истчников.
Индексация в DataFrame, фильтрация данных с помощью булевых масок.
Векторные операции в DataFrame.
Итерация DataFrame.
Сортировка. Способы соединяния данных: функции merge, concat, append.
Работа со сводными таблицами: функции pivot_table, stack, melt. Группировка и агрегация данных.
Продвинутая визуализация с помощью Seaborn.
Основные графики аналитики, представление распределений и категориальных данных: scatterplot, lineplot, histplot, barplot, boxplot, violinplot, heatmap, clusterplot
Интерактивная визуализация с помощью plotly
Интерактивная визуализация с помощью plotly, plotly.express. Преимущества и недостатки в сравнении со статической визуализацией. Создание анимированных виджетов
Основы теории вероятностей и математической статистики. Модули Scipy и statsmodels
Оценки центрального положения и вариабельности, персентили, бинарные и категориальные данные. Корреляция и как её понимать.
Выборочная и генеральная совокупности, систематическая ошибка отбора, смещение.
Выборочное распределение статистики, центральная предельная теорема (ЦПТ), стандартная ошибка, доверительные интервалы, бутстрап
Прикладная математическая статистика. Проверка статистических гипотез. Построение доверительных интервалов. Пермутации и бутстрап. A/Б тестирование
Распределения: нормальное, Пуассона, t-распределение Стьюдента, биномиальное и отрицательное биномиальное.
А/B тестирование и проверка статистических гипотез: контрольная группа, нулевая и альтернативная гипотезы, одно- и двусторонняя проверки гипотез.
Статистическая значимость, p-value, ошибки первого и второго рода.
Проблема множественного тестирования.
Степени свободы.
Статистические тесты
Основы классического машинного обучения. Задача регрессии. Эконометрический подход. Функция потерь. Метрики. Выбор лучшей модели.
Основы моделирования с помощью классического машинного обучения, задачи регрессии, классификации, кластеризации.
Оценки качества и оптимизация моделей.
Отбор, генерация, проектирование признаков.
Линейная регрессия.
Статистическая значимость коэффициентов в уравнении линейной регрессии.
Масштабирование признаков
Линейная регрессия. Полиномиальная регрессия. Генерализованные линейные модели. Генерация признаков. Регуляризация. Разбиеные данных на датасеты для обучения, валидации, тестирования модели
Линейные модели.
Масштабирование признаков.
Жизненный цикл модели.
Обучение, валидация и тестирование модели.
Генерация признаков.
Важность признаков.
Кодирование категориальный признаков: label и one-hot encoding.
Кросс-валидация.
К-фолд кросс-валидация.
Кросс-валидация для временных рядов.
Задача классификации. Логистическая регрессия. Метрики задачи классификации. Метод k-ближайших соседей
Бинарная классификация с помощью логистчиеской регрессии и метода k-ближайших соседей.
Метрики задачи классификации.
Подходы к мультклассовой классификации.
Функция потерь в задаче бинарной классификации.
Кросс-валидация для классификация.
Стратификация
Созадние дашбордов и интерактивных отчетов с помощью streamlit
Созадние интерактивный веб-страничек с помощью streamlit
Задача классификации. Метод опорных векторов. Методы снижения размерности: PCA, t-SNE, UMAP
Понятие maximum margin классифкатора.
Метод опорных векторов.
Регуляризация в методе опорных векторов.
Изменение ядра (kernel trick) для расчетов в новом признаково пространстве без фактической генерации новых признаков.
Проклятие размерности.
Методы снижения размерности.
Сравние PCA с t-SNE и UMAP.
Преимуществ и недостатки t-SNE и UMAP.
Типичиные ошибки, которые нельзя допускать при работе с UMAP и t-SNE
Деревянные модели. Решающие деревья. Ансамбли моделей: стекинг, бэггинг, бустинг. Случайный лес
Понятие дерева.
Дерево решений.
Информация, инфмормационная энтропия и выигрыш в информации.
Процедура построения дерева.
Регрессия и классификация с помощью решабщего дерева.
Недостатки решающего дерева.
Ансамбли моделей.
Случайный лес.
Построение случайного леса и почему его сложно переобучить (но можно)
Понятие градиента. Градиентный спуск. Стохастический градиентный спуск. Градиетный бустинг над решающими деревьями. Библиотека Catboost. Определение важности признаков с помощью SHAP values
Градиент.
Градиентный спуск.
Стохастический градиентный спуск и его модификации.
Главный гиперпараметр -- learning rate. Градиентный бустинг.
Градиентный бустинг над решающими деревьями.
Реализация градиентного бустинга в catboost.
Target encoding категориальных признаков.
Решающие таблицы в catboost.
Основы работы с catboost (классификация и регрессия).
Получение важности признков, shap values, интерпретация вклада признака в предсказание модели.
Задача кластеризации. Поиск центроид и медоид. Кластеризация с помощью алгоритма k-средних. Аггломеративная иерархическая кластеризация. DBSCAN. Метрики кластеризации. Поиск оптимального числа кластеров.
Постановка задачи кластеризации.
Алгоритм кластеризации k-средних.
Кластеризация через определение k-медоид.
Аггломеративная иерархическая кластеризация.
Разные способы посчитать расстояние между объектами и между кластерами в задаче аггломеративной кластеризации.
Дендрограмма. Алгоритм кластеризации DBSCAN.
Гиперпараметры DBSCAN.
Определение оптимальных значений гиперпараметров для DBSCAN.
Определение оптимального числа кластеров: метод локтя и силуэт.
Метрики в задаче кластеризации.
Подходы к работе с несбалансированными датасетами
Проблема дисбаланса классов.
Подходы к under- и over-семплингу объектов классов
Случайный овер- и андерсемплинг.
SMOTE. Валидация моделей при дисбалансе классов.
Стратификация
Разбор демо-вариант экзамена
Разбор демо вариант. Повторение ключевых тем, функций, методов.

Блок Бизнес-аналитика в Power BI

Применение Power Query
Ознакомление с интерфейсом и возможностями Power Query
Применение Power Query на практических задачах
Экспорт данных в Power Query
Перевод исходных данных в табличный формат
Создание вычисляемых столбцов
Слияние и сравнение двух таблиц
Консолидация данных для составления консолидированного ОДДС прямым методом
Обработка анализа сч.62 с целью составления информативного отчета
Создание ключей
Применение Power Pivot
Применение Power Pivot на практических задачах
Экспорт данных в Power Pivot
Создание аналитических мер с целью формирования dashboard с применением языка DAX
Применение Power BI
Ознакомление с интерфейсом и возможностями Power BI
Применение Power BI на практических задачах Формирование «большого» сводного визуализированного отчета
Анализ основных видов визуализаций
Создание разнообразных аналитических мер с целью формирования dashboard с применением языка DAX.
Формируем большой сводный пример

Блок 1: Введение и Основы
Часть 1: Введение в статистику
Часть 2: Меры центральной тенденции и изменчивости
Часть 3: Средства визуализации данных
Блок 2: Сравнение выборок и уровень значимости
Часть 1: Введение в сравнение выборок
Часть 2: Методы сравнения несвязанных выборок
Часть 3: Понятие p-уровня значимости
Часть 4: Практические примеры и резюме
Блок 3: Дисперсионный анализ и множественные факторы
Часть 1: Введение в дисперсионный анализ
Часть 2: Однофакторный дисперсионный анализ
Часть 3: Многофакторный дисперсионный анализ
Часть 4: Примеры и заключение
Блок 4: Сравнение связанных выборок и повторные измерения
Часть 1: Введение в сравнение связанных выборок
Часть 2: Методы сравнения связанных выборок
Часть 3: Анализ данных с повторными измерениями
Часть 4: Примеры и заключение
Блок 5: Корреляция и регрессия
Часть 1: Введение в корреляцию и регрессию
Часть 2: Корреляционный анализ
Часть 3: Регрессионный анализ
Часть 4: Примеры и заключение