Интерактивная карта навыков Data Science: от Python и математики до MLOps

ФУНДАМЕНТ

Ключевые стеки компетенций

Аналитический стек

Теоретическая база для понимания данных, построения гипотез и корректной интерпретации.

Математика

Линейная алгебра
Математический анализ
Теория вероятностей

Статистика

Описательная и индуктивная
Дизайн экспериментов (A/B)
Тестирование гипотез

Программный стек

Ключевые языки и среды для анализа данных, моделирования и проведения исследований.

Языки

Python

SQL

Бесплатные тренажёры

Среды разработки

Инженерный стек

Git & Version Control

Управление версиями кода для отслеживания изменений и совместной работы.

Bash / Shell Scripting

Работа в командной строке для автоматизации рутинных задач и управления средой.

Docker & Containers

Контейнеризация для создания изолированных и воспроизводимых сред выполнения.

ЖИЗНЕННЫЙ ЦИКЛ

Этапы работы над проектом

Сбор данных

Поиск и получение данных из различных источников, как внутренних, так и внешних.

Веб-скрапинг:

Beautiful Soup Scrapy Selenium

Работа с API и БД:

requests aiohttp psycopg SQLAlchemy

Хранение и обработка

Работа с различными типами хранилищ и инструментами для обработки больших данных.

Реляционные БД (SQL):

PostgreSQL MySQL

Нереляционные БД (NoSQL):

MongoDB Redis Elasticsearch

Платформы для Big Data:

Spark Dask ClickHouse

Подготовка данных и EDA

Очистка, исследование, обогащение данных и конструирование признаков (feature engineering).

Ключевые процессы:

Обработка пропусковРабота с выбросамиОписательная статистикаАнализ распределенийКорреляционный анализКонструирование признаков

Инструменты:

Pandas Polars NumPy Matplotlib Seaborn Plotly

Способы кодирования категориальных данных Использование библиотеки missingno для поиска и визуализации пропусков в данных Основы очистки данных в data science Polars: альтернатива Pandas для анализа данных в Python

Подходы к моделированию

Выбор семейства алгоритмов в зависимости от типа задачи и структуры данных.

Классические алгоритмы

Основа для стандартных задач и интерпретации результатов.

Scikit-learn

Ансамблевые методы

Комбинация моделей для максимальной точности на табличных данных.

XGBoost CatBoost LightGBM

Глубокое обучение

Нейронные сети для задач с неструктурированными данными (текст, звук, изображения).

PyTorch TensorFlow

Линейная регрессия и её регуляризация в Scikit-learn Полиномиальная регрессия в sklearn PCA на Python: как извлечь максимум информации из данных, сократив их размерность

Визуализация и BI

Создание дашбордов для презентации результатов бизнесу и мониторинга ключевых метрик.

Yandex DataLens Apache Superset Grafana

Развертывание и MLOps

Внедрение, автоматизация и мониторинг производительности модели в production-среде.

CI/CD (GitLab) Kubernetes Airflow Yandex Cloud SberCloud