| 1 |
Введение в технологии больших данных Определение понятий «большие данные», «данные», «информация». История и эволюция технологий больших данных. Основные компоненты экосистемы больших данных: Hadoop, Spark, NoSQL. Проблемы работы с большими данными: объем, разнообразие, скорость. |
46 |
| 2 |
Архитектура и инфраструктура больших данных Хранилища данных: реляционные и нереляционные базы данных. Hadoop и его компоненты (HDFS, MapReduce, YARN). Apache Spark и его архитектура. Введение в архитектуру данных в облаке (AWS, Google Cloud, Microsoft Azure). Инструменты для обработки и хранения больших данных. |
46 |
| 3 |
Сбор и подготовка данных Источники данных и методы сбора. Очистка данных и предварительная обработка. Преобразование и нормализация данных. Использование ETL-процессов (Extract, Transform, Load). Инструменты для работы с данными: Apache NiFi, Talend. |
46 |
| 4 |
Анализ и обработка больших данных Основы статистического анализа больших данных. Алгоритмы машинного обучения для больших данных. Обработка данных в реальном времени (Stream processing). Использование Apache Kafka для потоковых данных. Алгоритмы обработки больших данных с использованием Apache Spark и Hadoop. |
46 |
| 5 |
Использование NoSQL баз данных Введение в NoSQL: ключевые-значение, документо-ориентированные, графовые, колоночные базы данных. Cassandra, MongoDB, Redis. Сравнение NoSQL с реляционными базами данных. Применение NoSQL в анализе больших данных. Интеграция NoSQL с другими инструментами обработки больших данных. |
46 |
| 6 |
Модели и алгоритмы машинного обучения Введение в машинное обучение. Основы классификации, регрессии, кластеризации и ассоциации. Методы обработки неструктурированных данных: текст, изображения, видео. Глубокое обучение для больших данных. Практическое применение алгоритмов машинного обучения на платформе Apache Spark |
46 |
| 7 |
Визуализация данных и представление результатов Основы визуализации данных. Инструменты для визуализации: Tableau, Power BI, D3.js. Принципы создания эффективных визуализаций больших данных. Представление результатов анализа для бизнеса и руководства. Визуализация результатов с использованием платформы Hadoop и Spark. |
46 |
| 8 |
Облачные технологии и их использование в больших данных Обзор облачных платформ для работы с большими данными. Amazon Web Services (AWS) и Hadoop на облаке. Google Cloud Platform (GCP) для анализа данных. Microsoft Azure и их инструменты для обработки больших данных. Преимущества облачных технологий для масштабируемости и гибкости. |
46 |
| 9 |
Безопасность и защита данных в экосистеме больших данных Проблемы безопасности больших данных. Защита данных на уровне HDFS, Spark. Шифрование данных, аутентификация и авторизация. Стандарты безопасности и соответствие нормативным требованиям. Управление доступом в экосистемах больших данных. |
46 |
| 10 |
Сетевые технологии и распределенные вычисления Основы распределенных вычислений. Сетевые технологии для обработки больших данных. Принципы работы с кластером данных. Использование MapReduce и распределенного хранения данных. Сетевые аспекты обработки потоковых данных. |
45 |
| 11 |
Проектирование и оптимизация архитектуры больших данных Проектирование высокоэффективных систем для работы с большими данными. Оптимизация производительности Hadoop, Spark. Сетевые и вычислительные оптимизации. Подходы к масштабированию и отказоустойчивости. Практическая работа с настройками кластеров. |
45 |
| 12 |
Дипломная работа |
6 |
| 13 |
Итоговая аттестация |
2 |
| Итого | 512 |