Изучает источники данных
Уточняет, откуда поступают данные, какова их структура и кому они нужны.
Data Engineer
Data Engineer строит и поддерживает процессы, которые доставляют и подготавливают данные для анализа и работы приложений.
Навыки специалиста
Связанные с профессией навыки помогают разобраться в отдельных рабочих задачах. Состав зависит от специализации и контекста работы.
Практические навыки
Анализ системных данныхВыгрузка данных из внешних системИзвлечение и обработка данныхОбработка больших объёмов данныхОбработка данныхОбработка системных данныхПарсинг данныхРабота с большим объемом данныхРабота с внешними источниками данныхРабота с компонентами экосистемы HadoopРабота с облачными хранилищамиРабота с хранилищами данныхРазвёртка инфраструктуры для обработки данныхРазработка пайплайнов обработки данныхУправление потоками данных
Инструменты и технологии
Инструменты связаны с профессией напрямую или указаны в данных связанных курсов. Программы могут охватывать разные специализации, поэтому не каждый инструмент нужен специалисту.
Инструменты в работе
1СЯндекс.ОблакоAnsibleApache AirflowApache HiveApache KafkaApache SparkBashClickHouseCSSDBeaverDjangoDockerDocker ComposeDVCFastAPIGitGitHubGoogle ТаблицыGrafanaHadoopHTMLJavaJavaScriptJupyter NotebookKaggleKubernetesLinuxMatplotlibMicrosoft ExcelMicrosoft Power BIMicrosoft Power QueryMicrosoft PowerPointMiroMLFlowMongoDBNLTKNode.jsNoSQLNumPyOpenCVpandaspipPlotlyPostgreSQLPrometheusPySparkpytestPythonPyTorchReactRedisS3Scikit-learnSeabornSpark StreamingSQLTelegramTensorFlowYandex DataLens
Что делает специалист
Строит обработку
Разрабатывает процессы загрузки, преобразования и хранения данных.
Проверяет качество
Настраивает проверки и отслеживает сбои, чтобы потребители понимали ограничения данных.
Источники: O*NET: Database Architects ↗ и Apache Spark: Documentation ↗. Архитектор баз данных и Data Engineer не тождественны; Spark приведён как один из возможных инструментов.
Этапы освоения профессии
Хранение и запросы
Изучите основы таблиц, SQL и форматов обмена на небольшом учебном наборе.
Поток данных
Загрузите данные из файла, преобразуйте их и сохраните результат в учебной базе.
Надёжность
Добавьте проверки пропусков и повторного запуска и опишите, что происходит при ошибке.
Это редакционный маршрут, а не обязательный стандарт или обещание трудоустройства. Документация и самостоятельная практика также подходят для освоения навыков.
Курсы для профессии «Data Engineer»
Здесь представлены опубликованные на KURSEZ курсы, связанные с этой профессией. Сравните программу, практику и условия обучения.
Яндекс ПрактикумМагистратура МИФИ: работа с данными и применение ИИ
Онлайн-магистратура НИЯУ МИФИ в партнёрстве с Яндекс Практикумом о работе с данными, машинном обучении и ИИ. Студент выбирает один из четырёх треков.
950 000 ₽
Стоимость курса
Яндекс ПрактикумИнженер данных
Курс по инженерии данных для специалистов с навыками SQL и Python: проектирование хранилищ, пайплайнов, Data Lake и потоковой обработки.
95 600 ₽
Стоимость курса
от 3 903 ₽ / мес. на 36 мес.
Яндекс ПрактикумИнженер данных с нуля
Курс Яндекс Практикума готовит инженеров данных с нуля: участники изучают Python и SQL, строят хранилища и автоматизируют обработку данных.
135 600 ₽
Стоимость курса
от 5 536 ₽ / мес. на 36 мес.
ProductStarData Science: быстрый старт
Мини-курс ProductStar об основах Data Science: Python, работа с таблицами, визуализация, машинное обучение и учебные задачи прогнозирования.
19 900 ₽
При оплате частями
1 990 ₽ / мес. · 10 мес.
Что важно знать о профессии «Data Engineer» перед выбором
Data Engineer создаёт и поддерживает инфраструктуру и процессы, которые доставляют данные из источников в системы хранения и анализа. Его работа помогает командам получать данные в подходящем формате и в нужное время.
Специалист проектирует потоки обработки, следит за качеством и доступностью данных, разбирает сбои и учитывает права доступа. Он взаимодействует с аналитиками, разработчиками и владельцами источников; конкретные инструменты зависят от инфраструктуры.
Развитие возможно в архитектуре данных, распределённой обработке или управлении платформой. В программе обучения стоит проверить SQL, программирование, моделирование данных, надёжность процессов и работу с ограничениями безопасности.
Что посмотреть дальше
Анализ системных данных
Узнайте больше об этом навыке и связанных с ним материалах KURSEZ.
ОткрытьВыгрузка данных из внешних систем
Узнайте больше об этом навыке и связанных с ним материалах KURSEZ.
ОткрытьВсе курсы
Сравните опубликованные курсы по программе, школе и условиям обучения.
Открыть