Ресурсы
Выбрать среду вычислений и хранения.
Подготовьте вычислительные ресурсы и хранение под обработку данных.
Развёртка инфраструктуры обработки данных — настройка компонентов хранения, вычислений и доступа для выполнения задач над данными.
Эти профессии связаны с навыком в каталоге KURSEZ. Конкретные задачи зависят от специализации и места работы.
Выбрать среду вычислений и хранения.
Настроить компоненты и их взаимодействие.
Проверить доступ, выполнение и наблюдаемость.
Определите объём данных, ожидаемую нагрузку, окружение и требования к доступу.
На KURSEZ пока не добавлены страницы курсов для развития этого навыка. Когда они появятся, здесь можно будет изучить и сравнить программы.
Инфраструктура обработки данных объединяет места хранения, вычислительные ресурсы и средства запуска задач. Состав зависит от объёма данных и требований к времени выполнения.
В распределённой системе важно проверить распределение ресурсов, доступ к данным и поведение при сбоях. Перед изменениями в рабочей среде настройки исследуют в изолированном окружении.
Для практики опишите учебный кластер с координатором и исполнителями. Укажите, откуда поступают данные, как выделяются ресурсы и что нужно проверить после запуска.