Организация
Выбрать способ хранения и разбиения.
Работа с большим объемом данных
Подберите способ обработки данных с учётом объёма и доступных ресурсов.
В чём состоит навык
Работа с большим объёмом данных — хранение и обработка наборов, для которых существенны ограничения памяти, времени или вычислительных ресурсов.
В каких профессиях пригодится навык
Эти профессии связаны с навыком в каталоге KURSEZ. Конкретные задачи зависят от специализации и места работы.
Связанные профессии
Где пригодится
Обработка
Выполнить преобразования с учётом ресурсов.
Контроль
Проверить результат и затраты вычислений.
Подготовка, навыки и инструменты
Определите задачу, размер данных, формат и ограничения оборудования.
Связанные навыки
Связанные инструменты
Курсы для развития навыка «Работа с большим объемом данных»
На KURSEZ пока не добавлены страницы курсов для развития этого навыка. Когда они появятся, здесь можно будет изучить и сравнить программы.
Что важно знать о навыке «Работа с большим объемом данных»
При работе с большими наборами важно понимать, где находятся данные и сколько ресурсов доступно для обработки. В зависимости от задачи используют пакетную обработку, разбиение или распределённое выполнение.
Увеличение числа машин не гарантирует ускорения: передача данных, структура задачи и настройка ресурсов тоже влияют на результат. Перед обработкой необходимо учитывать права доступа и качество исходных сведений.
Для практики опишите обработку учебного набора, который не помещается в память одного процесса. Сравните чтение частями и распределённую обработку и перечислите ограничения обоих подходов.