Во-центричное озеро данных с автоматизированным эмбарго архива данных АФИФ

Аннотация

Целью исследования является модернизация научно-технической инфраструктуры Астрофизического института имени Фесенкова и сопутствующих сервисов Казахстанской национальной виртуальной обсерватории для интеграции разнородных астрономических данных в глобальный исследовательский оборот. Методология работы базируется на проектировании масштабируемого файлового хранилища, разделенного на логические секции (partitioned Data Lakes), соответствии стандартам Международного альянса виртуальных обсерваторий, реализации конвейеров потоковой автоматической редукции FITS-файлов и применении модели разграничения доступа «Научной витрины». Ключевым результатом исследования является разработка и развертывание сквозного автоматизированного конвейера для захвата, сортировки, калибровки и каталогизации наблюдательных материалов. Создан программный комплекс для индексации метаданных, а также административно закреплена четырехклассовая политика эмбарго данных через соглашение публичной оферты. Пилотное тестирование конвейера на фотометрическом архиве 1-метрового телескопа Zeiss-1000 подтвердило стабильность разработанной архитектуры, позволив успешно каталогизировать более 800 000 файлов общим объемом около 8 терабайт. Новизна данной работы заключается в создании гибридной модели, изолирующей уровень физического хранения от протоколов международной публикации при одновременной защите приоритетных прав главных исследователей. Практическая значимость результатов заключается в реорганизации и усовершенствовании структуры локальных наблюдательных архивов: ликвидирована их фрагментарность, обеспечены единая стандартизация и открытый доступ к данным. Созданная программно-аппаратная инфраструктура обладает масштабируемостью, что позволяет интегрировать новые массивы данных без изменения базовой архитектуры.