АФИ мәліметтер архивіне арналған автоматтандырылған эмбаргосы бар во-бағдарланған мәліметтер көлі

Аңдатпа

Зерттеудің мақсаты – әртекті астрономиялық деректерді жаһандық ғылыми айналымға интеграциялау үшін В.Г. Фесенков атындағы Астрофизика институтының ғылыми-техникалық инфрақұрылымын және Қазақстан ұлттық виртуалды обсерваториясының қызметтерін жаңғырту болып табылады. Жұмыстың методологиясы логикалық секцияларға бөлінген ауқымды файлдық қойманы жобалауға, Халықаралық виртуалды обсерваториялар альянсының стандарттарына сәйкестікке, FITS-файлдарын ағындық автоматты редукциялау конвейерлерін іске асыруға және «Ғылыми витрина» қолжетімділікті шектеу моделін қолдануға негізделген. Зерттеудің негізгі нәтижесі – астрономиялық деректерді қабылдау, сұрыптау, калибрлеу және каталогтауға арналған тұйық автоматтандырылған конвейерді әзірлеу және енгізу болып табылады. Метадеректерді индекстеуге арналған бағдарламалық кешен құрылды, сондай-ақ жария оферта келісімі арқылы деректер эмбаргосының төрт класты саясаты әкімшілік тұрғыдан бекітілді. Конвейерді 1 метрлік Zeiss-1000 телескопының фотометриялық архивінде пилоттық сынақтан өткізу әзірленген архитектураның тұрақтылығын дәлелдеді; бұл жұмыс аясында жалпы көлемі 8 терабайттан астам болатын 800 000-нан астам файл сәтті каталогталды. Жұмыстың жаңашылдығы — біз деректерді физикалық сақтау деңгейін халықаралық жариялау хаттамаларынан бөлектейтін гибридті модель құрдық, бұл ретте бас зерттеушілердің басымдық құқықтары да сенімді қорғалған. Нәтижелердің практикалық маңыздылығы — біздің локальды бақылау архивтеріміз ретке келтіріліп, жүйеленді: олардың шашыраңқылығы жойылды, бірыңғай стандарттар енгізілді және деректерге ашық қолжетімділік қамтамасыз етілді. Құрылған бағдарламалық-аппараттық инфрақұрылымды оңай кеңейтуге болады, бұл негізгі архитектураны өзгертпей-ақ жаңа деректер массивтерін қосуға мүмкіндік береді.