Цель и общая концепция программы
Создание национальной Виртуальной Обсерватории, предназначенной для повышения возможностей астрономических исследований и предоставления сервиса внешним пользователям. Развитие методов обработки, хранения и анализа Больших Данных (Big Data) в астрономии для изучения объектов ближнего и дальнего космоса.
Реализация программы повысит эффективность наблюдательных и численных исследований проводимых в Астрофизическом институте им. В.Г. Фесенкова (АФИФ). Для внешних пользователей будет создан цифровой портал, через который они смогут воспользоваться результатами всех инноваций по программе, в частности, а) подавать заявки на проведение автоматизированных наблюдений и использование вычислительных ресурсов, как для проведения численного моделирования, так и для обработки и анализа полученных данных; б) осуществлять доступ к имеющимся наблюдательным данным и результатам астрофизических компьютерных симуляций. Процесс использования наблюдательных и вычислительных ресурсов будет полностью автоматизирован.

Задачи программы

Реализация программы разбита на шесть взаимосвязанных задач:

Задача 1. Развитие средств управления оптическими системами экспериментальных наблюдательных баз в режиме удаленного доступа
Цель задачи – развитие инфраструктуры обсерватории Ассы-Тургень, автоматизация ее телескопов, хранения данных и методики их анализа с последующей интеграцией в единую систему ВО. Планируется автоматизация двух инструментов обсерватории: с диаметром зеркала 1.5м (АЗТ-20) и телескопа с диаметром зеркала 0.5м (RC500).

Задача 2. Модернизация вычислительных мощностей для хранения, обработки и анализа Больших Данных
В рамках задачи планируется создание в АФИФ отказоустойчивой системы хранения и обработки информации объемом свыше 700 ТБ, которая составит физическую основу создаваемой ВО и обеспечит хранение и обработку всех имеющихся и поступающих наблюдательных и вычислительных данных в течении ближайших 10-15 лет из расчета прибавления до 100 ГБ/день.


Задача 3. Оцифровка стеклянной библиотеки астрономических объектов и её использование совместно с современными фотометрическими и спектральными данными
Планируется провести оцифровку архива АФИФ, который содержит ~19700 астронегативов: ~6700 стеклянных фотопластинок с фотометрическими и спектральными данными (обзорные снимки неба, туманности, галактики, кометы, астероиды, звезды); ~13000 фотоплёнок с фотометрическими и спектральными данными (кометы, сейфертовские галактики, планетарные туманности).

Задача 4. Автоматизация использования вычислительных ресурсов
Задача нацелена на настройку программной среды на вычислительном кластере АФИФ, позволяющей оптимизировать и автоматизировать его использование, т.е. в зависимости от присвоенных приоритетов выделять соответствующие ресурсы индивидуальным задачам (процессорное время, количество узлов кластера, количество памяти и процессорных ядер на каждом узле). Задача будет реализована выбором, установкой и настройкой планировщика работ и сопутствующих программных инструментов для централизованного управления пользователями и конфигурациями. Будет разработан интерфейс между планировщиком работ и ядром ВО (Задача 6) для подачи заявок на использование вычислительных ресурсов внешними пользователями.

Задача 5. Интегрирование в единую среду астрономических и вычислительных данных, получаемых с наземных телескопов и вычислительного комплекса и предоставление к ним удобного доступа
В этой задаче будет разработан цифровой портал, связывающий все компоненты ВО, и предоставляющий пользовательский интерфейс для подачи заявок на использование наблюдательного и/или вычислительного времени, поиска по архивным данным, слежения за статусом заявок и задач.

Задача 6. Разработка методов Больших Данных (BigData) и Добычи Данных (DataMining) для изучения космических объектов
В данной задаче предполагается развитие программных методов анализа большого массива наблюдательных данных. Для эффективного извлечения и анализа информации с учётом локальных особенностей создаваемой ВО будут использованы технологии и алгоритмы Big Data и Data mining.

Ожидаемые результаты:
1) автоматизированная система управления оптическими телескопами для проведения наблюдений в режиме удалённого доступа;
2) система управления регистрацией изображений и спектров космических объектов на телескопах в режиме удалённого доступа;
3) вычислительный кластер для хранения, обработки и анализа астрономических Больших Данных;
4) программный комплекс – инструменты Big Data и Data mining, повышающие эффективность работы с большими массивами астрономических данных;
5) оцифрованная собственная фотометрическая и спектральная база (стеклянная библиотека) астрономических объектов;
6) синтезированная база оцифрованных архивов стеклянной библиотеки и современных данных АФИФ с предоставлением доступа для научных и образовательных организаций;
7) публикации в рецензируемых научных изданиях в соответствии с требованиями конкурсной документации.

Краткие выводы по результатам выполненной НИР в 2021 году:
1. Развитие инфраструктуры обсерватории Ассы-Тургень. Установлен датчик Sky Alert – автономная система мониторинга погоды для автоматизированных обсерваторий. Подготовлена инфраструктура обсерватории Ассы-Тургень для телескопа RC500, установленного в новом павильоне. Проложен оптоволоконный кабель по периметру обсерватории Ассы-Тургень. Автоматизирована система управления электропитанием оборудования обсерватории Ассы-Тургень. Проведена модернизация система электропитания телескопов RC500 и АЗТ-20. Завершен первый этап автоматизации купола телескопа АЗТ-20. Разработаны формат и содержание файла-задания для автоматизированных наблюдений. Проведены тестовые наблюдения в режиме управления RC500 через файл-задание. Разработаны программные коды потоковой сортировки ПЗС данных наблюдений и потоковой калибровки фотометрических данных.

2. Модернизация вычислительных мощностей для хранения, обработки и анализа Больших Данных. Приобретена отказоустойчивая система хранения больших объемов данных емкостью 252 ТБ. Приобретены два вычислительных узла для целей численного моделирования и обработки больших данных общей процессорной мощностью 14.336 Терафлопс и объемом оперативной памяти 1ТБ. Приобретены два сервера общего назначения для хостинга ядра ВО, планировщика задач и других сервисов и служб необходимых для работы ВО, а также для первичного процессинга данных. Приобретены два источника бесперебойного питания общей мощностью 10.8 кВт для защиты электропитания серверов ВО и обеспечения их автономной работы в случае его отключения.

3. Оцифровка стеклянной библиотеки астрономических объектов АФИФ и его использование совместно с современными фотометрическими и спектральными данными. Разработан формат Цифрового журнала архивных данных. На данный момент цифровой журнал содержит информацию примерно по 10000 архивным снимкам. В основном это спектры планетарных туманностей, сейфертовских галактик и фотометрические снимки комет. Из них около 1% не подлежащих оцифровке по качеству и по сохранности. Для сканирования всего объема данных на основе результатов тестового сканирования и правильного определения углового масштаба оцифрованного кадра были получены оптимальные параметры – очень транспарентный, негатив, с 16 bit, разрешение 1200 dpi в формате TIFF. Разработан алгоритм перевода оцифрованных изображений из формата TIFF в формат FITS (16-bit) с помощью программы Maxim DL Pro 6 и создание заголовка оцифрованных кадров с помощью программы IRAF. Разработана методика астрометрической редукции кадров с занесением астрометрического решения в заголовок кадра с помощью программного обеспечения APEX.

4. Проведен сравнительный анализ существующего программного обеспечения для установки планировщика задач на вычислительном кластере. Сделан выбор планировщика SLURM со свободным кодом, как оптимального для вычислительного кластера в рамках виртуальной обсерватории. Также проведен сравнительный анализ и сделан выбор сопутствующего программного обеспечения для централизованного конфигурирования узлов кластера, создания динамической среды пользователей, аудита и мониторинга, а также системы визуализации работы кластера. В частности, настроена система Ansible для централизованного конфигурирования узлами кластера, система Grafana для мониторинга визуализации работы кластера, система LDAP для централизованного управления пользователями кластера, система NFS для создания общей сетевой директории.

5. Интегрирование в единую среду астрономических и вычислительных данных, получаемых с наземных телескопов и вычислительного комплекса и предоставление к ним удобного доступа.
На портале института открыт общий доступ к данным наблюдений, полученным на крупнейшем в Казахстане телескопе АЗТ-20. Доступ к данным осуществляется через основной портал института (www.fai.kz) либо переходом по ссылке. В указанной директории предоставляются спектральные и фотометрические данные в формате fit/fits, полученные не ранее 1 года, более новые наблюдательные данные не выкладываются в открытый доступ и защищены авторским правом.
Разработана концепция цифрового ядра ВО и алгоритмы взаимодействия между ее компонентами и внешними пользователями. Начата разработка программного обеспечения для проведения автоматизированных наблюдений на телескопах Ассы-Тургеньской обсерватории им. академика НАН РК Т.Б. Омарова, а также разработка веб-страницы портала для интерактивной подачи заявки на наблюдения внешними пользователями.
6. Разработка программного обеспечения анализа данных наблюдений и каталогов с использованием алгоритмов Data Mining. Создан базовый вариант компьютерного кода запроса и анализа астрономических каталогов для предоставления пользователю максимально полной информации по запрашиваемому объекту исследований, реализованный на Python с использованием таких библиотек как astropy, astroquery, wget, matplotlib, pyraf. Поиск информации по интересующему объекту осуществляется по его координатам RA и DEC, заданным на эпоху 2000. Создан базовый вариант кода потоковой астрометрии и фотометрии, позволяющий проводить астрометрическую привязку и фотометрию после процедуры предварительной обработки ПЗС кадров, предусмотрено построение кривых блеска объектов в поле ПЗС кадра, включая астероиды

Участие в конференциях
1. Crimean AGN Conference “Galaxies with Active Nuclei on Scales from Black Hole to Host Galaxy”, 13-17 Сентября, 2021, Научный, Крым (ONLINE) “Studies of active galactic nuclei in Kazakhstan”, Измайлова И. (Задачи 3 и 6)
2. Second ESCAPE Virtual Observatory school, 22 – 24 Февраля 2022, Strasbourg, Франция (ONLINE), Измайлова И.
(Задача 6)
3. Международная научная конференция студентов и молодых ученых «ФАРАБИ ӘЛЕМІ», 4-7 апреля 2022 года, Алматы, Казахстан (офлайн), Измайлова И.М., “Автоматизация процесса прописывания заголовков кадров при оцифровке стеклянной библиотеки” (Диплом 2-ой степени). (Задачи 3 и 6)
4. Международная научная конференция студентов и молодых ученых «ФАРАБИ ӘЛЕМІ», 4-7 апреля 2022 года, Алматы, Казахстан (офлайн), Умирбаева А. “Оцифровка и анализ архива пластинок и пленок Астрофизического института имени В.Г. Фесенкова” (Диплом 3-ей степени) (Задачи 3 и 6)
5. IVOA (Northern Spring) April 2022 Interoperability Meeting, 25-28 апреля, 2022 (онлайн), участники: Умирбаева А., Измайлова И., Аймуратов Е. (Задачи 3 и 6)
6. 8th Byurakan International Summer School (8BISS) for Young Astronomers, 12-16 сентября 2022, Бюракан, Армения (on-line), Умирбаева А.
7. Международная научная конференция студентов и молодых ученых «ФАРАБИ ӘЛЕМІ», 6-8 апреля 2023 года, Алматы, Казахстан (офлайн), Измайлова И.М., “Планировщик астрономических наблюдений” (Диплом 3-ей степени). (Задача 6)
8. Международная научная конференция студентов и молодых ученых «ФАРАБИ ӘЛЕМІ», 6-8 апреля 2023 года, Алматы, Казахстан (офлайн), Актай Л., Умирбаева А.Ж., “Цифровые архивные и современные спектральные данные сейфертовских галактик”. (Задача 3)
9. Международная научная конференция “Абдильдинские чтения”, 12–15 апреля 2023 г., Алматы, Казахстан (офлайн), Аймуратов Е.К. “Towards Kazakhstan Virtual Observatory”. (Задачи 1-6)
10. Международная конференция “The IVOA (Northern Spring) May 2023 Interoperability Meeting”, 8-12 мая 2023 г., Болонья, Италия, Измайлова И.М. (Задачи 1-6)

Подготовка кадров:
1. Умирбаева Адель Жанболатовна. Дипломная работа: «Оцифровка и анализ архива пластинок и пленок Астрофизического института имени В.Г. Фесенкова» . Дата защиты: 16.06.2022. Бакалавр по специальности “Физика и астрономия”, Казахский национальный университет имени аль-Фараби. Научный руководитель: Валиуллин Р.Р., соруководитель: Шомшекова С.А.
2. Измайлова Ильдана Мажитовна. Диссертационная работа: «Инструменты Виртуальной Обсерватории». Дата защиты: 29.05.2023. Магистратура по специальности “Физика и астрономия”, Казахский национальный университет имени аль-Фараби. Научный руководитель: Аймуратов Е.К.
3. Актай Лаура. Дипломная работа: «Фотометрические и спектральные характеристики избранных сейфертовских галактик в оптическом диапазоне». Дата защиты: 02.06.2023. Бакалавр по специальности “Физика и астрономия”, Казахский национальный университет имени аль-Фараби. Научный руководитель: Аймуратов Е.К., научный консультант: Шомшекова С.А.