Ученые из Института ядерной физики им. Г. И. Будкера СО РАН при участии сотрудников ОИЯИ разработали информационную систему CRIC – один из ключевых компонентов распределенной системы обработки данных эксперимента SPD на ускорительном комплексе NICA.
Начиная с 2024 года, ИЯФ СО РАН является активным участником коллаборации SPD, внося свой вклад как посредством развития IT-инфраструктуры эксперимента, так и участием в физической программе и созданием элементов установки SPD. Информационная система позволяет объединить вычислительные центры для обработки огромной статистики данных эксперимента.
Разработку информационной системы CRIC (Computing Resource Information Catalog) сотрудники ИЯФ СО РАН начали в 2016 году для экспериментов Большого адронного коллайдера (БАК) в ЦЕРН. CRIC была создана на основе предыдущей системы, действовавшей в ЦЕРН – AGIS (ATLAS Grid Information System), которую также разработала команда ИЯФ СО РАН. Сотрудники Лаборатории информационных технологий ОИЯИ принимали участие в разработке некоторых частей системы AGIS и в доработке ее интерфейсов в рамках совместных работ для эксперимента ATLAS.
«В 2010-2011 годах шел период разработки и частичного внедрения AGIS. Перед нами стояла задача по созданию информационной системы для компьютерной инфраструктуры распределенной вычислительной сети эксперимента ATLAS, которую мы решили и сразу начали поэтапно внедрять систему в производство в ЦЕРН. Пошаговое внедрение очень удобно, потому что позволяет эксперименту плавно адаптироваться к новым решениям, постепенно подключая программные сервисы и новых пользователей, – рассказал научный сотрудник ИЯФ СО РАН и координатор проекта CRIC Алексей Анисенков. – В 2011-2012 годах система уже полностью вошла в эксплуатацию. С ее помощью решались реальные задачи, производилась настройка и организация среды распределенных вычислений, уже тогда была возможность устанавливать, какие ресурсы работают, а какие временно отключены, то есть эффективно настраивать большую грид-инфраструктуру из сотен вычислительных кластеров, чтобы в итоге обеспечить работоспособность всей системы обработки данных эксперимента».
Успешное использование системы AGIS в задачах эксперимента ATLAS привело руководство ЦЕРН и ИЯФ СО РАН к решению создать ее расширенную версию – CRIC – для других экспериментов. Начиная с 2020 года, эксперименты БАК стали постепенно переходить на ее использование. Распределенная среда обработки данных экспериментов БАК включает свыше 170 крупных компьютерных центров по всему миру. С помощью CRIC была обеспечена настройка и согласованная работа распределенной инфраструктуры для хранения и обработки одного экзабайта данных ATLAS, которые были получены за 15 лет работы эксперимента.
В 2019-2020 годах появилась идея применить систему CRIC для систем обработки физических данных ускорительного комплекса NICA. В 2022 году началось внедрение системы в рамках создания системы распределенной обработки данных для проектируемого эксперимента SPD.
«Ожидаемое количество регистрируемых событий детектора SPD измеряется десятками тысяч в секунду. Это предъявляет достаточно высокие требования к системе обработки данных и IT-инфраструктуре», – отметил старший научный сотрудник ЛИТ ОИЯИ, заместитель координатора по компьютингу и программному обеспечению эксперимента SPD кандидат технических наук Данила Олейник.
По его словам, после того, как в 2024 году ИЯФ СО РАН вступил в научную коллаборацию SPD, специалисты этого института принимают активное участие не только в создании экспериментальной установки, но и в развитии инструментов, обеспечивающих обработку данных. «Ведущий разработчик системы, научный сотрудник Алексей Анисенков курирует в проекте SPD Software & Computing развитие и текущее сопровождение эксплуатации системы CRIC в соответствии с потребностями нашего эксперимента», — подчеркнул Данила Олейник.
Система CRIC будет обеспечивать конфигурирование компонентов системы обработки экспериментальных данных и описание топологии распределенной вычислительной инфраструктуры. Информационная система является связующим звеном между сервисами и инфраструктурой, а также является поставщиком определенной информации для систем мониторинга и учета ресурсов.
«Ожидаемый объем получаемых экспериментальных данных измеряется десятками петабайт в год, что ставит данный эксперимент в один ряд с экспериментами на БАК. Естественным образом обработка экспериментальных данных, включая моделирование физических событий, осуществляется в географически распределенной вычислительной среде, одной из ключевых систем которой является CRIC», – прокомментировал Данила Олейник.
Ученый уточнил, что CRIC является составной частью комплексной системы распределенной обработки данных эксперимента SPD. Так, специалисты ЛИТ ОИЯИ вносят основной вклад в доработку и ввод в эксплуатацию системы управления нагрузкой PanDA и системы управления данными Rucio для нужд SPD; в развитии географически распределенной инфраструктуры обработки данных активно участвует Петербургский институт ядерной физики им. Б. П. Константинова Национального исследовательского центра «Курчатовский институт» (Гатчина).
Данила Олейник пояснил, что организация распределенной обработка данных для современных экспериментов включает в себя использование множества специализированных программных комплексов, при этом практически каждый из этих продуктов индивидуально дорабатывается, чтобы адаптировать ее для задач конкретного эксперимента. «На основе опыта, знаний и экспертизы сотрудников ЛИТ, мы можем не только использовать существующие решения, но и развивать системы нового поколения», – сообщил ученый.