Пилотный проект по обработке высокоплотных сейсмических данных с использованием платформы VK Cloud

Промышленная добыча нефти в Республике Башкортостан началась еще в 1932 году. Но по мере увеличения геолого-геофизической изученности региона стандартные методики полевых и камеральных сейсморазведочных работ уже не позволяли находить новые нефтяные залежи в требуемых объемах. Поэтому перед нефтяными компаниями встал вопрос более подробного изучения геологической среды.

Для исследований с необходимым уровнем детальности недропользователи вынуждены заказывать как полевые, так и камеральные сейсморазведочные работы с применением усложненных методик. При этом объем получаемых данных существенно увеличивается, и для их обработки и интерпретации требуются значительные вычислительные ресурсы.

Сервисные геофизические компании, в свою очередь, находятся в постоянном поиске способов оптимизации ресурсов и наращивания вычислительных мощностей. Одним из перспективных направлений сегодня являются облачные технологии.

Параметры и формат проекта

Площадь участка, который изучался в рамках пилотного проекта, составляла 47 км2. В качестве методики полевых наблюдений была выбрана технология, позволяющая в сжатые сроки провести регистрацию высокоплотных сейсмических наблюдений МОГТ-3D. Для этого была усовершенствована методико-технологическая база как департамента разведочной геофизики АО «Башнефтегеофизика», специалисты которого отвечали за выполнение полевой стадии проекта, так и компании ООО НПЦ «Геостра», экспертные группы которой выполняли камеральные работы.

Этапы обработки сейсмических данных

В данной статье акцент будет сделан на камеральной части проекта. А именно на специфике реализации технической части блока обработки сейсмических данных, которая включала в себя, помимо типовых работ, еще и специальную технологию — полноазимутальную миграцию.

Объем исходных данных для циклического выполнения расчетов составлял 40 Тб. С учетом пространственной плотности сейсмотрасс при пересчете на стандартную систему полевых наблюдений для региона работ этот объем данных соответствует съемке около 2500 км2 (при стандартных площадях покрытия в 200–400 км2). Вычислительный центр НПЦ «Геостра» рассчитан на решение задач подобных объемов. Однако резервирование кластерной системы под решение задачи высокоплотной съемки не было запланировано на период реализации проекта. Согласно расчетам, требовалось задействовать не менее 2000 дополнительных физических ядер, для каждого из которых требовалось по 16 Гб оперативной памяти.

Облачные же сервисы позволяют оперативно менять используемый объем вычислительных ресурсов в зависимости от конкретной задачи. Соответственно, можно ускорить обработку данных, оперативно увеличивая объем ресурсов, и при этом оптимизировать расходы, отказываясь от части серверов при решении задач, не требующих выхода на полную мощность.

Необходимо отметить, что на реализацию проекта накладывались определенные ограничения, которые помогли нарисовать портрет компании, предоставляющей услуги в облачном сервисе:

• Серверы располагаются на территории РФ. Работа со стратегически важной информацией — геофизическими данными, которые закон запрещает передавать за пределы страны.
• Эксклюзивный доступ к ресурсам. Рабочие нагрузки должны иметь максимальный приоритет и не делить пул облачных ресурсов с другими клиентами провайдера.
• Совместимость софта и железа. Геофизическое ПО должно стабильно работать в среде виртуализации. По этому вопросу были сомнения, так как изначально софт был написан под стек определенных процессоров. Информации о том, как он поведет себя в эмуляторе, крайне мало.

Одно только первое требование — хранение данных в РФ — сильно сузило круг поиска подходящего поставщика услуг. В результате отбора кандидатов VK Cloud как один из лидеров на рынке облачного сервиса в России стал партнером НПЦ «Геостра» при выполнении тестового проекта. VK Cloud оперативно предоставил необходимые мощности, тестовую среду и эксклюзивный доступ к вычислительным ресурсам. Соответствие требованию по совместимости — как специализированный софт поведет себя в среде виртуализации — возможно было проверить только на практике.

Перенос геофизического ПО на облачную платформу

Специалистами НПЦ «Геостра» предварительно было определено, что для выполнения тестового проекта в плановые сроки потребуется 2000 ядер. На практике оказалось, что из-за особенностей софта отсутствует линейная связь скорости обработки и суммарной мощности. Если один сервер решает задачу за час, то для десятикратного ускорения может не хватить и десяти серверов. В сотрудничестве со специалистами из VK Cloud была подготовлена инфраструктура из 2072 вычислительных ядер. Для сложных расчетов использовались облачные вычисления на базе GPU с графическими процессорами NVIDIA Tesla V100. Также применялась система хранения VK Cloud, которую обслуживало полсотни терабайтных SSD-накопителей. Кроме того, была предоставлена виртуальная сетевая инфраструктура с пропускной способностью не менее 1 Гбит/c между любыми двумя серверами.

Глубинно-скоростная модель среды

С миграцией геофизического софта в облако больших проблем не было. Однако во время тестирования возникло узкое место — производительность дисковой подсистемы. Специалистам VK Cloud и НПЦ «Геостра» удалось почти вдвое увеличить скорость доступа к данным на облачных дисках. Также геофизический софт работал на редкой версии операционной системы, которая не позволяла использовать виртуальную сеть на 100%. Совместная работа специалистов обеих компаний по тонкой настройке операционной системы привела к решению и этой проблемы.

Таким образом, специализированное программное обеспечение, которое изначально разрабатывалось под физическое оборудование, заработало на виртуальных мощностях. К успеху пилотного проекта длительностью 1,5 месяца привел и тот факт, что проблемные ситуации были решены еще на этапе тестирования.

Итоги

Пилотный проект оказался успешным. Облачные вычислительные мощности справились с обработкой высокоплотных сейсмических данных. Компания НПЦ «Геостра» получила большой опыт в работе с геофизическим софтом на облачных ресурсах, что позволит применить его в будущих крупных проектах.

О перспективах облачных сервисов в нефтеразведке

Нефтяные компании вплотную подошли к тому, чтобы использовать современные технологии для разведки новых месторождений. Стало понятно, что в эпоху Big Data существенно выросли требования к вычислительным мощностям как самих нефтяных компаний, так и нефтесервисных предприятий.

Таким образом, нефтяная отрасль оказалась перед выбором: продолжать наращивать свои вычислительные мощности (непрерывно заниматься модернизацией, развитием и содержанием) или арендовать вычислительные мощности по мере необходимости в виде услуги, например в виде облачных сервисов. Опыт производства данного проекта показал, что облака способны успешно реализовывать высокие требования специализированного программного обеспечения.

Источник: https://habr.com/ru/company/mailru/blog/484662/