Перейти к основному содержанию
Поливалка на полях. Фото Getty Images.

Скоро ли засуха? ИИ даст лучший прогноз

Когда зима мучительно затягивается, некоторые кладут шорты в чемодан и к концу марта сбегают во Флориду. Другие в это время неотрывно следят за температурными прогнозами на апрель в преддверии посевной. Водохозяйственные организации в западных штатах США проверяют вероятность метелей ранней весной, а, следовательно, возможность пополнения снежного покрова в горах, что является критически важным фактором для ирригации, гидроэнергетики и разведения лосося в летние месяцы.

«К сожалению, прогнозы погоды на такой промежуток времени – от двух до шести недель – это лотерея», – как отмечает Лестер Маки, исследователь по статистическому машинному обучению лаборатории Microsoft в Кембридже, штат Массачусетс. Маки готов поделиться своими экспертными знаниями в искусственном интеллекте (ИИ), чтобы повысить шансы на точный и надежный прогноз.

«Больше всего в поддержке нуждаются среднесрочные прогнозы», – говорит он.

Маки был мало знаком с прогнозированием погоды и климата, пока к нему не обратился за помощью Джуда Коэн, климатолог из Atmospheric and Environmental Research, организации, консультирующей по вопросу климатических рисков в Лексингтоне, штат Массачусетс. Он поставил задачу при помощи методов машинного обучения вытащить из массы исторических данных повторяющиеся погодные и климатические паттерны как способ улучшения среднесрочных и долгосрочных моделей прогнозирования.

Предварительные предсказательные модели на основе машинного обучения, которые разработали Маки, Коэн и их коллеги, превзошли стандартные модели, используемые правительственными агентствами США для среднесрочных прогнозов температур и осадков от двух до четырех недель и от четырех до шести недель в состязании, спонсируемом американским бюро мелиорации U.S. Bureau of Reclamation.

Команда Маки недавно получила финансирование от программы Microsoft AI for Earth на улучшение и доработку этого метода с прицелом на дальнейшее использование данной технологии на социальные нужды.

«Лестер работает над этим потому, что это сложная проблема в машинном обучении, а не в создании самого прогноза погоды, – отмечает Лукас Хоппа, главный специалист Microsoft по окружающей среде и руководитель программы AI for Earth, объясняя почему его группа помогает спонсировать исследования. – Как оказалось, исследуемые им методы имеют огромный потенциал применения в прогнозировании погоды, которое, в свою очередь, имеет широкое применение в социальной и экономической областях».

Засушливые поля. Фото Getty Images.

ИИ в голове

Маки считает, что текущие погодные модели хорошо себя оправдывают на период до семи дней, а климатические прогнозные модели становятся более надежными, когда временной горизонт расширяется от сезонов до десятилетий. Среднесрочные прогнозы являются неким компромиссом на основе комбинаций параметров, оказывающих кратковременное влияние на погоду, например, дневные температуры и ветер, и сезонных факторов, таких как состояние поверхностного океанского слоя воды El Niño и степень ледяного покрова в морях Арктики.

Коэн обратился к Маки в надежде, что машинное обучение, представляющее собой по сути рычаг ИИ для распознавания закономерностей в статистических данных для предсказания, сможет улучшить его метод генерирования среднесрочных прогнозов с помощью сбора и использования исторических погодных и климатических данных.

«Я фактически делаю что-то аналогичное машинному распознаванию закономерностей у себя в голове, – объясняет Коэн, отмечая при этом, что погодные паттерны повторяются в течение сезона и от года к году, и, следовательно, распознавание закономерностей может и должно использоваться для долгосрочных прогнозов. – Я подумал, возможно, я могу улучшить то, что я делаю в голове с помощью методов машинного обучения, которое сейчас стало доступным».

Использование паттернов в наборах исторических погодных данных было стандартной практикой для создания прогнозов погоды и климатических предсказаний до 80-х годов прошлого века. Именно тогда физические модели изменения атмосферы и океана начали преобладать в отрасли. Эти модели набрали популярность и значительно усовершенствовались с экспоненциальным ростом компьютерных мощностей.

«Сегодня все главные центры по изучению климата применяют массивные суперкомпьютеры для симуляции атмосферных и океанических движений, – говорит Маки. – Со временем качество прогнозов значительно повысилось, но они еще недостаточно используют исторические данные. Вместо этого они поглощают текущие погодные условия и принимаются за дифференциальные уравнения».

Трактор с бороной на заснеженном поле. Фото Getty Images.

Состязания прогнозов

В то время, пока между Маки и Коэном шло обсуждение сотрудничества, последний получил приглашение на участие в конкурсе, спонсируемом американским бюро мелиорации. Целью состязания было улучшение среднесрочных предсказаний температуры и осадков в западной части США. Правительственное агентство было заинтересовано в повышении качества таких прогнозов для лучшей подготовки водохозяйственных организаций к изменениям в гидрологических режимах, включая наступление засухи или экстремальных дождей.

«Я сказал, а как насчет участия в соревновании, чтобы замотивировать нас на больший прогресс?» – вспоминает Коэн.

Маки, который до вступления в исследовательскую организацию Microsoft был ассистентом профессора статистики Стендфордского университета в Калифорнии, а сейчас является адъюнкт-профессором, пригласил для участия в проекте двух аспирантов. «Никто из нас не обладал опытом в этой области, и мы подумали, что это было бы отличным способом приобрести новые навыки», – сказал он.

В течение тринадцати месяцев, пока длился конкурс, исследователи экспериментировали с двумя видами подхода к машинному обучению. Один состоит в том, чтобы прочесывать разную информацию от наборов исторических температурных данных и записей осадков, данных о концентрации льда в морях и состояния El Niño до совокупности физических предсказательных моделей. Другой подход основывался только на исторических данных по температуре для температурного прогноза и данных по осадкам при прогнозировании осадков.

«Мы создавали прогнозы каждые две недели, а между ними собирали новые данные, обрабатывали их, строили части инфраструктуры для тестирования новых методов, разработки и оценки, – объясняет Маки. – И каждые две недели мы должны были остановить то, что делали, составить прогноз и все повторить».

Ближе к концу соревнований команда Маки обнаружила, что сочетание двух подходов машинного обучения работает лучше, чем каждый из них в отдельности.

Окончательные результаты конкурса были обнародованы в начале марта. Маки, Коэн и их коллеги заняли первое место по прогнозированию средних температур в интервалах от трех до четырех недель и второе место в прогнозировании общего количества осадков от пяти до шести недель.

Разлив реки во время половодья затапливает дороги. Вид сверху на шоссе и мост. Фото Getty Images.

Прогноз на будущее

После состязания коллеги объединили совокупности подходов машинного обучения со стандартными моделями, используемыми американскими правительственными агентствами для создания среднесрочных прогнозов. При этом они обнаружили, что комбинированные модели смогли повысить точность оперативного прогнозирования на 37-53% для температур и на 128-154% для осадков. Результаты сообщаются в документе, опубликованном на arXiv.org (ссылка приведена ниже).

«Я думаю, в дальнейшем мы будем наблюдать, как эти типы подходов будут усовершенствоваться и области их применения в прогнозировании будут расширяться», – заявил Кенет Новак, координатор исследования доступности водных ресурсов в американском бюро мелиорации и организатор родео прогнозов. Он отметил, что государственные агентства нацелены на «поиск возможностей для активного применения» машинного обучения в последующих поколениях оперативных прогнозных моделей.

Программа Microsoft AI for Earth выделяет финансирование Маки и его команде на поиск интерна для дальнейшего усовершенствования и расширения областей применения методов прогнозирования на основе машинного обучения. Участники проекта также надеются, что и другие исследователи машинного обучения заинтересуются вызовом расшифровать код надежных и точных среднесрочных прогнозов. Для стимулирования этих усилий они выложили в открытый доступ датасет для тренировки моделей.

Коэн, запустивший весть процесс взаимодействия с Маки из любопытства и желания узнать, насколько мощным потенциалом обладает ИИ для создания среднесрочных и долгосрочных климатических прогнозов, сказал: «Я вижу бесспорные преимущества машинного обучения. Это не конец; скорее, только начало. Мы можем сделать еще много всего для расширения его применимости».

По теме:

Все фото Getty Images.