Четвертая парадигма науки

В дополнение к экспериментальному,теоретическому и вычислительному методам познания мира буквально в последнее десятилетие в науку пришел новый метод - поиск закономерностей в огромных массивах данных. Jim Gray считается отцом-основателем этого направления. Поиском закономерностей астрономы занимались и раньше, новое здесь "огромные массивы данных" ! Речь идет о многих петабайтах данных, которые уже доступны сегодня, и сотнях петабайтах ожидающих нас завтра.
Каким образом увеличение количества информации привело к появлению новой парадигмы ? Открытия на кончике пера (на экране компьютера) случались в астрономии неоднократно и раньше, а количество данных влияет только на время получения результатов. Я понимаю,что изменяется информационная архитектура науки, компьютерный мир становится все более распределенным, параллельным и многоядерным, чтобы уметь работать с такими объемами данных, но так ли многое изменилось, чтобы говорить о новой парадигме ? На мой взгляд, основное что изменилось - это требование машинного доступа к данным !

Современные интерфейсы рассчитаны на интерактивную работу, когда ученый должен сам определить источник данных, способ доступа к этим данным (списаться с владельцем и получить логин:пароль, например). Однако, попробуйте ввести через веб-формочку данные о тысячи звезд и кликнуть тысячу раз кнопку ! А если вам нужно получить данные о миллиардах звезд ? До появления Виртуальной Обсерватории, которая в сущности является реализацией Сервисно-Ориентированной архитектуры в астрономии, астрономы-умельцы писали скрипты, которые могли парсить странички и автоматом запрашивать базы данных. Понятно, что все это работало очень ненадежно. Сейчас уже можно писать программы, которые могут по унифицированным официальным интерфейсам Виртуальной Обсерватории запрашивать данные. Большинство крупнейших астрономических центров так или иначе поддерживают subset запросов ВО. Мы, например, реализовали на vo.astronet.ru некоторые сервисы, с которыми можно работать из программ. Однако, унифицированный API к ресурсам - это только самая простая проблема ! Прежде надо решить задачу нахождения этих ресурсов и тут уже вовсю стает задача семантического описания ресурсов, задания семантических запросов и принятия решений. Астроном тем или иным способом в конце концов сможет разобраться в данных, например, через переписку с владельцем данных, но сколько времени это может занять ! А как это сделать вашему программному агенту (программе), которому была поставлена задача поиска данных, и на каком языке эту задачу поставить ? Каким образом этот агент сможет отыскать ресурсы и решить, что они подходят для вашей задачи ? Пример научной задачи: Найти все Сверхновые звезды, которые вспыхнули не в галактиках. Эту задачу сейчас можно решить обычным путем, однако, это будет не масштабируемое решение, т.е. для нескольких тысяч Сверхновых можно все сделать вручную, но через несколько лет, когда Сверхновые будут регистрироваться раз в полминуты, это будет уже нереально.
Вот так простое требование машинного доступа к данным приводит к появлению новой парадигмы научного познания. Здесь слово "научное" очень важно, оно означает соблюдение принципа науки - принципа воспроизведения научных результатов, который в наше переходное время не соблюдается.
Центром новой парадигмы является семантика межмашинного взаимодействия, все остальное тоже важно, но не так принципиально. Здесь я вижу слабость современной астрономии, так как до сих пор нет более-менее полной онтологии астрономии. Это очень сложная задача, которая требует координации усилий многих астрономов. Как всегда, большую задачу можно разбить на кучу более мелких задач, но я пока не вижу более-менее организованного списка задач и соответствующих рабочих групп. Мое ощущение, что должно прийти новое поколение информационно-подкованных астрономов, которые смогут работать на стыке дисциплин (астрономии и информационных технологий).
obartunov