Коллектив Авторов - Цифровой журнал «Компьютерра» № 181
Самое, конечно, забавное — то, как быстро сориентировались в ситуации абсолютно все мало-мальски самостоятельные геополитические центры власти! Только полюбуйтесь на активность, которую развил Евросоюз! Делегация департамента внутренних дел при Европейской комиссии уже отправляется в Соединенные Штаты — инспектировать программу финансового слежения за террористами (Terrorist Finance Tracking Programme, TFTP) и за данными пассажиров (Passenger Name Record, PNR). Ребята планируют раскручивать слив Сноудена себе на пользу на полную катушку.
Свою игру играют латиноамериканские шалунишки. Попытался что-нибудь выцарапать для России и ВВП. Короче, рождению нового Усамы бен Ладена радуется стар и млад, надеясь что-либо выудить для себя лично под сурдинку в мутном пруду. Столько выудить, сколько, конечно, позволят.
К оглавлению
Войдите в сокровищницу астрономических данных
Дмитрий Вибе
Опубликовано 10 июля 2013
Работа астронома в XXI веке легка и приятна. Иногда кажется: всё, что нужно, уже пронаблюдали. Достаточно научиться пользоваться архивами наблюдательных данных — и любая нужная информация будет у вас в кармане.
Вопрос о доступности результатов наблюдений возникает довольно часто. Почему-то многие считают, что ситуация с ними не изменилась со времён фотопластинок. Наблюдатель пошёл на телескоп, сфотографировал участок неба, проявил пластинку, посмотрел на неё, сделал открытие, написал статью. Тот, кто хочет сделать другое открытие, должен получить другую пластинку: прежняя-то осталась у первого наблюдателя!
Работа с пластинками действительно не сахар. Наблюдатель, может быть, и не хочет сидеть на ней эгоистом, но передать её на обработку другому учёному весьма затруднительно. Во-первых, стекло хрупкое. Во-вторых, можно повредить эмульсию. В-третьих, для правильной работы со снимком необходимо знать условия, в которых он был получен, включая погоду и способ химической обработки, а эта информация имеет тенденцию со временем теряться.
Цифровые снимки всех этих недостатков лишены. Их легко хранить (не забывайте делать бэкапы, друзья мои!) и легко обрабатывать. Представьте себе фотометрию (то есть определение яркости звёзд) по пластинке. Аккуратно достаёшь её из коробки, кладёшь на столик микрофотометра, включаешь подсветку. Пред глазами у тебя окошко подсмотра, в котором с увеличением отображается фрагмент пластинки, а посередине окошка — отверстие, за которым скрыт фотоэлемент. Двумя верньерами загоняешь звезду в отверстие и снимаешь отсчёт со шкалы. Это было так романтично! Крутя рукоятки, легко можно было представить, что ты не столик с пластинкой двигаешь, а стремительно летишь по Галактике, уворачиваясь от встречных звёзд. Но в остальном — долгая однообразная работа. Обработку же цифрового снимка можно доверить компьютеру.
Но главное достоинство цифровых наблюдений состоит в том, что их результат легко можно передать другому человеку. Если вы прочитаете про интересный вам снимок и попросите автора прислать его, ему не нужно будет дрожащими руками окутывать ватой и упаковывать в бандероль бесценный кусок стекла: достаточно просто переслать нужный файл. Больше того, на многих крупных телескопах наблюдатель выступает в качестве заказчика конкретных наблюдений, никоим образом не платя за них, поэтому он вообще не считается собственником результата. Допустим, я нашёл какую-то интересную цель, послал заявку на телескоп, программный комитет её одобрил, и соответствующие наблюдения были проведены. Результат отдаётся мне в исключительное пользование лишь на определённый период, не более года. После этого данные выкладываются в общий доступ. Не успел сделать гениальное открытие — твои трудности. Данные, полученные при выполнении каких-то более масштабных проектов, публикуются сразу.
Крупные обсерватории поддерживают собственные архивы. Вот, например, страница архива Европейской южной обсерватории: здесь можно найти результаты наблюдений на всех телескопах ESO, выполненных как по обзорным программам, так и по индивидуальным заявкам. Сюда можно обратиться, чтобы поработать с наблюдениями на телескопах Национальной радиоастрономической обсерватории США. Свои архивы есть у «Спитцера» и «Гершеля». Интересуетесь рентгеновским диапазоном? К вашим услугам архивы XMM-Newton и Chandra.
Существуют также консолидированные архивы. Например, в архиве IRSA вы найдёте снимки нужного вам участка неба, полученные практически на всех инфракрасных телескопах (при условии, конечно, что они были когда-либо сделаны). Вас интересуют данные наблюдений на «Хаббле»? Тогда вам можно обратиться в архив MAST, где хранятся результаты не только с этого, но и с других телескопов — например, со многих инструментов ультрафиолетового диапазона. Если вас занимает не абы что, а конкретная галактика, в архиве NED вы найдёте нужное изображение, идя не от телескопа, а от объекта. Введите название галактики — и вы получите список её изображений с разных телескопов и в разных диапазонах.
Я часто привожу эти доводы в разговорах с альтернативными учёными. Новая «теория» может сколько угодно противоречить существующей парадигме, но она не должна противоречить наблюдениям. А наблюдений — пруд пруди: пожалуйста, скачивай и используй для подтверждения своей точки зрения. Но это, конечно, лукавство. Во-первых, использование некоторых из перечисленных ресурсов требует регистрации. Это небольшое препятствие, но оно есть. Главное же — то, что во-вторых.
Во-вторых, реальные данные наблюдений мало напоминают красивые картинки в пресс-релизах. Начать с того, что это далеко не всегда картинки; это могут быть и спектры. Далее, для хранения этих данных используются специализированные форматы, из которых более других распространён формат FITS — очень удобная штука, позволяющая вместе с результатами наблюдений сохранять метаданные о них, в том числе, что очень важно, привязку к небесным координатам, единицы измерения и пр. Существуют и менее распространённые форматы, вплоть до индивидуальных для конкретного телескопа. Если вы не разберётесь с ними, то и с данными вам сделать ничего не удастся.
Для работы с файлами в этих форматах существуют, естественно, специальные программы и библиотеки. Но у них есть общий недостаток: поскольку пишутся они «своими» для «своих», их интерфейс бывает не особенно user-friendly и часто имеет примечание типа «Мы добавили какие-то окошки, но будет лучше, если вы всё будете делать из командной строки». Не из командной строки Windows, разумеется.
Однако самая большая проблема обнаружится, когда вы разберётесь с форматами и научитесь извлекать из файла конкретные числа. Перейдя на этот уровень, вам предстоит попытаться понять, что эти числа означают. Как теоретик я сам частично прошёл этот путь, поэтому буду писать с опорой на собственный опыт. Итак, у меня есть теоретическая модель объекта — например, протозвезды, — которую я хочу проверить. Одним разглядыванием снимка этого не сделать: нужно убедиться, что мой теоретический объект в числах даёт столько же света, сколько и объект реальный. В идеале для сравнения с моделью хочется знать наблюдаемый поток излучения от объекта: сколько энергии, излучённой с единицы его поверхности, доходит до нас в единицу времени в единичном интервале частот. Астрономы не были бы астрономами, если бы пользовались при этом стандартными единицами и если бы все обращались к одним и тем же единицам. Кто-то даёт поток с одного пикселя, кто-то — со стерадиана. Кто-то измеряет поток в звёздных величинах, кто-то — в янских. Глянул сейчас в файл из архива «Хаббла»: там в качестве единиц измерения приведены электроны в секунду; хорошо, что они мне напрямую не нужны.
Когда мы с коллегами (такими же недотёпами-теоретиками) впервые столкнулись с этим разнотравьем, то пошли за разъяснениями… к кому? К наблюдателям, конечно. «Ой, мы не знаем, — ответили они. — Мы сами всё делаем, начиная с сырых данных».
Что ж, тоже вариант. Сырые данные доступны не везде, но у милых моему сердцу «Спитцера» и «Гершеля» их получить можно. И вот тут начинается настоящий мрак. Нужный мне полный снимок на самом деле складывается из сотен отдельных кадров. Этот был снят при такой температуре телескопа, этот был снят при сякой температуре телескопа, на этом был такой уровень фона, на этом был сякой уровень фона. На этом артефакт, этот попал на менее надёжную часть приёмника… Чтобы слепить из этих кусочков единую, приведённую к общему знаменателю картину, нужно пользоваться ещё каким-то ПО, которое документировано ещё хуже. И я стою перед выбором. Либо использую готовую мозаику кадров из архива, полностью полагаясь на алгоритм её составления (один раз это уже стало причиной для длительной озабоченности), либо трачу кучу времени и составляю снимок сам.
