Машинное обучение в астрономии — различия между версиями
м (rollbackEdits.php mass rollback) |
|||
(не показано 11 промежуточных версий 2 участников) | |||
Строка 1: | Строка 1: | ||
[[Категория: Машинное обучение]] | [[Категория: Машинное обучение]] | ||
[[Категория: Практическое применение машинного обучения]] | [[Категория: Практическое применение машинного обучения]] | ||
− | |||
Астрономия переживает стремительный рост объема и сложности данных. Существует множество проектов, исследующих и собирающих многоспектральные изображения неба, разновременную и многоволновую информацию, например, [https://www.sdss.org/ Слоановский цифровой небесный обзор] (англ. ''Sloan Digital Sky Survey, SDSS''). Такие проекты предоставляют оцифрованные изображения неба, соответственно, в последние годы алгоритмы машинного обучения становятся все более популярными среди астрономов и в настоящее время используются для решения самых разнообразных задач; причиной этому служит большое количество доступных данных. В этой статье кратко приводится практическая информация о применении инструментов машинного обучения к астрономическим данным. | Астрономия переживает стремительный рост объема и сложности данных. Существует множество проектов, исследующих и собирающих многоспектральные изображения неба, разновременную и многоволновую информацию, например, [https://www.sdss.org/ Слоановский цифровой небесный обзор] (англ. ''Sloan Digital Sky Survey, SDSS''). Такие проекты предоставляют оцифрованные изображения неба, соответственно, в последние годы алгоритмы машинного обучения становятся все более популярными среди астрономов и в настоящее время используются для решения самых разнообразных задач; причиной этому служит большое количество доступных данных. В этой статье кратко приводится практическая информация о применении инструментов машинного обучения к астрономическим данным. | ||
− | |||
=== Классификация астрономических объектов по изображениям === | === Классификация астрономических объектов по изображениям === | ||
Наличие в наборах данных большого количества объектов одного типа, но различных подтипов позволяет применить машинное обучение для решения задачи классификации на этих объектах. | Наличие в наборах данных большого количества объектов одного типа, но различных подтипов позволяет применить машинное обучение для решения задачи классификации на этих объектах. | ||
==== Морфологическая классификация галактик ==== | ==== Морфологическая классификация галактик ==== | ||
− | [[Файл:hubbleTuningFork.jpg|300px|thumb|right|Классификация галактик, [https://ru.wikipedia.org/wiki/Последовательность_Хаббла последовательность Хаббла]]] | + | [[Файл:hubbleTuningFork.jpg|300px|thumb|right|''Рис. 1.'' Классификация галактик, [https://ru.wikipedia.org/wiki/Последовательность_Хаббла последовательность Хаббла]]] |
− | Одной из самых популярных тем классификации является морфологическая классификация галактик (англ. ''Morphology galaxy classification''), позволяющая разделить их на различные типы по визуальным признакам. Для обучения моделей, призванных решать эту задачу, часто используют набор данных [https://data.galaxyzoo.org/ Galaxy Zoo], который является результатом волонтерского сотрудничества (ручной классификации галактик). Существует множество работ на эту тематику, использующих различные алгоритмы машинного обучения, как то: [[ Дерево решений и случайный лес | случайные леса]]<ref>Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530</ref>, [[ Метод_опорных_векторов_(SVM) | метод опорных векторов]]<ref> Huertas-Company, M., Rouan, D., Tasca, L.,Soucail, G., & Le F`evre, O. 2008, A&A, 478,971 </ref>, [[ Нейронные сети, перцептрон | нейронные сети]]<ref> Banerji, M., Lahav, O., Lintott, C. J., et al. 2010,MNRAS, 406, 342 </ref>. Применение подходов машинного обучения в этом случае довольно прямолинейно, а разница между работами состоит в основном в представлении данных, выборе гиперпараметров и признаков классификации. Дополнительной сложностью вышеприведённых и прочих работ на ту же тему являются визуальные ограничения имеющихся изображений, такие, как мерцание, смещение, размытие и [https://ru.wikipedia.org/wiki/Красное_смещение красное смещение]. В настоящее время существуют методы, обеспечивающие вероятность неверной классификации объекта в задаче морфологической классификации галактик в <tex>0.005</tex><ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>. | + | Одной из самых популярных тем классификации является морфологическая классификация галактик (англ. ''Morphology galaxy classification''), позволяющая разделить их на различные типы по визуальным признакам (Рис. 1). Для обучения моделей, призванных решать эту задачу, часто используют набор данных [https://data.galaxyzoo.org/ Galaxy Zoo], который является результатом волонтерского сотрудничества (ручной классификации галактик). Существует множество работ на эту тематику, использующих различные алгоритмы машинного обучения, как то: [[ Дерево решений и случайный лес | случайные леса]]<ref>Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530</ref>, [[ Метод_опорных_векторов_(SVM) | метод опорных векторов]]<ref> Huertas-Company, M., Rouan, D., Tasca, L.,Soucail, G., & Le F`evre, O. 2008, A&A, 478,971 </ref>, [[ Нейронные сети, перцептрон | нейронные сети]]<ref> Banerji, M., Lahav, O., Lintott, C. J., et al. 2010,MNRAS, 406, 342 </ref>. Применение подходов машинного обучения в этом случае довольно прямолинейно, а разница между работами состоит в основном в представлении данных, выборе гиперпараметров и признаков классификации. Дополнительной сложностью вышеприведённых и прочих работ на ту же тему являются визуальные ограничения имеющихся изображений, такие, как мерцание, смещение, размытие и [https://ru.wikipedia.org/wiki/Красное_смещение красное смещение]. В настоящее время существуют методы, обеспечивающие вероятность неверной классификации объекта в задаче морфологической классификации галактик в <tex>0.005</tex><ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>. |
Этой задачей следует заниматься, так как возможность находить тип галактик необходима для изучения их эволюции, а также является необходимым умением для множества задач наблюдательной космологии (англ. ''Observational cosmology''), например, для нахождения [https://ru.wikipedia.org/wiki/Кривая_блеска кривых блеска]. | Этой задачей следует заниматься, так как возможность находить тип галактик необходима для изучения их эволюции, а также является необходимым умением для множества задач наблюдательной космологии (англ. ''Observational cosmology''), например, для нахождения [https://ru.wikipedia.org/wiki/Кривая_блеска кривых блеска]. | ||
Строка 17: | Строка 15: | ||
====Классификация звезд и галактик==== | ====Классификация звезд и галактик==== | ||
− | [[Файл:Unsupervised galaxy star classification.png|300px|thumb|right|Распределение звезд, галактик и квазаров согласно меткам спектрометрических классов]] | + | [[Файл:Unsupervised galaxy star classification.png|300px|thumb|right|''Рис. 2.'' Распределение звезд, галактик и квазаров согласно меткам спектрометрических классов<ref> C. H. A. Logan and S. Fotopoulou A&A, 633 (2020) A154 </ref>]] |
Классификация звезд и галактик (англ. ''Star Galaxy Classification'') является базовым шагом любой классификации на звездах или галактиках, соответственно, имеет большое практическое значение. Существует много работ на эту тему, связанных с машинным обучением, использующих различные алгоритмы: случайный лес<ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>, метод опорных векторов<ref>Kov ́acs, A., & Szapudi, I. 2015, MNRAS, 448,1305</ref>, нейронные сети<ref>Noble Kennamer, David Kirkby, Alexander Ihler, Francisco Javier Sanchez-Lopez ; Proceedings of the 35th International Conference on Machine Learning, PMLR 80:2582-2590, 2018. | Классификация звезд и галактик (англ. ''Star Galaxy Classification'') является базовым шагом любой классификации на звездах или галактиках, соответственно, имеет большое практическое значение. Существует много работ на эту тему, связанных с машинным обучением, использующих различные алгоритмы: случайный лес<ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>, метод опорных векторов<ref>Kov ́acs, A., & Szapudi, I. 2015, MNRAS, 448,1305</ref>, нейронные сети<ref>Noble Kennamer, David Kirkby, Alexander Ihler, Francisco Javier Sanchez-Lopez ; Proceedings of the 35th International Conference on Machine Learning, PMLR 80:2582-2590, 2018. | ||
</ref>, алгоритмы кластеризации<ref>C. H. A. Logan and S. Fotopoulou | </ref>, алгоритмы кластеризации<ref>C. H. A. Logan and S. Fotopoulou | ||
− | A&A, 633 (2020) A154</ref>. | + | A&A, 633 (2020) A154</ref>(пример распределения можно наблюдать на Рис. 2). |
Главная проблема классификации звезд и галактик состоит в том, что, по мере удаления объекта от телескопа различные атмосферные или космогенные эффекты могут повлиять на свет, который отражается от тела и захватывается телескопом. Детерминированные алгоритмы классификации обычно проверяют звездную величину объекта на соответствие известным шаблонам звезд и галактик и работают только с объектом как таковым. В то же время кажется логичным, что результат классификации объекта может зависеть не только от того, как он выглядит на изображении, но и от того, как выглядит на изображении участок неба, в котором он находится (потому что на этот участок, скорее всего, влияют такие же эффекты искажения изображения). Алгоритмы машинного обучения, натренированные на изображениях, способны учесть эти зависимости. | Главная проблема классификации звезд и галактик состоит в том, что, по мере удаления объекта от телескопа различные атмосферные или космогенные эффекты могут повлиять на свет, который отражается от тела и захватывается телескопом. Детерминированные алгоритмы классификации обычно проверяют звездную величину объекта на соответствие известным шаблонам звезд и галактик и работают только с объектом как таковым. В то же время кажется логичным, что результат классификации объекта может зависеть не только от того, как он выглядит на изображении, но и от того, как выглядит на изображении участок неба, в котором он находится (потому что на этот участок, скорее всего, влияют такие же эффекты искажения изображения). Алгоритмы машинного обучения, натренированные на изображениях, способны учесть эти зависимости. | ||
Строка 28: | Строка 26: | ||
Машинное обучение может быть использовано для классификации<ref>''Qu, M., Shih, F.Y., Jing, J. et al.'' Automatic Detection and Classification of Coronal Mass Ejections. Sol Phys 237, 419–431 (2006)</ref> [https://ru.wikipedia.org/wiki/Корональные_выбросы_массы корональных выбросов массы] на Солнце, определения их силы, источника и направления. Метод состоит в выборке определенного набора параметров выброса по данным спектрометрического коронографа [https://en.wikipedia.org/wiki/Large_Angle_and_Spectrometric_Coronagraph LASCO], а затем применения к этим данным метода опорных векторов. В таблице ниже приведены признаки корональных выбросов массы, на которых обучается алгоритм. Здесь <tex dpi="130">A</tex> и <tex dpi="130">A_p</tex> {{---}} области исследуемых изображений. | Машинное обучение может быть использовано для классификации<ref>''Qu, M., Shih, F.Y., Jing, J. et al.'' Automatic Detection and Classification of Coronal Mass Ejections. Sol Phys 237, 419–431 (2006)</ref> [https://ru.wikipedia.org/wiki/Корональные_выбросы_массы корональных выбросов массы] на Солнце, определения их силы, источника и направления. Метод состоит в выборке определенного набора параметров выброса по данным спектрометрического коронографа [https://en.wikipedia.org/wiki/Large_Angle_and_Spectrometric_Coronagraph LASCO], а затем применения к этим данным метода опорных векторов. В таблице ниже приведены признаки корональных выбросов массы, на которых обучается алгоритм. Здесь <tex dpi="130">A</tex> и <tex dpi="130">A_p</tex> {{---}} области исследуемых изображений. | ||
{| class="wikitable" | {| class="wikitable" | ||
− | |+ | + | |+ Признаки изображений, исследуемых на предмет корональных выбросов массы |
− | ! | + | ! Номер || Описание признака |
|- | |- | ||
| 1 || The exposure time of the <tex dpi="130">LASCO </tex> image | | 1 || The exposure time of the <tex dpi="130">LASCO </tex> image | ||
Строка 79: | Строка 77: | ||
=== Изучение астрономических параметров === | === Изучение астрономических параметров === | ||
==== Красное смещение ==== | ==== Красное смещение ==== | ||
− | [[Файл:DistanceByRedshift.png|300px|thumb|right|Зависимость расстояния от красного смещения]] | + | [[Файл:DistanceByRedshift.png|300px|thumb|right|''Рис. 3.'' Зависимость расстояния от красного смещения]] |
− | [https://ru.wikipedia.org/wiki/Красное_смещение Красное смещение] (англ. ''redshift'') {{---}} астрономическое явление изменения длины волны наблюдаемого объекта. Важным свойством величины красного смещения является то, что через него, пользуясь законом Хаббла, можно высчитать примерное расстояние до объекта. Соответственно, красное смещение является важным астрономическим параметром, и при исследовании некоторых объектов будет полезным знать эту величину для вычисления других признаков объекта или заключения выводов о каких-либо закономерностях в наличествующих данных. | + | [https://ru.wikipedia.org/wiki/Красное_смещение Красное смещение] (англ. ''redshift'') {{---}} астрономическое явление изменения длины волны наблюдаемого объекта. Важным свойством величины красного смещения является то, что через него, пользуясь законом Хаббла, можно высчитать примерное расстояние до объекта (Рис. 3). Соответственно, красное смещение является важным астрономическим параметром, и при исследовании некоторых объектов будет полезным знать эту величину для вычисления других признаков объекта или заключения выводов о каких-либо закономерностях в наличествующих данных. |
Красное смещение может быть вычислено при помощи спектральных данных объекта (англ. ''spectroscopic redshift''), однако существуют другие методики, позволяющие в некоторых случаях определить примерную величину смещения по фотографии, пользуясь цветовыми характеристиками и яркостью объекта (англ. ''photometric redshift''). Задачу нахождения величины фотометрического красного смещения можно переформулировать как задачу регрессии на соответствующих данных. Для решения такой задачи на популярных астрономических данных может быть использовано множество известных моделей машинного обучения, к примеру, случайные леса<ref> Carliles, S., Budav ́ari, T., Heinis, S., Priebe, C., &Szalay, A. S. 2010, ApJ, 712, 511 </ref>, нейронные сети<ref> Vanzella, E., Cristiani, S., Fontana, A., et al.2004, A&A, 423, 761 </ref> и идеи [[Виды ансамблей#Бэггинг | композиции нескольких моделей]]<ref>A. D’Isanto and K. L. Polsterer, A&A, 609 (2018) A111</ref>. В настоящее время существуют алгоритмы, основанные на [[Сверточные нейронные сети | сверточных нейронных сетях]], по предсказаниям которых можно восстановить расстояния до галактик, отличающихся от расстояний, вычисленных при помощи значений спектроскопического красного смещения, на несколько мегапарсек<ref>M. Shuntov, J. Pasquet, S. Arnouts, O. Ilbert, M. Treyer, E. Bertin, S. de la Torre, Y. Dubois, D. Fouchez, K. Kraljic, C. Laigle, C. Pichon and D. Vibert, | Красное смещение может быть вычислено при помощи спектральных данных объекта (англ. ''spectroscopic redshift''), однако существуют другие методики, позволяющие в некоторых случаях определить примерную величину смещения по фотографии, пользуясь цветовыми характеристиками и яркостью объекта (англ. ''photometric redshift''). Задачу нахождения величины фотометрического красного смещения можно переформулировать как задачу регрессии на соответствующих данных. Для решения такой задачи на популярных астрономических данных может быть использовано множество известных моделей машинного обучения, к примеру, случайные леса<ref> Carliles, S., Budav ́ari, T., Heinis, S., Priebe, C., &Szalay, A. S. 2010, ApJ, 712, 511 </ref>, нейронные сети<ref> Vanzella, E., Cristiani, S., Fontana, A., et al.2004, A&A, 423, 761 </ref> и идеи [[Виды ансамблей#Бэггинг | композиции нескольких моделей]]<ref>A. D’Isanto and K. L. Polsterer, A&A, 609 (2018) A111</ref>. В настоящее время существуют алгоритмы, основанные на [[Сверточные нейронные сети | сверточных нейронных сетях]], по предсказаниям которых можно восстановить расстояния до галактик, отличающихся от расстояний, вычисленных при помощи значений спектроскопического красного смещения, на несколько мегапарсек<ref>M. Shuntov, J. Pasquet, S. Arnouts, O. Ilbert, M. Treyer, E. Bertin, S. de la Torre, Y. Dubois, D. Fouchez, K. Kraljic, C. Laigle, C. Pichon and D. Vibert, | ||
Строка 87: | Строка 85: | ||
==== Кривые блеска ==== | ==== Кривые блеска ==== | ||
− | [https://ru.wikipedia.org/wiki/Кривая_блеска Кривая блеска] (англ. ''light curve'') {{---}} функция изменения звездной величины (в базовом понимании яркости) во времени. Кривая блеска позволяет определить целый ряд физических свойств тела, в частности, период обращения, продолжительность затмения, отношение радиуса звезды к радиусу орбиты тела. Соответственно, разделение кривых блеска на типы позволяет лучше изучить структуры астрономических систем. | + | [https://ru.wikipedia.org/wiki/Кривая_блеска Кривая блеска] (англ. ''light curve'') {{---}} функция изменения звездной величины (в базовом понимании яркости) во времени (Рис. 4). Кривая блеска позволяет определить целый ряд физических свойств тела, в частности, период обращения, продолжительность затмения, отношение радиуса звезды к радиусу орбиты тела. Соответственно, разделение кривых блеска на типы позволяет лучше изучить структуры астрономических систем. |
Классифицировать кривые блеска можно при помощи [[Сверточные нейронные сети | сверточных нейронных сетей]]<ref>Mahabal, A., Sheth, K., Gieseke, F., et al. 2017,ArXiv e-prints, arXiv:1709.06257</ref>. Для этого необходимо представить функцию блеска в виде объекта, на котором можно обучать алгоритм, к примеру, в виде изображения. Это преобразование проводится следующим образом: | Классифицировать кривые блеска можно при помощи [[Сверточные нейронные сети | сверточных нейронных сетей]]<ref>Mahabal, A., Sheth, K., Gieseke, F., et al. 2017,ArXiv e-prints, arXiv:1709.06257</ref>. Для этого необходимо представить функцию блеска в виде объекта, на котором можно обучать алгоритм, к примеру, в виде изображения. Это преобразование проводится следующим образом: | ||
− | # Для каждых двух точек кривой блеска <tex>(t_1, m_1), (t_2, m_2)</tex>, где <tex>t_i</tex> {{---}} момент времени, <tex>m_i</tex> {{---}} значение звездной величины, <tex>t_2 - t_1 = k * T</tex>, где <tex>k \in \mathbb{N}</tex>, <tex>T</tex> {{---}} некий временной интервал, пара значений <tex>(t_2 - t_1, m_2 - m_1)</tex> помещается в массив. | + | # Для каждых двух точек кривой блеска <tex>(t_1, m_1), (t_2, m_2)</tex>, где <tex>t_i</tex> {{---}} момент времени, <tex>m_i</tex> {{---}} значение звездной величины, <tex>t_2 - t_1 = k * T</tex>, где <tex>k \in \mathbb{N}</tex>, <tex>T</tex> {{---}} некий временной интервал, пара значений <tex>(t_2 - t_1, m_2 - m_1)</tex> помещается в массив (Рис. 5). |
# Полученные величины <tex>(\Delta t, \Delta m)</tex> округляются до ближайших из значений <tex>\delta m=\pm[0,0.1,0.2,0.3,0.5,1,1.5,2,2.5,3,5,8]</tex>,<br><tex>\delta t=[\frac{1}{145},\frac{2}{145},\frac{3}{145},\frac{4}{145},\frac{1}{25},\frac{2}{25},\frac{3}{25},1.5,2.5,3.5,4.5,5.5,7,10,20,30,60,90,120,240,600,960,2000,4000]</tex>, тем самым перемещаясь в пространство <tex>23 * 24</tex>. | # Полученные величины <tex>(\Delta t, \Delta m)</tex> округляются до ближайших из значений <tex>\delta m=\pm[0,0.1,0.2,0.3,0.5,1,1.5,2,2.5,3,5,8]</tex>,<br><tex>\delta t=[\frac{1}{145},\frac{2}{145},\frac{3}{145},\frac{4}{145},\frac{1}{25},\frac{2}{25},\frac{3}{25},1.5,2.5,3.5,4.5,5.5,7,10,20,30,60,90,120,240,600,960,2000,4000]</tex>, тем самым перемещаясь в пространство <tex>23 * 24</tex>. | ||
− | # Строится изображение размера <tex>23 * 24</tex>, где интенсивность каждого пикселя пропорциональна количеству соответствующего элемента <tex>(\Delta t, \Delta m)</tex> в полученном выше массиве. | + | # Строится изображение размера <tex>23 * 24</tex>, где интенсивность каждого пикселя пропорциональна количеству соответствующего элемента <tex>(\Delta t, \Delta m)</tex> в полученном выше массиве (Рис. 6). |
После этого на полученных изображениях обучается сверточная нейронная сеть, которая может классифицировать тип кривой блеска с точностью 84.5%. | После этого на полученных изображениях обучается сверточная нейронная сеть, которая может классифицировать тип кривой блеска с точностью 84.5%. | ||
− | [[Файл:PenelopeLightCurve.png|300px|thumb|left|Кривая блеска астероида Пенелопа]] | + | [[Файл:PenelopeLightCurve.png|300px|thumb|left|''Рис. 4.'' Кривая блеска астероида Пенелопа]] |
− | [[Файл:LightCurveImage.png|300px|thumb|right|Изображения для обучения сверточной нейронной сети]] | + | [[Файл:LightCurveImage.png|300px|thumb|right|''Рис. 6.'' Изображения для обучения сверточной нейронной сети]] |
− | [[Файл:DmDtCurveMapping.png|300px|thumb|center|Преобразование кривой блеска в множество точек на плоскости]] | + | [[Файл:DmDtCurveMapping.png|300px|thumb|center|''Рис. 5.'' Преобразование кривой блеска в множество точек на плоскости]] |
=== Изучение астрономических явлений=== | === Изучение астрономических явлений=== | ||
Строка 104: | Строка 102: | ||
Для классификации астрономических явлений необходимо иметь данные о каком-то участке неба на протяжении какого-то времени. Существуют два подхода, связанные с обработкой последовательностей изображений неба, связанные с машинным обучением: | Для классификации астрономических явлений необходимо иметь данные о каком-то участке неба на протяжении какого-то времени. Существуют два подхода, связанные с обработкой последовательностей изображений неба, связанные с машинным обучением: | ||
* Закодировать изменения во времени при помощи признаков искусственного объекта, после чего можно обучить классификатор на таких объектах, и результаты получать путем кодирования данных в объекты такого же типа. Классификатор может быть любым, к примеру, можно использовать случайный лес<ref>Bloom, J. S., Richards, J. W., Nugent, P. E., et al.2012, PASP, 124, 1175</ref>. | * Закодировать изменения во времени при помощи признаков искусственного объекта, после чего можно обучить классификатор на таких объектах, и результаты получать путем кодирования данных в объекты такого же типа. Классификатор может быть любым, к примеру, можно использовать случайный лес<ref>Bloom, J. S., Richards, J. W., Nugent, P. E., et al.2012, PASP, 124, 1175</ref>. | ||
− | * Использовать алгоритмы, способные обрабатывать последовательности объектов, например, [[ Рекуррентные нейронные сети | рекуррентные нейронные сети]], или, в частности, [[ Долгая краткосрочная память | LSTM]]<ref>Sadeh, I., ArXiv e-prints, arXiv:1902.03620</ref>, которые можно обучить на нескольких последовательных результатах измерения излучения участка неба. В вышеупомянутой работе, к примеру, объектами являются данные о гамма-излучении на протяжении 20 временных интервалов. | + | * Использовать алгоритмы, способные обрабатывать последовательности объектов, например, [[ Рекуррентные нейронные сети | рекуррентные нейронные сети]], или, в частности, [[ Долгая краткосрочная память | LSTM]]<ref>Sadeh, I., ArXiv e-prints, arXiv:1902.03620</ref> (Рис. 7), которые можно обучить на нескольких последовательных результатах измерения излучения участка неба. В вышеупомянутой работе, к примеру, объектами являются данные о гамма-излучении на протяжении 20 временных интервалов. |
− | [[Файл:LSTMforTransients.png|600px|thumb|center|Архитектура рекуррентной нейронной сети для классификации кратковременных событий]] | + | [[Файл:LSTMforTransients.png|600px|thumb|center|''Рис. 7.'' Архитектура рекуррентной нейронной сети для классификации кратковременных событий]] |
====Астрономические феномены==== | ====Астрономические феномены==== | ||
Строка 114: | Строка 112: | ||
====Классификация гамма-всплесков==== | ====Классификация гамма-всплесков==== | ||
− | [[Файл:grb.jpg|300px|thumb|right|Художественное изображение гамма-всплеска]] | + | [[Файл:grb.jpg|300px|thumb|right|''Рис. 8.'' Художественное изображение гамма-всплеска]] |
− | [https://ru.wikipedia.org/wiki/Гамма-всплеск Гамма-всплески] (англ. ''gamma ray bursts'') {{---}} масштабные космические выбросы энергии взрывного характера. На сегодняшний день различают два основных подвида гамма-всплесков: длинные и короткие, имеющие существенные различия в спектрах и наблюдательных проявлениях. Однако, многие авторы указывают на наличие третьего их типа с длиной события между длинными и короткими. | + | [https://ru.wikipedia.org/wiki/Гамма-всплеск Гамма-всплески] (англ. ''gamma ray bursts'') (Рис. 8) {{---}} масштабные космические выбросы энергии взрывного характера. На сегодняшний день различают два основных подвида гамма-всплесков: длинные и короткие, имеющие существенные различия в спектрах и наблюдательных проявлениях. Однако, многие авторы указывают на наличие третьего их типа с длиной события между длинными и короткими. |
Для проверки гипотезы о существовании гамма-всплесков можно использовать алгоритмы [[ Кластеризация | кластеризации]]. Достаточно зафиксировать модель, [[Оценка качества в задаче кластеризации | метрику]] и функцию ошибки, и можно будет оценить правдоподобность наличия третьего типа всплесков в каком-либо наборе данных. Было установлено<ref>Kulkarni, S., Desai, S., Astrophys Space Sci 362, 70 (2017)</ref>, что на данных [https://swift.gsfc.nasa.gov/ SWIFT] допущение наличия третьего типа гамма-всплесков уменьшает ошибку в <tex>2.5</tex> раза. | Для проверки гипотезы о существовании гамма-всплесков можно использовать алгоритмы [[ Кластеризация | кластеризации]]. Достаточно зафиксировать модель, [[Оценка качества в задаче кластеризации | метрику]] и функцию ошибки, и можно будет оценить правдоподобность наличия третьего типа всплесков в каком-либо наборе данных. Было установлено<ref>Kulkarni, S., Desai, S., Astrophys Space Sci 362, 70 (2017)</ref>, что на данных [https://swift.gsfc.nasa.gov/ SWIFT] допущение наличия третьего типа гамма-всплесков уменьшает ошибку в <tex>2.5</tex> раза. | ||
Текущая версия на 19:34, 4 сентября 2022
Астрономия переживает стремительный рост объема и сложности данных. Существует множество проектов, исследующих и собирающих многоспектральные изображения неба, разновременную и многоволновую информацию, например, Слоановский цифровой небесный обзор (англ. Sloan Digital Sky Survey, SDSS). Такие проекты предоставляют оцифрованные изображения неба, соответственно, в последние годы алгоритмы машинного обучения становятся все более популярными среди астрономов и в настоящее время используются для решения самых разнообразных задач; причиной этому служит большое количество доступных данных. В этой статье кратко приводится практическая информация о применении инструментов машинного обучения к астрономическим данным.
Содержание
Классификация астрономических объектов по изображениям
Наличие в наборах данных большого количества объектов одного типа, но различных подтипов позволяет применить машинное обучение для решения задачи классификации на этих объектах.
Морфологическая классификация галактик
Одной из самых популярных тем классификации является морфологическая классификация галактик (англ. Morphology galaxy classification), позволяющая разделить их на различные типы по визуальным признакам (Рис. 1). Для обучения моделей, призванных решать эту задачу, часто используют набор данных Galaxy Zoo, который является результатом волонтерского сотрудничества (ручной классификации галактик). Существует множество работ на эту тематику, использующих различные алгоритмы машинного обучения, как то: случайные леса[1], метод опорных векторов[2], нейронные сети[3]. Применение подходов машинного обучения в этом случае довольно прямолинейно, а разница между работами состоит в основном в представлении данных, выборе гиперпараметров и признаков классификации. Дополнительной сложностью вышеприведённых и прочих работ на ту же тему являются визуальные ограничения имеющихся изображений, такие, как мерцание, смещение, размытие и красное смещение. В настоящее время существуют методы, обеспечивающие вероятность неверной классификации объекта в задаче морфологической классификации галактик в [4].
Этой задачей следует заниматься, так как возможность находить тип галактик необходима для изучения их эволюции, а также является необходимым умением для множества задач наблюдательной космологии (англ. Observational cosmology), например, для нахождения кривых блеска.
Выявление аномалий
В астрономии могут использоваться методы поиска трудно классифицируемых объектов выборки, например, для нахождения в больших объемах данных объектов, не похожих на большинство других, для отдельного их изучения. В частности, с помощью такого алгоритма можно найти необычные типы галактик[6].
Классификация звезд и галактик
Классификация звезд и галактик (англ. Star Galaxy Classification) является базовым шагом любой классификации на звездах или галактиках, соответственно, имеет большое практическое значение. Существует много работ на эту тему, связанных с машинным обучением, использующих различные алгоритмы: случайный лес[8], метод опорных векторов[9], нейронные сети[10], алгоритмы кластеризации[11](пример распределения можно наблюдать на Рис. 2).
Главная проблема классификации звезд и галактик состоит в том, что, по мере удаления объекта от телескопа различные атмосферные или космогенные эффекты могут повлиять на свет, который отражается от тела и захватывается телескопом. Детерминированные алгоритмы классификации обычно проверяют звездную величину объекта на соответствие известным шаблонам звезд и галактик и работают только с объектом как таковым. В то же время кажется логичным, что результат классификации объекта может зависеть не только от того, как он выглядит на изображении, но и от того, как выглядит на изображении участок неба, в котором он находится (потому что на этот участок, скорее всего, влияют такие же эффекты искажения изображения). Алгоритмы машинного обучения, натренированные на изображениях, способны учесть эти зависимости.
Анализ астрономических явлений по спектральным данным
Классификация корональных выбросов массы
Машинное обучение может быть использовано для классификации[12] корональных выбросов массы на Солнце, определения их силы, источника и направления. Метод состоит в выборке определенного набора параметров выброса по данным спектрометрического коронографа LASCO, а затем применения к этим данным метода опорных векторов. В таблице ниже приведены признаки корональных выбросов массы, на которых обучается алгоритм. Здесь и — области исследуемых изображений.
Номер | Описание признака |
---|---|
1 | The exposure time of the | image
2 | The time interval between the current and the previous image |
3 | The pixel size of the LASCO image |
4 | The mean brightness value of the reference image |
5 | The mean brightness value of the current image |
6 | The mean brightness value of the running difference |
7 | The standard deviation of the running difference |
8 | The number of pixels for |
9 | The threshold for segmentingAfrom the running difference |
10 | The maximum height (arcsecs from disk center) of |
11 | The height of the center of |
12 | The minimum height of |
13 | The starting angle of | . The angle is calculated from North 0 clockwise
14 | The angle of the center of |
15 | The ending angle of |
16 | The angular width of |
17 | The height difference ( | ) between the maximum height of and
18 | The height of the new moving region ( | ) which is obtained by subtracting from
19 | The speed which is computed using | , divided by the interval time cadence
20 | The speed which is computed using | divided by the interval time cadence
21 | The span width of the new moving region |
22 | The center angle of the new moving region |
Работа имеет большое практическое значение, так как корональные выбросы массы могут прерывать радиопередачу, наносить повреждения спутникам и линиям электропередачи, если они направлены в сторону Земли и имеют достаточную скорость и объем, чтобы достичь ее атмосферы[13].
Изучение астрономических параметров
Красное смещение
Красное смещение (англ. redshift) — астрономическое явление изменения длины волны наблюдаемого объекта. Важным свойством величины красного смещения является то, что через него, пользуясь законом Хаббла, можно высчитать примерное расстояние до объекта (Рис. 3). Соответственно, красное смещение является важным астрономическим параметром, и при исследовании некоторых объектов будет полезным знать эту величину для вычисления других признаков объекта или заключения выводов о каких-либо закономерностях в наличествующих данных.
Красное смещение может быть вычислено при помощи спектральных данных объекта (англ. spectroscopic redshift), однако существуют другие методики, позволяющие в некоторых случаях определить примерную величину смещения по фотографии, пользуясь цветовыми характеристиками и яркостью объекта (англ. photometric redshift). Задачу нахождения величины фотометрического красного смещения можно переформулировать как задачу регрессии на соответствующих данных. Для решения такой задачи на популярных астрономических данных может быть использовано множество известных моделей машинного обучения, к примеру, случайные леса[14], нейронные сети[15] и идеи композиции нескольких моделей[16]. В настоящее время существуют алгоритмы, основанные на сверточных нейронных сетях, по предсказаниям которых можно восстановить расстояния до галактик, отличающихся от расстояний, вычисленных при помощи значений спектроскопического красного смещения, на несколько мегапарсек[17], что является высокой точностью в астрономических масштабах (примерно 10 процентов от среднего размера войда)
Кривые блеска
Кривая блеска (англ. light curve) — функция изменения звездной величины (в базовом понимании яркости) во времени (Рис. 4). Кривая блеска позволяет определить целый ряд физических свойств тела, в частности, период обращения, продолжительность затмения, отношение радиуса звезды к радиусу орбиты тела. Соответственно, разделение кривых блеска на типы позволяет лучше изучить структуры астрономических систем.
Классифицировать кривые блеска можно при помощи сверточных нейронных сетей[18]. Для этого необходимо представить функцию блеска в виде объекта, на котором можно обучать алгоритм, к примеру, в виде изображения. Это преобразование проводится следующим образом:
- Для каждых двух точек кривой блеска , где — момент времени, — значение звездной величины, , где , — некий временной интервал, пара значений помещается в массив (Рис. 5).
- Полученные величины
, тем самым перемещаясь в пространство .
округляются до ближайших из значений , - Строится изображение размера , где интенсивность каждого пикселя пропорциональна количеству соответствующего элемента в полученном выше массиве (Рис. 6).
После этого на полученных изображениях обучается сверточная нейронная сеть, которая может классифицировать тип кривой блеска с точностью 84.5%.
Изучение астрономических явлений
Кратковременные астрономические явления
Ввиду невозможности круглосуточно наблюдать за данными, поступающими с телескопов, вполне вероятной является возможность пропустить или не заметить появление сверхновой или активность переменной звезды. Как следствие, естественной целью оказывается обработка таких событий круглосуточно, в автоматическом режиме.
Для классификации астрономических явлений необходимо иметь данные о каком-то участке неба на протяжении какого-то времени. Существуют два подхода, связанные с обработкой последовательностей изображений неба, связанные с машинным обучением:
- Закодировать изменения во времени при помощи признаков искусственного объекта, после чего можно обучить классификатор на таких объектах, и результаты получать путем кодирования данных в объекты такого же типа. Классификатор может быть любым, к примеру, можно использовать случайный лес[19].
- Использовать алгоритмы, способные обрабатывать последовательности объектов, например, рекуррентные нейронные сети, или, в частности, LSTM[20] (Рис. 7), которые можно обучить на нескольких последовательных результатах измерения излучения участка неба. В вышеупомянутой работе, к примеру, объектами являются данные о гамма-излучении на протяжении 20 временных интервалов.
Астрономические феномены
Нейронные сети можно использовать для определения и классификация стадий астрономических феноменов галактик [21], связанных со звездообразованием в них. Особенностью таких задач является необходимость генерировать для них искусственные наборы объектов для обучения ввиду недостаточного количества наблюдаемых феноменов такого типа в реальных данных.
Обучение без учителя
Алгоритмы обучения без учителя применительно к астрономии имеют особое значение для научных исследований, поскольку они могут быть использованы для извлечения новых знаний из существующих наборов данных и могут способствовать новым открытиям.
Классификация гамма-всплесков
Гамма-всплески (англ. gamma ray bursts) (Рис. 8) — масштабные космические выбросы энергии взрывного характера. На сегодняшний день различают два основных подвида гамма-всплесков: длинные и короткие, имеющие существенные различия в спектрах и наблюдательных проявлениях. Однако, многие авторы указывают на наличие третьего их типа с длиной события между длинными и короткими. Для проверки гипотезы о существовании гамма-всплесков можно использовать алгоритмы кластеризации. Достаточно зафиксировать модель, метрику и функцию ошибки, и можно будет оценить правдоподобность наличия третьего типа всплесков в каком-либо наборе данных. Было установлено[22], что на данных SWIFT допущение наличия третьего типа гамма-всплесков уменьшает ошибку в раза.
Изучение данных
Часто кластеризация применяется к данным для прогресса в их изучении: Для того, чтобы получить новые знания о данных, необходимо их отсортировать и классифицировать. Так, например, K-means применяется в астрономии в разных контекстах, например, для изучения спектральных классов звезд, галактик и астероидов, рентгеновского спектра объектов. [23][24][25]
Иерархическая кластеризация также применима к астрономическим данным, например, к рентгеновским спектрам, изображениям галактик и спектрам поглощения межзвездного газа.[26][27][28][29]
См. также
Примечания
- arXiv.org: Machine Learning in Astronomy: a practical overview — обзор астрономических работ, связанных с машинным обучением
- https://www.astroml.org/ — библиотека алгоритмов машинного обучения, заточенная под астрономические данные
- https://github.com/dalya/WeirdestGalaxies — алгоритм нахождения необычных галактик при помощи случайных лесов
Источники информации
- ↑ Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530
- ↑ Huertas-Company, M., Rouan, D., Tasca, L.,Soucail, G., & Le F`evre, O. 2008, A&A, 478,971
- ↑ Banerji, M., Lahav, O., Lintott, C. J., et al. 2010,MNRAS, 406, 342
- ↑ Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73
- ↑ Barchi, P.H., de Carvalho, R.R., Rosa, R.R., Sautter, R.A., Soares-Santos, M., Marques, B.A.D., Clua, E., Gonçalves, T.S., de Sá-Freitas, C., Moura, T.C., 2020, Astronomy and Computing, 30, 100334
- ↑ Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530
- ↑ C. H. A. Logan and S. Fotopoulou A&A, 633 (2020) A154
- ↑ Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73
- ↑ Kov ́acs, A., & Szapudi, I. 2015, MNRAS, 448,1305
- ↑ Noble Kennamer, David Kirkby, Alexander Ihler, Francisco Javier Sanchez-Lopez ; Proceedings of the 35th International Conference on Machine Learning, PMLR 80:2582-2590, 2018.
- ↑ C. H. A. Logan and S. Fotopoulou A&A, 633 (2020) A154
- ↑ Qu, M., Shih, F.Y., Jing, J. et al. Automatic Detection and Classification of Coronal Mass Ejections. Sol Phys 237, 419–431 (2006)
- ↑ https://en.wikipedia.org/wiki/Coronal_mass_ejection
- ↑ Carliles, S., Budav ́ari, T., Heinis, S., Priebe, C., &Szalay, A. S. 2010, ApJ, 712, 511
- ↑ Vanzella, E., Cristiani, S., Fontana, A., et al.2004, A&A, 423, 761
- ↑ A. D’Isanto and K. L. Polsterer, A&A, 609 (2018) A111
- ↑ M. Shuntov, J. Pasquet, S. Arnouts, O. Ilbert, M. Treyer, E. Bertin, S. de la Torre, Y. Dubois, D. Fouchez, K. Kraljic, C. Laigle, C. Pichon and D. Vibert, A&A, 636 (2020) A90
- ↑ Mahabal, A., Sheth, K., Gieseke, F., et al. 2017,ArXiv e-prints, arXiv:1709.06257
- ↑ Bloom, J. S., Richards, J. W., Nugent, P. E., et al.2012, PASP, 124, 1175
- ↑ Sadeh, I., ArXiv e-prints, arXiv:1902.03620
- ↑ Huertas-Company, M., Primack, J. R., Dekel, A.,et al. 2018, ApJ, 858, 114
- ↑ Kulkarni, S., Desai, S., Astrophys Space Sci 362, 70 (2017)
- ↑ Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585
- ↑ Galluccio, L., Michel, O., Bendjoya, P., & Slezak,E. 2008, in American Institute of Physics
- ↑ Simpson, J. D., Cottrell, P. L., & Worley, C. C.2012, MNRAS, 427, 1153
- ↑ Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585
- ↑ Baron, D., Poznanski, D., Watson, D., et al. 2015,MNRAS, 451, 332
- ↑ Hocking, A., Geach, J. E., Davey, N., & Sun, Y.2015, ArXiv e-prints: 1507.01589,arXiv:1507.01589
- ↑ Peth, M. A., Lotz, J. M., Freeman, P. E., et al.2016, MNRAS, 458, 963