Викиконспекты - Вклад участника [ru]

Обсуждение участника:Qrort

2021-01-12T12:02:11Z

184.150.237.222:

[[Категория: Машинное обучение]]
[[Категория: Практическое применение машинного обучения]]

== Машинное обучение в астрономии ==
Астрономия переживает стремительный рост объема и сложности данных. Существует множество проектов, исследующих и собирающих многоспектральные изображения неба, разновременную и многоволновую информацию, например, [https://www.sdss.org/ SDSS]. Такие проекты предоставляют оцифрованные изображения неба, соответственно, в последние годы алгоритмы машинного обучения становятся все более популярными среди астрономов и в настоящее время используются для решения самых разнообразных задач; причиной этому служит большое количество доступных данных. В этой статье кратко приводится практическая информация о применении инструментов машинного обучения к астрономическим данным.

=== Классификация астрономических объектов по изображениям ===
Наличие в наборах данных большого количества объектов одного типа, но различных подтипов позволяет применить машинное обучение для решения задачи классификации на этих объектах.
==== Морфологическая классификация галактик ====
[[Файл:hubbleTuningFork.png|300px|thumb|right|Классификация галактик, [https://ru.wikipedia.org/wiki/Последовательность_Хаббла последовательность Хаббла]]]
Одной из самых популярных тем классификации является морфологическая классификация галактик, позволяющая разделить их на различные типы по визуальным признакам.

=== [[Общие понятия#Классификация задач машинного обучения | Обучение с учителем ]] ===
В этом разделе рассматриваются алгоритмы, наиболее часто встречающиеся в научных работах астрономической тематики, и примеры таких работ.
==== Метод опорных векторов ====
[[ Метод_опорных_векторов_(SVM) | Метод опорных векторов ]] (англ. ''support vector machine, SVM'') является популярным алгоритмом для решения задач классификации.
Астрономы используют метод опорных векторов для определения типа галактик по их морфологическим признакам <ref>Huertas-Company, M., Rouan, D., Tasca, L.,Soucail, G., & Le F`evre, O. 2008, A&A, 478,971</ref>, обучая модели на изображениях далёких галактик. Дополнительной сложностью вышеприведённой и прочих работ на ту же тему являются визуальные ограничения имеющихся изображений, такие, как мерцание, смещение, размытие и [https://ru.wikipedia.org/wiki/Красное_смещение красное смещение].

Метод опорных векторов также может быть использован для классификации<ref>''Qu, M., Shih, F.Y., Jing, J. et al.'' Automatic Detection and Classification of Coronal Mass Ejections. Sol Phys 237, 419–431 (2006)</ref> [https://ru.wikipedia.com/Корональные_выбросы_массы корональных выбросов массы], определения их силы, источника и направления по данным [https://en.wikipedia.org/wiki/Large_Angle_and_Spectrometric_Coronagraph LASCO], или для классификации звезд и галактик (возможности отличать первые от вторых).<ref>Kov ́acs, A., & Szapudi, I. 2015, MNRAS, 448,1305</ref>

==== Cлучайные леса ====
[[Файл:Galaxy star features.png|300px|thumb|right|Список признаков объекта, использующийся в классификации звезд и галактик]]
[[ Дерево решений и случайный лес | Случайные леса ]] (англ. ''random forest'') используются для решения задач классификации и регрессии. В пример можно привести следующие исследования:
* Определение величины красного смещения по изображению<ref>Carliles, S., Budav ́ari, T., Heinis, S., Priebe, C., &Szalay, A. S. 2010, ApJ, 712, 511</ref>
* Классификация<ref>Bloom, J. S., Richards, J. W., Nugent, P. E., et al.2012, PASP, 124, 1175</ref> кратковременных астрономических событий и [https://ru.wikipedia.org/wiki/Переменная_звезда переменных звезд]
* Классификация звезд и галактик<ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>

==== Нейронные сети ====
[[ Нейронные сети, перцептрон | Нейронные сети ]] (англ. ''Artificial neural networks, ANN'') используются для решения задач классификации и регрессии. В пример можно привести следующие исследования:
* Определение величины [https://en.wikipedia.org/wiki/Photometric_redshift фотометрического красного смещения] галактик<ref>Vanzella, E., Cristiani, S., Fontana, A., et al.2004, A&A, 423, 761</ref>
* Классификация галактик<ref>Banerji, M., Lahav, O., Lintott, C. J., et al. 2010,MNRAS, 406, 342</ref>
* Измерение [https://astrobites.org/2014/09/30/measuring-galaxy-star-formation/ скорости звездообразования] галактик<ref>Ellison, S. L., Teimoorinia, H., Rosario, D. J., &Mendel, J. T. 2016, MNRAS, 458, L34</ref>
* Классификация<ref>Mahabal, A., Sheth, K., Gieseke, F., et al. 2017,ArXiv e-prints, arXiv:1709.06257</ref> различных видов [https://ru.wikipedia.org/wiki/Кривая_блеска кривых блеска]
* Определения и классификация стадий астрономических феноменов галактик <ref>Huertas-Company, M., Primack, J. R., Dekel, A.,et al. 2018, ApJ, 858, 114</ref>

=== [[Общие понятия#Классификация задач машинного обучения | Обучение без учителя ]] ===
Алгоритмы обучения без учителя применительно к астрономии имеют особое значение для научных исследований, поскольку они могут быть использованы для извлечения новых знаний из существующих наборов данных и могут способствовать новым открытиям.

==== Случайные леса ====
Случайные леса могут быть использованы для определения некоей меры схожести объектов без меток<ref>Shi, T., & Horvath, S. 2006, Journal ofComputational and Graphical Statistics, 15, 118</ref>.
Чтобы перейти от задачи обучения без учителя к задаче обучения с учителем,которую можно решать с помощью случайного леса, применяется следующая идея:

# Пусть набор данных имеет вид таблицы <tex>N \cdot M</tex>, где каждая строка представляет объект с <tex>M</tex> признаками. Построим другую матрицу размера <tex>N \cdot M</tex>, где значениями каждого столбца будет выборка из частного распределения соответствующего признака в исходном наборе данных. Такая матрица называется синтетическим набором данных (англ. ''synhtetic dataset''). Альтернативным вариантом построения такой матрицы является случайная перестановка каждого столбца исходной матрицы.
# Пометим каждый объект исходного набора данных как принадлежащий классу <tex>A</tex>, а каждый объект синтетического набора данных как принадлежащий классу <tex>B</tex>. Обучим случайный лес на этой выборке.

На этом этапе случайный лес способен определять наличие ковариации, ведь она присутствует только в исходном наборе данных. Как следствие, самыми важными признаками объектов будут являться признаки, имеющие корреляцию с другими. Расстояние между объектами определяется следующим образом:
Каждая пара объектов передается во все решающие деревья случайного леса, и их схожесть описывается как количество деревьев, которые классифицировали оба объекта как принадлежащие классу <tex>A</tex>, причем оба объекта должны достигнуть одного и того же листа в дереве.

Таким методом можно пользоваться, например, для нахождения в больших объемах данных объектов, не похожих на большинство других, для отдельного их изучения. В частности, с помощью такого алгоритма можно найти необычные типы галактик.<ref>Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530</ref>

==== K-means ====
Понятно, что классические алгоритмы кластеризации также могут быть применены к астрономическим данным. [[ Кластеризация#Метод K-средних (Алгоритм Ллойда) | K-means ]] применяется в астрономии в разных контекстах, например, для изучения спектральных классов звезд, галактик и астероидов, рентгеновского спектра объектов и так далее.<ref>Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585</ref><ref>Galluccio, L., Michel, O., Bendjoya, P., & Slezak,E. 2008, in American Institute of Physics</ref><ref>Simpson, J. D., Cottrell, P. L., & Worley, C. C.2012, MNRAS, 427, 1153</ref>

==== Иерархическая кластеризация ====
[[ Иерархическая кластеризация | Иерархическая кластеризация ]] также применима к астрономическим данным, например, к рентгеновским спектрам, изображениям галактик и спектрам поглощения межзвездного газа.<ref>Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585</ref><ref>Baron, D., Poznanski, D., Watson, D., et al. 2015,MNRAS, 451, 332</ref><ref>Hocking, A., Geach, J. E., Davey, N., & Sun, Y.2015, ArXiv e-prints: 1507.01589,arXiv:1507.01589</ref><ref>Peth, M. A., Lotz, J. M., Freeman, P. E., et al.2016, MNRAS, 458, 963</ref>

==Примечания==
* [https://arxiv.org/abs/1904.07248 arXiv.org: Machine Learning in Astronomy: a practical overview]
* https://www.astroml.org/
* https://github.com/dalya/WeirdestGalaxies

==Источники информации==
<references />

Обсуждение участника:Qrort

2021-01-12T11:42:52Z

184.150.237.222:

[[Категория: Машинное обучение]]

== Машинное обучение в астрономии ==
Астрономия переживает стремительный рост объема и сложности данных. Существует множество проектов, исследующих и собирающих многоспектральные изображения неба, разновременную и многоволновую информацию, например, [https://www.sdss.org/ SDSS]. Соответственно, в последние годы алгоритмы машинного обучения становятся все более популярными среди астрономов и в настоящее время используются для решения самых разнообразных задач. В этой статье кратко приводится практическая информация о применении инструментов машинного обучения к астрономическим данным.

=== [[Общие понятия#Классификация задач машинного обучения | Обучение с учителем ]] ===
В этом разделе рассматриваются алгоритмы, наиболее часто встречающиеся в научных работах астрономической тематики, и примеры таких работ.
==== Метод опорных векторов ====
[[ Метод_опорных_векторов_(SVM) | Метод опорных векторов ]] (англ. ''support vector machine, SVM'') является популярным алгоритмом для решения задач классификации.
Астрономы используют метод опорных векторов для определения типа галактик по их морфологическим признакам <ref>Huertas-Company, M., Rouan, D., Tasca, L.,Soucail, G., & Le F`evre, O. 2008, A&A, 478,971</ref>, обучая модели на изображениях далёких галактик. Дополнительной сложностью вышеприведённой и прочих работ на ту же тему являются визуальные ограничения имеющихся изображений, такие, как мерцание, смещение, размытие и [https://ru.wikipedia.org/wiki/Красное_смещение красное смещение].

Метод опорных векторов также может быть использован для классификации<ref>''Qu, M., Shih, F.Y., Jing, J. et al.'' Automatic Detection and Classification of Coronal Mass Ejections. Sol Phys 237, 419–431 (2006)</ref> [https://ru.wikipedia.com/Корональные_выбросы_массы корональных выбросов массы], определения их силы, источника и направления по данным [https://en.wikipedia.org/wiki/Large_Angle_and_Spectrometric_Coronagraph LASCO], или для классификации звезд и галактик (возможности отличать первые от вторых).<ref>Kov ́acs, A., & Szapudi, I. 2015, MNRAS, 448,1305</ref>

==== Cлучайные леса ====
[[Файл:Galaxy star features.png|300px|thumb|right|Список признаков объекта, использующийся в классификации звезд и галактик]]
[[ Дерево решений и случайный лес | Случайные леса ]] (англ. ''random forest'') используются для решения задач классификации и регрессии. В пример можно привести следующие исследования:
* Определение величины красного смещения по изображению<ref>Carliles, S., Budav ́ari, T., Heinis, S., Priebe, C., &Szalay, A. S. 2010, ApJ, 712, 511</ref>
* Классификация<ref>Bloom, J. S., Richards, J. W., Nugent, P. E., et al.2012, PASP, 124, 1175</ref> кратковременных астрономических событий и [https://ru.wikipedia.org/wiki/Переменная_звезда переменных звезд]
* Классификация звезд и галактик<ref>Miller, A. A., Kulkarni, M. K., Cao, Y., et al.2017, AJ, 153, 73</ref>

==== Нейронные сети ====
[[ Нейронные сети, перцептрон | Нейронные сети ]] (англ. ''Artificial neural networks, ANN'') используются для решения задач классификации и регрессии. В пример можно привести следующие исследования:
* Определение величины [https://en.wikipedia.org/wiki/Photometric_redshift фотометрического красного смещения] галактик<ref>Vanzella, E., Cristiani, S., Fontana, A., et al.2004, A&A, 423, 761</ref>
* Классификация галактик<ref>Banerji, M., Lahav, O., Lintott, C. J., et al. 2010,MNRAS, 406, 342</ref>
* Измерение [https://astrobites.org/2014/09/30/measuring-galaxy-star-formation/ скорости звездообразования] галактик<ref>Ellison, S. L., Teimoorinia, H., Rosario, D. J., &Mendel, J. T. 2016, MNRAS, 458, L34</ref>
* Классификация<ref>Mahabal, A., Sheth, K., Gieseke, F., et al. 2017,ArXiv e-prints, arXiv:1709.06257</ref> различных видов [https://ru.wikipedia.org/wiki/Кривая_блеска кривых блеска]
* Определения и классификация стадий астрономических феноменов галактик <ref>Huertas-Company, M., Primack, J. R., Dekel, A.,et al. 2018, ApJ, 858, 114</ref>

=== [[Общие понятия#Классификация задач машинного обучения | Обучение без учителя ]] ===
Алгоритмы обучения без учителя применительно к астрономии имеют особое значение для научных исследований, поскольку они могут быть использованы для извлечения новых знаний из существующих наборов данных и могут способствовать новым открытиям.

==== Случайные леса ====
Случайные леса могут быть использованы для определения некоей меры схожести объектов без меток<ref>Shi, T., & Horvath, S. 2006, Journal ofComputational and Graphical Statistics, 15, 118</ref>.
Чтобы перейти от задачи обучения без учителя к задаче обучения с учителем,которую можно решать с помощью случайного леса, применяется следующая идея:

# Пусть набор данных имеет вид таблицы <tex>N \cdot M</tex>, где каждая строка представляет объект с <tex>M</tex> признаками. Построим другую матрицу размера <tex>N \cdot M</tex>, где значениями каждого столбца будет выборка из частного распределения соответствующего признака в исходном наборе данных. Такая матрица называется синтетическим набором данных (англ. ''synhtetic dataset''). Альтернативным вариантом построения такой матрицы является случайная перестановка каждого столбца исходной матрицы.
# Пометим каждый объект исходного набора данных как принадлежащий классу <tex>A</tex>, а каждый объект синтетического набора данных как принадлежащий классу <tex>B</tex>. Обучим случайный лес на этой выборке.

На этом этапе случайный лес способен определять наличие ковариации, ведь она присутствует только в исходном наборе данных. Как следствие, самыми важными признаками объектов будут являться признаки, имеющие корреляцию с другими. Расстояние между объектами определяется следующим образом:
Каждая пара объектов передается во все решающие деревья случайного леса, и их схожесть описывается как количество деревьев, которые классифицировали оба объекта как принадлежащие классу <tex>A</tex>, причем оба объекта должны достигнуть одного и того же листа в дереве.

Таким методом можно пользоваться, например, для нахождения в больших объемах данных объектов, не похожих на большинство других, для отдельного их изучения. В частности, с помощью такого алгоритма можно найти необычные типы галактик.<ref>Baron, D., & Poznanski, D. 2017, MNRAS, 465,4530</ref>

==== K-means ====
Понятно, что классические алгоритмы кластеризации также могут быть применены к астрономическим данным. [[ Кластеризация#Метод K-средних (Алгоритм Ллойда) | K-means ]] применяется в астрономии в разных контекстах, например, для изучения спектральных классов звезд, галактик и астероидов, рентгеновского спектра объектов и так далее.<ref>Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585</ref><ref>Galluccio, L., Michel, O., Bendjoya, P., & Slezak,E. 2008, in American Institute of Physics</ref><ref>Simpson, J. D., Cottrell, P. L., & Worley, C. C.2012, MNRAS, 427, 1153</ref>

==== Иерархическая кластеризация ====
[[ Иерархическая кластеризация | Иерархическая кластеризация ]] также применима к астрономическим данным, например, к рентгеновским спектрам, изображениям галактик и спектрам поглощения межзвездного газа.<ref>Hojnacki, S. M., Kastner, J. H., Micela, G.,Feigelson, E. D., & LaLonde, S. M. 2007, ApJ,659, 585</ref><ref>Baron, D., Poznanski, D., Watson, D., et al. 2015,MNRAS, 451, 332</ref><ref>Hocking, A., Geach, J. E., Davey, N., & Sun, Y.2015, ArXiv e-prints: 1507.01589,arXiv:1507.01589</ref><ref>Peth, M. A., Lotz, J. M., Freeman, P. E., et al.2016, MNRAS, 458, 963</ref>

==Примечания==
* [https://arxiv.org/abs/1904.07248 arXiv.org: Machine Learning in Astronomy: a practical overview]

==Источники информации==
<references />

==Cм. также==
* https://www.astroml.org/
* https://github.com/dalya/WeirdestGalaxies