Изменения

'''Графовая нейронная сеть''' (англ. Graph Neural Network, GNN) – {{---}} тип нейронной сети, которая напрямую работает со структурой графа. Типичным применением GNN является классификация узлов. == Описание ==При Концепция графовой нейронной сети была впервые предложена в 2009 году в работе с естественными языками<ref>[https://ro.uow.edu.au/infopapers/3165/ The graph neural network model, обработке и анализе изображенийUniversity of Wollongong Australia]</ref>, построении моделей веб-сетей и еще широком спектре прикладных задач, бывает удобно представлять данные в виде графов. Однако которая расширила существующие нейронные сети для традиционных методов машинного обучения необходимо предварительно преобразовывать графово структурированные данные в другие структуры обработки данных, к примеру числовой вектор. Такой подход может привести к потере части информации, заключающейся во взаиморасположении узлов сетипредставленных в графовых областях.

<tex>G = (V,E)</tex>= Идея ==

В графе каждый узел определяется его признаками При работе с естественными языками, обработке и связанными узлами. Целью GNN является изучение состояния встраивания <tex>h_v \in R^{S}</tex>анализе изображений, которое содержит информацию об окрестностях для каждого узла. Состояние встраивания <tex>h_v</tex> построении моделей веб- это sсетей и еще широком спектре прикладных задач, бывает удобно представлять данные в виде графов: {|align="center" |-мерный вектор из вершины <tex>v</tex>, который может быть использован для получения выхода <tex>O_v</tex> (метки узла)valign="top" |[[Файл:Social_network.PNG|250px|thumb|Социальные сети]] |[[Файл:TextGNN.PNG|thumb|540px|Анализ текста]] |[[Файл:MoleculeGNN. PNG|400px|thumb|Молекулы]] |}

Пусть <tex>f</tex> - это параметрическая функцияОднако для традиционных методов машинного обучения необходимо предварительно преобразовывать графово структурированные данные в другие структуры данных, к примеру числовой вектор. Такой подход может привести к потере части информации, называемая заключающейся во взаиморасположении узлов сети.{{Определение|definition='''Граф'локальной переходной функцией''{{---}} это структура данных, которая является общей для всех узлов состоящая из двух компонентов: вершин и обновляет состояние узла в соответствии с входной окрестностьюребер. Также пусть Граф <tex>gG</tex> - ''локальная выходная функция'', которая описывает, как выход был производен. Тогда описывается множеством вершин (узлов) <tex>h_vV</tex> и ребер <tex>o_vE</tex> определяются следующим образом:, которые он содержит <tex>G = (V,E)</tex>. }}Использование GNN позволяет работать с данными графов, без предварительной обработки. Такой подход позволяет сохранить топологические отношения между узлами графа.

<tex>h_v = f{В основе GNN заложен механизм распространения информации. Граф обрабатывается набором модулей, которые связаны между собой в соответствии со связями графа. Также каждый из модулей связан с узлами графа. В процессе обучения, модули обновляют свои состояния и обмениваются информацией. Это продолжается до тех пор, пока модули не достигнут устойчивого равновесия (x_vдля того, x_{co[v]}чтобы была гарантия того, h_{ne[v]}что такое устойчивое состояние существует, x_{ne[v]}этот механизм распространения ограничен)}</tex>. Выходные данные GNN вычисляются на основе состояния модуля на каждом узле.

где == Описание == В графе каждый узел определяется его признаками и связанными узлами. Целью GNN является изучение состояния встраивания <tex>x_v, x_h_v \in R^{co[v]S}</tex>, h_которое содержит информацию об окрестностях для каждого узла. Состояние встраивания <tex>h_v</tex> {ne[{---}} это s-мерный вектор из вершины <tex>v]}</tex>, x_{ne[v]}который может быть использован для получения выхода <tex>O_v</tex> являются признаками (метки узла).  Пусть <tex>vf</tex>{{---}} это параметрическая функция, признаками его ребер, состоянийназываемая ''локальной переходной функцией'', которая является общей для всех узлов и признаками узлов обновляет состояние узла в окрестностях соответствии с входной окрестностью. Также пусть <tex>vg</tex> соответственно{{---}} ''локальная выходная функция'', которая описывает, как выход был производен.Тогда <tex>h_v</tex> и <tex>o_v</tex> определяются следующим образом:

Пусть <center><tex>Hh_v = f{(x_v, Ox_{co[v]}, Xh_{ne[v]}, x_{ne[v]})}</tex> и <tex>X_N</texcenter> - это векторы, построенные путем укладки всех состояний, всех выходных данных, всех признаков и всех признаков узлов соответственно. Тогда мы можем представить уравнения в более компактной форме:

<center><tex>H o_v = Fg{(Hh_v,XX_v)}</tex></center>

где <tex>O = Gx_v, x_{co[v]}, h_{(Hne[v]},X_N)x_{ne[v]}</tex>являются признаками <tex>v</tex>, признаками его ребер, состояний, и признаками узлов в окрестностях <tex>v</tex> соответственно.

где Пусть <tex>FH, O, X</tex> - это ''глобальная функция перехода'', а и <tex>GX_N</tex> {{- ''глобальная выходная функция'' которая является сложенной версией <tex>f</tex> --}} это векторы, построенные путем укладки всех состояний, всех выходных данных, всех признаков и <tex>g</tex> для всех признаков узлов в графе соответственно. Значение <tex>H</tex> является фиксированным и однозначно определяется Тогда мы можем представить уравнения в предположением о том, что <tex>F</tex> - это карта сжатия.более компактной форме:

<center><tex>H^{t+1} O = FG{(H^t,XX_N)}</tex></center>

где <tex>F</tex> {{---}} это ''глобальная функция перехода'', а <tex>G</tex> {{---}} ''глобальная выходная функция'', которая является сложенной версией <tex>f</tex> и <tex>g</tex> для всех узлов в графе соответственно. Значение <tex>H</tex> является фиксированным и однозначно определяется в предположением о том, что <tex>F</tex> {{---}} это карта сжатия. С учетом теоремы Банаха о неподвижной точке GNN использует следующую классическую итерационную схему для вычисления состояния: <tex>H^{t+1} = F{(H^t,X)}</tex>, где <tex>H^t</tex> обозначает <tex>t</tex>-ую итерацию <tex>H</tex>. Динамическая система из этого уравнения сходится экспоненциально быстро к решению уравнения <tex>H = F{(H,X)}</tex> для любого начального значения <tex>H(0)</tex>. Стоит отметить, что вычисления описанные в <tex>f</tex> и <tex>g</tex>, могут быть интерпретированы как нейронные сети с прямой связью.

<center><tex>loss = \sum_{i=1}^{p}{(t_i-o_i)}</tex></center>

где <tex>p</tex> {{- --}} это число контролируемых узлов. Алгоритм обучения основан на стратегии градиентного спуска и состоит из следующих шагов: