Представление знаний - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:19:54Z

rollbackEdits.php mass rollback

171.25.193.80 в 05:32, 1 сентября 2022

2022-09-01T05:32:03Z

Evaleria: /* Обучение онтологий */

2021-02-08T19:47:21Z

‎Обучение онтологий

Evaleria: /* Онтология */

2021-02-08T19:39:29Z

‎Онтология

5.16.123.227: /* Обработка текста на русском языке */

2021-01-22T19:28:48Z

‎Обработка текста на русском языке

5.16.123.227: /* Обработка текста на русском языке */

2021-01-22T19:17:28Z

‎Обработка текста на русском языке

5.16.123.227: /* Обработка текста на русском языке */

2021-01-22T19:15:41Z

‎Обработка текста на русском языке

5.16.123.227 в 19:11, 22 января 2021

2021-01-22T19:11:12Z

5.16.123.227 в 18:10, 22 января 2021

2021-01-22T18:10:46Z

92.124.206.223: /* Нахождение связей */

2021-01-09T20:13:12Z

‎Нахождение связей

@@ Строка 1: / Строка 1: @@
 '''Представление знаний''' (англ. ''knowledge representation'') — направление в исследованиях искусственного интеллекта, посвящённое представлению информации о мире в форме, которую было бы возможно использовать в компьютерных системах для решения сложных прикладных задач. Таковыми являются, например, диагностирование заболеваний или ведение диалога на естественном языке. Представление знаний включает в себя психологические исследования по решению задач человеком для построения формализмов, которые упростили бы работу со сложными системами.
 Примерами формализмов представления знаний являются семантические сети, архитектуры систем, правила и онтологии.
@@ Строка 102: / Строка 81: @@
 |-
 | style="background:#eaecf0;" | '''Классы (понятия)'''
-| Наборы, коллекции, концепции, классы в программировании, типы объектов или виды вещей.
+| Наборы, коллекции, концепции, классы в программировании, типы объектов или виды вещей.
 | Человек, Число, Звезда.
 |-
@@ Строка 118: / Строка 97: @@
 |-
 | style="background:#eaecf0;" | '''Аксиомы'''
-| Утверждения (включая правила) в логической форме, которые вместе составляют общую теорию, описываемую онтологией в её области применения. Это определение отличается от определения "аксиом" в [[Исчисление_высказываний|формальной логике]]. В ней аксиомы включают только утверждения, утверждаемые как априорное знание. Здесь же "аксиомы" также включают в себя теорию, полученную из аксиоматических утверждений.
+| Утверждения (включая правила) в логической форме, которые вместе составляют общую теорию, описываемую онтологией в её области применения. Это определение отличается от определения "аксиом" в [[Исчисление_высказываний|формальной логике]]. В ней аксиомы включают только утверждения, утверждаемые как априорное знание. Здесь же "аксиомы" также включают в себя теорию, полученную из аксиоматических утверждений.
 | Человек смертен. Сократ {{---}} человек.
 |-

@@ Строка 1: / Строка 1: @@
 '''Представление знаний''' (англ. ''knowledge representation'') — направление в исследованиях искусственного интеллекта, посвящённое представлению информации о мире в форме, которую было бы возможно использовать в компьютерных системах для решения сложных прикладных задач. Таковыми являются, например, диагностирование заболеваний или ведение диалога на естественном языке. Представление знаний включает в себя психологические исследования по решению задач человеком для построения формализмов, которые упростили бы работу со сложными системами.
 Примерами формализмов представления знаний являются семантические сети, архитектуры систем, правила и онтологии.
@@ Строка 81: / Строка 102: @@
 |-
 | style="background:#eaecf0;" | '''Классы (понятия)'''
-| Наборы, коллекции, концепции, классы в программировании, типы объектов или виды вещей.
+| Наборы, коллекции, концепции, классы в программировании, типы объектов или виды вещей.
 | Человек, Число, Звезда.
 |-
@@ Строка 97: / Строка 118: @@
 |-
 | style="background:#eaecf0;" | '''Аксиомы'''
-| Утверждения (включая правила) в логической форме, которые вместе составляют общую теорию, описываемую онтологией в её области применения. Это определение отличается от определения "аксиом" в [[Исчисление_высказываний|формальной логике]]. В ней аксиомы включают только утверждения, утверждаемые как априорное знание. Здесь же "аксиомы" также включают в себя теорию, полученную из аксиоматических утверждений.
+| Утверждения (включая правила) в логической форме, которые вместе составляют общую теорию, описываемую онтологией в её области применения. Это определение отличается от определения "аксиом" в [[Исчисление_высказываний|формальной логике]]. В ней аксиомы включают только утверждения, утверждаемые как априорное знание. Здесь же "аксиомы" также включают в себя теорию, полученную из аксиоматических утверждений.
 | Человек смертен. Сократ {{---}} человек.
 |-

@@ Строка 133: / Строка 133: @@
 [[Файл:Ontology-learning-layer-cake.png|400px|thumb|Рис. 3. Слоеный пирог обучения онтологий]]
-Процесс получения онтологий начинается с вынесения множества терминов из текста и получения их синонимов. Далее они преобразуются во множество концептов. После чего выявляются связи между концептами, и в итоге формируются схемы аксиом и извлекаются аксиомы. Данный процесс называют '''слоеным пирогом обучения онтологии''' (рис. 3).
+Процесс получения онтологий начинается с вынесения множества термов из текста и получения их синонимов. Далее они преобразуются во множество концептов. После чего выявляются связи между концептами, и в итоге формируются схемы аксиом и извлекаются аксиомы. Данный процесс называют '''слоеным пирогом обучения онтологии''' (рис. 3).
 Алгоритмы, используемые в разных слоях при построении онтологии разбивают на 3 основные группы:

@@ Строка 44: / Строка 44: @@
 |definition='''Онтология (в информатике)''' {{---}} формализация знаний, включающая в себя представление, формальное именование и определение категорий, свойств и отношений между понятиями, данными и сущностями некоторой области знаний.
 }}
 ===Формализация===

@@ Строка 242: / Строка 242: @@
 ====Обработка текста на русском языке====
-Чтобы применить онтологию для автоматической обработки текстов, необходимо понятиям онтологии сопоставить набор языковых выражений (слов и словосочетаний), которыми понятия могут выражаться в тексте. Для русского языка, как и для многих других языков содержащие многозначные понятия имеется ряд проблем.
+Чтобы применить онтологию для автоматической обработки текстов, необходимо понятиям онтологии сопоставить набор языковых выражений (слов и словосочетаний), которыми понятия могут выражаться в тексте. Для русского языка, как и для многих других языков, содержащие многозначные понятия, имеется ряд проблем.
-Хоть понятие, и лексическое значение относятся к категориям мышления, при этом между ними есть существенные различия.
+Хоть понятие, лексическое значение относятся к категориям мышления, при этом между ними есть существенные различия.
-Значение включает в себя помимо понятийного содержания (сигнификативно-денотативного компонента значения), такие компоненты как оценочный, стилистический, сочетаемостный.
+Значение включает в себя помимо понятийного содержания (сигнификативно-денотативного<ref>[https://ru.wikipedia.org/wiki/Сигнификат Wikipedia {{---}} Сигнификат]</ref><ref>[https://ru.wikipedia.org/wiki/Денотат Wikipedia {{---}} Денонат]</ref> компонента значения), такие компоненты как оценочный, стилистический, сочетаемостный.
 Также значение включает лишь различительные черты объектов, иногда относительно поверхностные, а понятия охватывают их наиболее глубокие существенные свойства.
 Поэтому описать значения многих слов как совокупности общих и одновременно существенных признаков может быть очень трудно.
@@ Строка 258: / Строка 258: @@
 * Существования значительных рядов синонимов, отличающихся оттенками значений, что затрудняет разбиение таких рядов на совокупность взаимосвязанных понятийных единиц. Например, сколько понятий онтологии оптимально (и на основе каких принципов) сопоставить следующему ряду слов со значением ''ОШИБКА'': ''ошибка, погрешность, недосмотр, просмотр, ляп, промах, оплошность, осечка, прокол, упущение, недочет'', а также'' ослышка, описка, опечатка, оговорка''. Таким словам обычно трудно найти точные слова-соответствия в других языках, то есть слова, имеющие такой же оттенок значения и такие же особенности употребления.
-Несмотря на описанные проблемы, разработка моделей представления знаний о мире и о языке в рамках онтологий имеет смысл. Так например появился РуТез<ref>[https://www.labinform.ru/pub/ruthes/ О лингвистической онтологии "Тезаурус РуТез"]</ref> - онтология для автоматической обработки текста на русском языке, которая представила свое решение<ref>[https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.671.6887&rep=rep1&type=pdf RuThes Linguistic Ontology vs. Russian Wordnets]</ref> для данных проблем.
+Несмотря на описанные проблемы, разработка моделей представления знаний о мире и о языке в рамках онтологий имеет смысл. Так например появился РуТез<ref>[https://www.labinform.ru/pub/ruthes/ О лингвистической онтологии "Тезаурус РуТез"]</ref> — онтология для автоматической обработки текста на русском языке, которая представила свое решение<ref>[https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.671.6887&rep=rep1&type=pdf RuThes Linguistic Ontology vs. Russian Wordnets]</ref> для данных проблем.
 ==См. также==

@@ Строка 227: / Строка 227: @@
 Лингвистическая онтология является одним из ключевых элементов в системе обработки текста и ее построение необходимо для решения задачи.
-Как описано выше для построения современных онтологий всегда является актуальным извлечение термов и концептов, в данном случае семантически связанных слов из текста на естественном языке.
+Как описано выше — для построения современных онтологий всегда является актуальным извлечение термов и концептов, в данном случае семантически связанных слов из текста на естественном языке.
 Однако общим недостатком таких онтологий является отсутствие специализированных терминов, специфичных для данной предметной области. В следствие этого появляется проблема дополнения существующей онтологии, а именно семантической сети узлами и связями из внешних источников. И так как имеется множество публичных ресурсов для дополнения новых узлов и связей, то выделяют следующие задачи:
-* Автоматизированный поиск новых узлов, связанных семантическими отношениями
+* Автоматизированный поиск новых узлов, связанных семантическими отношениями.
-* Добавление новых узлов и связей в онтологию при обнаружении сущностей, признаки которых удовлетворяют заданным критериям
+* Добавление новых узлов и связей в онтологию при обнаружении сущностей, признаки которых удовлетворяют заданным критериям.
 Для решения данных задач существует множество способов анализа текстовой информации для извлечения из нее семантических отношений:
-* Методы извлечения связей, основанные на шаблонах такие как "Top down" и "Bottom up"<ref>[https://www.math.spbu.ru/user/tseytin/butdu.html Bottom-up and Top-down Approaches to Text Analysis]</ref>
+* Методы извлечения связей, основанные на шаблонах такие как "Top down" и "Bottom up"<ref>[https://www.math.spbu.ru/user/tseytin/butdu.html Bottom-up and Top-down Approaches to Text Analysis]</ref>.
-* Группа методов, основанная на форматировании или на DOM<ref>[https://ru.wikipedia.org/wiki/Document_Object_Model Wikipedia {{---}} Document Object Model]</ref>
+* Группа методов, основанная на форматировании или на DOM<ref>[https://ru.wikipedia.org/wiki/Document_Object_Model Wikipedia {{---}} Document Object Model]</ref>.
-* Методы, основанные на машинном обучении. Одним из самых явных примеров реализации является [http://neerc.ifmo.ru/wiki/index.php?title=Векторное_представление_слов#word2vec word2vec], основанный на нейронных сетях.
+* Методы, основанные на машинном обучении. Одним из самых явных примеров реализации является [[:Векторное_представление_слов#word2vec|word2vec]], основанный на нейронных сетях.
 Последняя группа методов является наиболее современной и показывает наилучшую точность, но не позволяет достичь приемлимой точности и полноты в общем случае, так как данные методы используются для конкретной предметной области. Таким образом поиск наиболее подходящих признаков для обучения нейронных сетей необходим для применения лингвистической онтологии в данной задаче.
 ==См. также==

← Предыдущая		Версия 18:10, 22 января 2021
Строка 220:		Строка 220:

	Эта оценка использует источники знаний конкретной области, чтобы определить степень покрытия этой области обучаемой онтологией. Главным преимуществом данной оценки является возможность сравнивать одну или несколько целевых онтологий с конкретными данными. Однако возникает проблема нахождения подходящего источника знаний (как и в оценке золотым стандартом).		Эта оценка использует источники знаний конкретной области, чтобы определить степень покрытия этой области обучаемой онтологией. Главным преимуществом данной оценки является возможность сравнивать одну или несколько целевых онтологий с конкретными данными. Однако возникает проблема нахождения подходящего источника знаний (как и в оценке золотым стандартом).
		+
		+	==Особенности применения онтологии для конкретных задач==
		+
		+	===Cистема автоматической обработки текста===
		+
		+	Лингвистическая онтология является одним из ключевых элементов в системе обработки текста и ее построение необходимо для решения задачи.
		+
		+	Как описано выше для построения современных онтологий всегда является актуальным извлечение термов и концептов, в данном случае семантически связанных слов из текста на естественном языке.
		+	Однако общим недостатком таких онтологий является отсутствие специализированных терминов, специфичных для данной предметной области. В следствие этого появляется проблема дополнения существующей онтологии, а именно семантической сети узлами и связями из внешних источников. И так как имеется множество публичных ресурсов для дополнения новых узлов и связей, то выделяют следующие задачи:
		+
		+	* Автоматизированный поиск новых узлов, связанных семантическими отношениями
		+	* Добавление новых узлов и связей в онтологию при обнаружении сущностей, признаки которых удовлетворяют заданным критериям
		+
		+	Для решения данных задач существует множество способов анализа текстовой информации для извлечения из нее семантических отношений:
		+	* Методы извлечения связей, основанные на шаблонах такие как "Top down" и "Bottom up"<ref>[https://www.math.spbu.ru/user/tseytin/butdu.html Bottom-up and Top-down Approaches to Text Analysis]</ref>
		+	* Группа методов, основанная на форматировании или на DOM<ref>[https://ru.wikipedia.org/wiki/Document_Object_Model Wikipedia {{---}} Document Object Model]</ref>
		+	* Методы, основанные на машинном обучении. Одним из самых явных примеров реализации является [http://neerc.ifmo.ru/wiki/index.php?title=Векторное_представление_слов#word2vec word2vec], основанный на нейронных сетях.
		+
		+	Последняя группа методов является наиболее современной и показывает наилучшую точность, но не позволяет достичь приемлимой точности и полноты в общем случае, так как данные методы используются для конкретной предметной области. Таким образом поиск наиболее подходящих признаков для обучения нейронных сетей необходим для применения лингвистической онтологии в данной задаче.

	==См. также==		==См. также==

@@ Строка 184: / Строка 184: @@
 Статистические методы также используют для выявления связей. Распространёнными техниками являются:
-* Категоризация термов (англ. ''Term subsumption'') находит связи между термами при помощи [[:Условная_вероятность|условной вероятности]]. Этот алгоритм ищет термы, являющиеся наиболее общими. Терм <math>t</math> считается более общим, чем терм <math>x</math> если <math>P(t|x) > P(x|t)</math>, где <math>P(t|x)</math> обозначает вероятность встречи терма <math>t</math> при наличии терма <math>x</math>.
+* Категоризация термов (англ. ''Term subsumption'') находит связи между термами при помощи [[:Условная_вероятность|условной вероятности]]. Этот алгоритм ищет термы, являющиеся наиболее общими. Терм <math>t</math> считается более общим, чем терм <math>x</math> если <math>P(t \; | \; x) > P(x \; | \; t)</math>, где <math>P(t \; | \; x)</math> обозначает вероятность встречи терма <math>t</math> при наличии терма <math>x</math>.
 * Анализ формальных понятий (англ. ''Formal Concept Analysis, FCA'')<ref>[https://wikipedia.org/wiki/Formal_concept_analysis#:~:text=Formal%20concept%20analysis%20(FCA)%20is,of%20objects%20and%20their%20properties. Wikipedia {{---}} Formal concept analysis]</ref> основан на том, что объекты могут иметь схожие атрибуты. Алгоритм на вход принимает матрицу связей объектов и атрибутов и находит в ней все естественные кластеры, что позволяет построить иерархию концептов и атрибутов.