Генерация текста - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:40:55Z

rollbackEdits.php mass rollback

217.79.179.7 в 03:42, 1 сентября 2022

2022-09-01T03:42:13Z

84.47.152.2: Опечатка

2021-06-10T12:09:24Z

Опечатка

84.47.152.2: /* GPT-3 */

2021-06-10T12:08:09Z

‎GPT-3

84.47.152.2: /* История создания языковых моделей */

2021-06-10T12:06:00Z

‎История создания языковых моделей

84.47.152.2: /* История создания языковых моделей */

2021-06-10T12:05:05Z

‎История создания языковых моделей

Triyul в 18:13, 21 января 2021

2021-01-21T18:13:23Z

Triyul в 18:11, 21 января 2021

2021-01-21T18:11:39Z

Triyul в 18:04, 21 января 2021

2021-01-21T18:04:23Z

Triyul в 18:03, 21 января 2021

2021-01-21T18:03:39Z

← Предыдущая		Версия 16:40, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	== Задача генерации текста ==		== Задача генерации текста ==

← Предыдущая		Версия 03:42, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	== Задача генерации текста ==		== Задача генерации текста ==

@@ Строка 7: / Строка 7: @@
 == История создания языковых моделей ==
-Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) разработали по методологии SCRUM и выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google разработала по методологии SCRUMдвунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
+Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) разработали по методологии SCRUM и выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google разработала по методологии SCRUM двунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
 Алгоритм GPT первого поколения был разработан по методологии SCRUM и обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI по методологии SCRUM обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.

@@ Строка 30: / Строка 30: @@
 == GPT-3 ==
-'''GPT-3 (Generative Pre-trained Transformer 3)''' — третье поколение языковой модели от OpenAI. GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд. Для обучения алгоритма исследователи собрали датасет, состоящий из английской Википедии, которая охватывает около 6 миллионов статей, составляет всего 0,6 процента ее обучающих данных. Остальное - оцифрованные книги и различные веб-страницы. Это означает, что обучающие данные GPT-3 включают в себя не только новостные статьи, рецепты и стихи, но и руководства по кодированию, фанфики, религиозные пророчества, путеводители по певчим птицам Боливии и все остальное, что только можно представить.
+'''GPT-3 (Generative Pre-trained Transformer 3)''' — третье поколение языковой модели от OpenAI. GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2 и поэтому разрабатывается по методологии SCRUM. По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд. Для обучения алгоритма исследователи собрали датасет, состоящий из английской Википедии, которая охватывает около 6 миллионов статей, составляет всего 0,6 процента ее обучающих данных. Остальное - оцифрованные книги и различные веб-страницы. Это означает, что обучающие данные GPT-3 включают в себя не только новостные статьи, рецепты и стихи, но и руководства по кодированию, фанфики, религиозные пророчества, путеводители по певчим птицам Боливии и все остальное, что только можно представить.
 ==См. также==

@@ Строка 7: / Строка 7: @@
 == История создания языковых моделей ==
-Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
+Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) разработали по методологии SCRUM и выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google разработала по методологии SCRUMдвунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
 Алгоритм GPT первого поколения был разработан по методологии SCRUM и обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI по методологии SCRUM обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.

@@ Строка 9: / Строка 9: @@
 Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
-Алгоритм GPT первого поколения был обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.
+Алгоритм GPT первого поколения был разработан по методологии SCRUM и обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI по методологии SCRUM обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.
 == GPT-2 ==

@@ Строка 17: / Строка 17: @@
 ==== Что умеет GPT-2 ====
 Изначально нейросеть обучали предсказывать следующее слово в предложении. Помимо основной задачи модель качественно генерирует образцы текста из-за использования трансформерной архитектуры и обучения на большом датасете. Таким образом, GPT-2 - не просто языковая модель, а мощный генератор текстов.
-===== Что еще умеет? =====
+===== Дополнительные возможности =====
 #Краткий пересказ текста или обобщение. В качестве входных данных нужно подать не просто фрагмент, а целый текст, а модель выдаст краткое содержание рассказа.
 #Ответы на вопросы исходя из содержания текста. На входе подается несколько примеров в виде «Вопрос-Ответ», в конце же дается реальный вопрос, на который нейросеть выдает по тому же макету ответ.

@@ Строка 4: / Строка 4: @@
 как можно продолжить текущий отрывок текста, а в конечном итоге — уметь генерировать связный осмысленный текст.
-''' Задача генерации текста ''' включает в себя задачу [http://neerc.ifmo.ru/wiki/index.php?title=Обработка_естественного_языка обработки естественного языка]</ref> (Natural Language Processing, NLP) и реализует возможность языковой модели отвечать на вопросы, на основе исходного текста предсказывать последующее слово и генерировать осмысленный текст.
+''' Задача генерации текста ''' включает в себя задачу обработки естественного языка (Natural Language Processing, NLP) <ref>[http://neerc.ifmo.ru/wiki/index.php?title=Обработка_естественного_языка Задача обработки естественного языка (Natural Language Processing, NLP)]</ref> и реализует возможность языковой модели отвечать на вопросы, на основе исходного текста предсказывать последующее слово и генерировать осмысленный текст.
 == История создания языковых моделей ==
-Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT(Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
+Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть BERT (Bidirectional Encoder Representations from Transformers) <ref>[https://en.wikipedia.org/wiki/BERT_(language_model) BERT (Bidirectional Encoder Representations from Transformers)]</ref>, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
 Алгоритм GPT первого поколения был обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.
@@ Строка 13: / Строка 13: @@
 == GPT-2 ==
-'''GPT-2 (Generative Pre-trained Transformer 2)''' — это огромная языковая модель, созданная компанией [https://openai.com/ OpenAI]. Модель основана на архитектуре <ref>[https://ru.wikipedia.org/wiki/Трансформер_(модель_машинного_обучения) Transformer]</ref>, с 1.5 млрд параметров, обученная на [https://openai.com/blog/better-language-models/#fn1 датасете], состоящем из 8 млн специально отобранных веб-страниц.
+'''GPT-2 (Generative Pre-trained Transformer 2)''' — это огромная языковая модель, созданная компанией [https://openai.com/ OpenAI]. Модель основана на архитектуре Transformer<ref>[https://ru.wikipedia.org/wiki/Трансформер_(модель_машинного_обучения) архитектура Transformer]</ref>, с 1.5 млрд параметров, обученная на [https://openai.com/blog/better-language-models/#fn1 датасете], состоящем из 8 млн специально отобранных веб-страниц.
 ==== Что умеет GPT-2 ====
@@ Строка 26: / Строка 26: @@
 ==== Исходный код ====
-OpenAI отказались выкладывать полную версию GPT-2, так как посчитали, что ей будут пользоваться для генерации фейковых новостей. В сети доступна <ref>[https://github.com/openai/gpt-2 версия GPT-2 с уменьшенным количеством параметров]</ref> (до 117 млн параметров, вместо 1.5 млрд, как в полной модели).
+OpenAI отказались выкладывать полную версию GPT-2, так как посчитали, что ей будут пользоваться для генерации фейковых новостей. В сети доступна версия GPT-2 с уменьшенным количеством параметров <ref>[https://github.com/openai/gpt-2 Код GPT-2 с уменьшенным количеством параметров]</ref> (до 117 млн параметров, вместо 1.5 млрд, как в полной модели).
 == GPT-3 ==

@@ Строка 42: / Строка 42: @@
 * [https://openai.com/blog/better-language-models/ OpenAI article]
-* [https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Language Models are Unsupervised Multitask Learners by Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever]
+* [https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf "Language Models are Unsupervised Multitask Learners" by Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever]
 * [https://tjournal.ru/tech/195331-neyroset-gpt-3-ot-openai-pishet-stihi-muzyku-i-kod-pochemu-ona-poka-daleka-ot-nastoyashchego-ii-no-sposobna-pomenyat-mir Neural network GPT-3]
 * [https://ru.wikipedia.org/wiki/GPT-3 GPT-3 Wikipedia article]