http://neerc.ifmo.ru/wiki/api.php?action=feedcontributions&feedformat=atom&user=188.170.76.75&* 2026-04-15T19:27:17Z Вклад участника MediaWiki 1.30.0 http://neerc.ifmo.ru/wiki/index.php?title=%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0&diff=79701 2021-01-21T17:14:28Z

<p>188.170.76.75: </p> <hr /> <div>== Задача генерации текста ==<br /> <br /> Одной из методик машинного обучения являются предиктивные модели, предсказывающие значения своих будущих входов. Такие модели являются мощным средством машинного обучения языку. Они должны уметь предсказывать,<br /> как можно продолжить текущий отрывок текста, а в конечном итоге — уметь генерировать связный осмысленный текст.<br /> <br /> ''' Задача генерации текста ''' включает в себя задачу [http://neerc.ifmo.ru/wiki/index.php?title=Обработка_естественного_языка обработки естественного языка] (Natural Language Processing, NLP) и реализует возможность языковой модели отвечать на вопросы, на основе исходного текста предсказывать последующее слово и генерировать осмысленный текст.<br /> <br /> == История создания языковых моделей ==<br /> Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть [https://en.wikipedia.org/wiki/BERT_(language_model) BERT(Bidirectional Encoder Representations from Transformers)], получившую статус state-of-the-art — высшую точку развития технологии на тот момент.<br /> <br /> Алгоритм GPT первого поколения был обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.<br /> <br /> == GPT-2 ==<br /> <br /> '''GPT-2 (Generative Pre-trained Transformer 2)''' — это огромная языковая модель, созданная компанией [https://openai.com/ OpenAI]. Модель основана на архитектуре [https://ru.wikipedia.org/wiki/Трансформер_(модель_машинного_обучения) Transformer], с 1.5 млрд параметров, обученная на [https://openai.com/blog/better-language-models/#fn1 датасете], состоящем из 8 млн специально отобранных веб-страниц.<br /> <br /> ==== Что умеет GPT-2 ====<br /> Изначально нейросеть обучали предсказывать следующее слово в предложении. Помимо основной задачи модель качественно генерирует образцы текста из-за использования трансформерной архитектуры и обучения на большом датасете. Таким образом, GPT-2 - не просто языковая модель, а мощный генератор текстов.<br /> ===== Что еще умеет? =====<br /> #Краткий пересказ текста или обобщение. В качестве входных данных нужно подать не просто фрагмент, а целый текст, а модель выдаст краткое содержание рассказа.<br /> #Ответы на вопросы исходя из содержания текста. На входе подается несколько примеров в виде «Вопрос-Ответ», в конце же дается реальный вопрос, на который нейросеть выдает по тому же макету ответ.<br /> #Перевод текстов. Механизм работы с переводами похож на механизм работы с ответами на вопросы: на вход подается примеры в виде «Слово-Перевод», в конце подается только слово, а нейросеть выдает перевод.<br /> <br /> ==== Особенность GPT-2 ====<br /> Главной особенностью GPT-2 является то, что нейросеть не нужно дообучать под конкретную задачу, чтобы та показывала нужные пользователю результаты. Нейросеть ​​приспосабливается к стилю и содержанию текста, что позволяет ей генерировать реалистичные отрывки, продолжающие исходные фразы. Сразу после обучения нейросеть уже готова сгенерировать текст со всеми логическими вставками: повторное упоминание имен героев, цитаты, отсылки, выдержка одного стиля на протяжении всего текста, связанное повествование.<br /> <br /> ==== Исходный код ====<br /> OpenAI отказались выкладывать полную версию GPT-2, так как посчитали, что ей будут пользоваться для генерации фейковых новостей. В сети доступна [https://github.com/openai/gpt-2 версия GPT-2 с уменьшенным количеством параметров] (до 117 млн параметров, вместо 1.5 млрд, как в полной модели).<br /> <br /> == GPT-3 ==<br /> <br /> '''GPT-3 (Generative Pre-trained Transformer 3)''' — третье поколение языковой модели от OpenAI. GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд. Для обучения алгоритма исследователи собрали датасет, состоящий из английской Википедии, которая охватывает около 6 миллионов статей, составляет всего 0,6 процента ее обучающих данных. Остальное - оцифрованные книги и различные веб-страницы. Это означает, что обучающие данные GPT-3 включают в себя не только новостные статьи, рецепты и стихи, но и руководства по кодированию, фанфики, религиозные пророчества, путеводители по певчим птицам Боливии и все остальное, что только можно представить.<br /> ==== Алгоритм работы ====<br /> [[Медиа:https://habrastorage.org/webt/32/w2/bu/32w2bu4fmycoja-kapw6juep9oa.gif]]<br /> <br /> ==См. также==<br /> *[[Обработка естественного языка]]<br /> *[[Поиск архитектуры нейронной сети]]<br /> <br /> == Примечания ==<br /> &lt;references/&gt;<br /> <br /> == Источники ==<br /> <br /> * [https://openai.com/blog/better-language-models/ OpenAI article]<br /> * [https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Language Models are Unsupervised Multitask Learners]<br /> * [https://tjournal.ru/tech/195331-neyroset-gpt-3-ot-openai-pishet-stihi-muzyku-i-kod-pochemu-ona-poka-daleka-ot-nastoyashchego-ii-no-sposobna-pomenyat-mir Neural network GPT-3]<br /> * [https://ru.wikipedia.org/wiki/GPT-3 GPT-3 Wikipedia article]<br /> * [https://habr.com/ru/post/514698/ Brief GPT-3 review]<br /> <br /> [[Категория: Машинное обучение]]</div>

188.170.76.75 http://neerc.ifmo.ru/wiki/index.php?title=%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0&diff=79675 2021-01-21T16:29:59Z

<p>188.170.76.75: Новая страница: «== Задача генерации текста == Одной из методик машинного обучения являются предиктивные…»</p> <hr /> <div>== Задача генерации текста ==<br /> <br /> Одной из методик машинного обучения являются предиктивные модели, предсказывающие значения своих будущих входов. Такие модели являются мощным средством машинного обучения языку. Они должны уметь предсказывать,<br /> как можно продолжить текущий отрывок текста, а в конечном итоге — уметь генерировать связный осмысленный текст.<br /> <br /> ''' Задача генерации текста ''' включает в себя задачу [http://neerc.ifmo.ru/wiki/index.php?title=Обработка_естественного_языка обработки естественного языка] (Natural Language Processing, NLP) и реализует возможность языковой модели отвечать на вопросы, на основе исходного текста предсказывать последующее слово и генерировать осмысленный текст.<br /> <br /> == История создания языковых моделей ==<br /> Первый алгоритм генерации текста GPT (Generative Pre-trained Transformer) выпустили в 2018 году. Его обучали на 117 миллионах параметров, что в те времена считалось хорошим показателем. На основе этой разработки, в конце 2018 года компания Google выпустила двунаправленную нейросеть [https://en.wikipedia.org/wiki/BERT_(language_model) BERT(Bidirectional Encoder Representations from Transformers)], получившую статус state-of-the-art — высшую точку развития технологии на тот момент.<br /> <br /> Алгоритм GPT первого поколения был обучен на выборке массивов текстов из Wikipedia и из литературных произведений. Позже создатели поняли, что это не самый оптимальный тип данных для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT второго поколения на данных, собранных с обычных форумов {{---}} выборка пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.<br /> <br /> == GPT-2 ==<br /> <br /> '''GPT-2 (Generative Pre-trained Transformer 2)''' — это огромная языковая модель, созданная компанией [https://openai.com/ OpenAI]. Модель основана на архитектуре [https://ru.wikipedia.org/wiki/Трансформер_(модель_машинного_обучения) Transformer], с 1.5 млрд параметров, обученная на [https://openai.com/blog/better-language-models/#fn1 датасете], состоящем из 8 млн специально отобранных веб-страниц.<br /> <br /> ==== Что умеет GPT-2 ====<br /> Изначально нейросеть обучали предсказывать следующее слово в предложении. Помимо основной задачи модель качественно генерирует образцы текста из-за использования трансформерной архитектуры и обучения на большом датасете. Таким образом, GPT-2 - не просто языковая модель, а мощный генератор текстов.<br /> ===== Что еще умеет? =====<br /> #Краткий пересказ текста или обобщение. В качестве входных данных нужно подать не просто фрагмент, а целый текст, а модель выдаст краткое содержание рассказа.<br /> #Ответы на вопросы исходя из содержания текста. На входе подается несколько примеров в виде «Вопрос-Ответ», в конце же дается реальный вопрос, на который нейросеть выдает по тому же макету ответ.<br /> #Перевод текстов. Механизм работы с переводами похож на механизм работы с ответами на вопросы: на вход подается примеры в виде «Слово-Перевод», в конце подается только слово, а нейросеть выдает перевод.<br /> <br /> <br /> ==== Особенность GPT-2 ====<br /> Главной особенностью GPT-2 является то, что нейросеть не нужно дообучать под конкретную задачу, чтобы та показывала нужные пользователю результаты. Нейросеть ​​приспосабливается к стилю и содержанию текста, что позволяет ей генерировать реалистичные отрывки, продолжающие исходные фразы. Сразу после обучения нейросеть уже готова сгенерировать текст со всеми логическими вставками: повторное упоминание имен героев, цитаты, отсылки, выдержка одного стиля на протяжении всего текста, связанное повествование.<br /> <br /> <br /> ==== Исходный код ====<br /> OpenAI отказались выкладывать полную версию GPT-2, так как посчитали, что ей будут пользоваться для генерации фейковых новостей. В сети доступна [https://github.com/openai/gpt-2 версия GPT-2 с уменьшенным количеством параметров] (до 117 млн параметров, вместо 1.5 млрд, как в полной модели).<br /> <br /> <br /> == GPT-3 ==<br /> <br /> '''GPT-3 (Generative Pre-trained Transformer 3)''' — третье поколение языковой модели от OpenAI. GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. GPT-3 генерирует текст на основе 175 миллиардов параметров<br /> <br /> ==См. также==<br /> *[[Обработка естественного языка]]<br /> *[[Поиск архитектуры нейронной сети]]<br /> <br /> == Примечания ==<br /> <br /> == Источники ==<br /> <br /> * [https://openai.com/blog/better-language-models/ OpenAI article]<br /> * [https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Language Models are Unsupervised Multitask Learners]<br /> * [https://tjournal.ru/tech/195331-neyroset-gpt-3-ot-openai-pishet-stihi-muzyku-i-kod-pochemu-ona-poka-daleka-ot-nastoyashchego-ii-no-sposobna-pomenyat-mir Neural network GPT-3]<br /> * [https://ru.wikipedia.org/wiki/GPT-3 GPT-3 Wikipedia article]<br /> * [https://habr.com/ru/post/514698/ Brief GPT-3 review]<br /> <br /> [[Категория: Машинное обучение]]</div>

188.170.76.75