Изменения

{{Определение|definition='''Синтетические данные''' — это «производные» программно сгенерированные данные, применимые используемые в бизнес-приложениях (в том числе в конкретной машинном обучении).}} Нередко возникают ситуации, которые не были получены путём прямого сбора и измерений<ref name="mcgrawhilldict">McGraw когда получение реальных бизнес- Hill dictionary of scientific and technical terms / Под ред. Sybil P. Parker. - 3-е изд. - New York: McGraw процессов сложно или дорого, но при этом известны требования к таким бизнес- Hill book co.процессам, 1984</ref>правила создания и законы распределения. В то же времяКак правило, «производные данные» (согласно второму словарю) -- это постоянно-хранимая информацияпроисходит, когда речь идёт о чувствительных персональных данных — например, которую используют специалисты в своей повседневной работеинформации о банковских счетах или медицинской информации. В таких случаях необходимые наборы данных можно [[Генерация объектов|программно сгенерировать]].

В случае, когда реальные данные отсутствуютили их сбор невозможен (из-за большой длительности или дороговизны процесса), наборы генерируются полностью случайным образом на основе некой статистической модели, которая учитывает законы распределения реальных данных. Однако, такой подход не всегда оправдывает себя из-за того, что синтетические данные могут не учитывать весь спектр возможных случаев , и полученная с помощью такого набора модель может давать непредсказуемые результаты в крайних случаях. Также применяется [[wikipedia:Data_augmentation|аугментация]] (переформулироватьангл. augmentation)— генерация наборов на основе имеющихся бизнес-процессов. К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворот, добавление шума и иные. Для числовых данных могут использоваться такие искажения, как добавление объектов с усреднёнными значениями, смешивание с объектами из другого распределения, добавление случайных выбросов. Преимущества использования синтетических данных: * Возможность генерации наборов данных практически любого размера. * Известность параметров генерации, а значит, и генеральной совокупности: можно сравнить оценки модели и истинные параметры, и исходя из этого судить о качестве полученных выборочных оценок параметров. * Ускорение и удешевление процесса разработки: не нужно ждать, пока будет собран и размечен достаточный объём реальных данных. * Повышение доступности больших объёмов данных.

Также применяется [[wikipedia:Data_augmentation|аугментация]] — генерация наборов на основе имеющихся реальных данных. К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворотВ то же время, добавление шума и иные; для числовых у синтетических данных -- добавление объектов с усреднёнными значениями, смешивание с объектами из другого распределения, добавление случайных выбросов, есть и прочие.недостатки:

* Взять что-то из [[wikipedia:Oversampling_and_undersampling_in_data_analysis]]Отсутствие универсальных метрик качества и применимости генерируемых данных. * Можно картинку из httpsИзлишняя «стерильность» получаемых данных:в общем случае неизвестно, какими могут быть выбросы в реальных данных<ref>Если выбросы известны, то проблема может быть решена путём настройки параметров генератора.<//habrref>.com/ru/company/smartengines/blog/264677/

Нередко возникают ситуацииСгенерированные объекты можно использовать в [[Общие понятия#Классификация задач машинного обучения|задаче обучения с учителем]] для расширения обучающего множества, сведя её к задачам [[Обучение с частичным привлечением учителя|частичного обучения]] и [[Обучение с частичным привлечением учителя#Самообучение (Self Training)|самообучения]]. Довольно распространённым подходом является обучение сначала на большом наборе синтетических данных, когда получение а затем дообучение на небольшом наборе имеющихся реальных данных сложно или дорого. Иногда при обучении реальные данные не используются вовсе. При этом в тестовых множествах использовать синтетические наборы данных нельзя: в них должны быть только реальные объекты. Синтетические данные используют не только при недоступности реальных, но и для того, чтобы изменить распределение классов в уже имеющихся данных, дополнив их по [[Алгоритмы сэмплирования|определённому алгоритму]]<ref name="wiki:oversampling">Oversampling and undersampling in data analysis — https://en.wikipedia.org/wiki/Oversampling_and_undersampling_in_data_analysis — Retrieved January 11, 2021</ref>.  Синтетические данные активно используются при этом известны требования обучении алгоритмов управления [[wikipedia:Self-driving car|автономным транспортом]]. Эти алгоритмы решают две задачи: сначала [[Обнаружение и обработка дорожных знаков и пешеходов|выявляют окружающие объекты]] — машины, дорожные знаки, пешеходов, а затем принимают решение о направлении и скорости дальнейшего движения. При реализации таких алгоритмов наиболее важно поведение транспортного средства в критических ситуациях, таких как помехи на дороге или некорректные показания сенсоров — от этого могут зависеть жизни людей. В реальных данных же, наоборот, в основном присутствуют штатные ситуации. Одно из самых наглядных применений аугментации данных — алгоритмы восстановления изображений. Для работы таких алгоритмов исходный набор изображений расширяется их копиями, к которым применяются некие преобразования из фиксированного набора. На основе полученных изображений генерируется набор, в котором входными данными считаются полученные изображения, а целевыми — исходные. В самом деле, получить реальные данные для такой задачи — фотографию и её же искажённую копию — довольно затруднительно, а применение таких преобразований довольно легко автоматизируется. Таким образом, если исходные изображения достаточно хорошо описывали источник данных, то полученный набор данных можно применять для обучения алгоритма восстановления изображений, устраняющего применённые преобразования. Также с помощью синтетических наборов данных можно упростить обучение алгоритмов [[Компьютерное зрение|компьютерного зрения]], решающих задачи [[Сегментация изображений|семантической сегментации]], [[Компьютерное зрение#Идентификация|поиска]] и [[Компьютерное зрение#Распознавание объектов|локализации]] объектов. В данном случае подходят наборы, в которых искомые объекты определённым образом наносятся на фоновое изображение. В частности, таким объектамобъектом может быть текст — тогда с помощью полученного набора может быть решена задача [[Распознавание текста на изображении|распознавания текста на изображении]]. Синтетические данные используются и для создания алгоритмов [[Реидентификация|реидентификации]]^{[на 25.01.21 не создан]} — определения, действительно ли на двух изображениях один и тот же человек. Эти алгоритмы могут использоваться для нахождения людей на записях с камер, на пограничных пунктах и так далее. В этом случае реальные данные собрать довольно сложно, потому что требуется найти много фотографий одних и тех же людей в разных позах, правила их с разных ракурсов и в разной одежде. При генерации и законы распределениясинтетических наборов данных необходимо учитывать специфику каждого конкретного случая, общего алгоритма, подходящего для всех случаев не существует. Как правило, это происходитобщие алгоритмы наподобие добавления средних значений оказываются нерепрезентативными. == Примеры == [[Файл:TextSharpener-Identity.png|200px|thumb|right|Рисунок 1. Пример работы TextSharpener. Слева направо: размытое изображение, исходное изображение, результат работы алгоритма<ref name="TextSharpener">Unblurring images of text with convolutional neural networks — https://gardarandri.github.io/TextSharpener/ — Retrieved January 8, 2021</ref>.]] === TextSharpener === Алгоритм TextSharpener<ref name="TextSharpener"/>, когда речь идёт о чувствительных персональных разработанный по методологии SCRUM в Университете Исландии и основанный на [[Сверточные нейронные сети|свёрточной нейронной сети]], позволяет убирать размытие текста на изображениях (см. рисунок 1). Для подготовки набора данных , который подошёл для обучения такого алгоритма, хватило [https://github.com/gardarandri/TextSharpener/blob/master/generator/GenImages.py тривиального скрипта] на Python, генерирующего случайные прямоугольники и надписи на них, а затем размывавшего их, с помощью библиотеки PIL<ref name="PIL">Pillow — Pillow (PIL Fork) 8.1.0 Documentation — https://pillow.readthedocs.io/en/stable/ — напримерRetrieved January 25, 2021</ref>. [[Файл:Jefferson_Graham_on_Manhattan_Beach_Pier.jpeg|200px|thumb|left|Рисунок 2. Фотография, информации о банковских счетахсделанная широкоугольной камерой<ref>https://commons.wikimedia.org/wiki/File:Jefferson_Graham_on_Manhattan_Beach_Pier. В таких случаях необходимые наборы данных можно программно сгенерироватьjpg — Retrieved January 24, 2021</ref>.]] === OmniSCV ===

Сгенерированные объекты можно использовать в задаче обучения Нередко различные устройства оснащаются широкоугольными и панорамными камерами с углом обзора до 360°. Изображения, получаемые с учителем таких камер, обладают довольно сильными искажениями (см. рисунок 2).Генератор изображений комнат OmniSCV<ref name="OmniSCV">OmniSCV — https://www.mdpi.com/1424-8220/20/7/2066/htm — Retrieved January 11, 2021</ref> используется при разработке роботов для расширения обучающего множества, сведя её к задачам частичного обучения алгоритмов [[Компьютерное зрение|компьютерного зрения]] для устранения искажений широкоугольных объективов и самообучения. В тестовых множествах использовать синтетические наборы данных нельзя: в них должны быть только реальные объектынеидеальных условий освещённости.

При генерации синтетических наборов данных необходимо учитывать специфику каждого конкретного случаяГенератор умеет симулировать различные варианты бизнес-процессов — [[wikipedia:Equirectangular projection|равноугольные]] и [[wikipedia:Cylindrical perspective|цилиндрические]] панорамы, общего универсального способа генерации данных не существует[[wikipedia:Fisheye lens|«рыбьи глаза»]] и [[wikipedia:Catadioptric system|катадиоптрические системы]], а также сопровождать сгенерированные изображения комнат вспомогательной информацией об окружающем пространстве и параметрах используемой камеры (см. рисунок 3).

(Этот параграф как-то надо связать со вторым примером, который TextSharpener)Одно из самых наглядных применений аугментации Изображения этого набора данных генерируются с помощью графического движка Unreal Engine 4<ref name="ue">EpicGames. Unreal Engine 4 Documentation. — https://docs.unrealengine.com/en-- создание искажённых изображений для последующего обучения алгоритмов восстановления изображенийUS/index. Исходный набор изображений расширяется их копиямиhtml — Retrieved January 21, к которым были применены преобразования из какого-то фиксированного набора фильтров 2021</ref> и преобразований (таких как поворотплагина UnrealCV<ref name="uecv">UnrealCV — https://unrealcv.org/ — Retrieved January 24, размытие2021</ref>. Каждое преобразование задаётся несложной функцией, зашумление связывающей координаты плоскости исходного изображения и т.длуча, исходящего из окружающей среды.) и на основе этих изображений генерируется датасетНапример, в котором входными данными считаются полученные изображениядля равноугольной проекции удобнее всего использовать [[wikipedia:Spherical coordinate system|сферические координаты]]: <tex>(\theta, а целевыми \phi) = ((\frac{2x}{x_{max}}-1)\pi, (1/2 - исходные изображения.В самом деле\frac{y}{y_{max}})\pi)</tex>, генерация такого датасета вручную сопряжена с определёнными трудностями где <tex>(получить фотографию и её же нечёткую копию достаточно затруднительноx, y)</tex> — координаты пикселя, а применение преобразований к чётким фотографиям можно автоматизировать.Тогда<tex>(x_{max}, если исходные y_{max})</tex> — разрешение изображения достаточно хорошо описывали источник данных, то полученный датасет можно будет применять . За центр сферы в дальнейшем для обучения алгоритма восстановления изображений, целью которого будет устранение применённых преобразованийэтой системе координат принимается [[wikipedia:Cardinal point (optics)#Principal planes and points|оптический центр]].

[[Файл:Flyingchairs.png|200px|thumb|right|Рисунок 4. Пример из набора FlyingChairs<ref name== Достоинства =="FlyingChairs">Computer Vision Group, Freiburg — https://lmb.informatik.uni-freiburg.de/resources/datasets/FlyingChairs.en.html — Retrieved January 11, 2021</ref>.]]

* Известность параметров генерацииНабор данных FlyingChairs<ref name="FlyingChairs" /> и его производные представляют из себя наборы изображений, на которые искусственно добавлены предметы в движении (например, а значитстулья, и генеральной совокупности -- можно судить о качестве выборочных оценок модели как на параметры распределенийрисунке 4). Эти наборы данных применяются в алгоритмах [[Компьютерное зрение|компьютерного зрения]], путём сравнения их с истинными параметрами;в частности для поиска движения.

* Ускорение и удешевление процесса разработки FlyingChairs строится следующим образом: авторы выбрали несколько сотен изображений с фотохостинга [https://flickr.com Flickr] из категорий «город», «ландшафт», «горы». Части этих изображений использовались в качестве фона. Далее на них накладывались стулья<ref name="fc-chairs">Aubry M., Maturana D., Efros A., Russell B., Sivic J. Seeing 3d chairs: exemplar part-based 2d- не нужно ждать3d alignment using a large dataset of cad models — InCVPR, пока будет собран и2014</или размечен достаточный объём реальных данных;ref>, для каждого стула были представлены 62 различных угла обзора.

* Повышение доступности больших объёмов С помощью двумерных аффинных преобразований сдвигается как фон, так и стулья — это позволяет эмулировать одновременно движение как стульев, так и «камеры». Авторы используют другой набор данных, MPI Sintel<ref name="sintel">Butler D. J., Wulff J., Stanley G. B., Black M.J. Anaturalistic open source movie for optical flow evaluation // ECCV, Part IV — Springer-Verlag, 2012 — с. 611–625</ref>, для получения информации об естественном распределении таких параметров, как начальные позиции объектов и параметры движения, и сохранении этого распределения. [[Файл:Vc-clothes.png|400px|thumb|left|Рисунок 5. Пример данных набора VC-Clothes. В первой строке — фон, в каждой из следующих — один и тот же человек в разной одежде<ref name="VC-Clothes">VC-Clothes — https://wanfb.github.io/dataset.html — Retrieved January 11, 2021</ref>.]] === VC-Clothes === Набор данных VC-Clothes<ref name="VC-Clothes"/> создан для разработки алгоритмов реидентификации. Он представляет из себя сгенерированные изображения одинаковых людей в разной одежде и на разном фоне. Помимо реидентификации, этот набор данных также может быть использован для решения задачи семантической [[Сегментация изображений|сегментации]], для отделения пикселей, соответствующих одежде, от пикселей, соответствующих лицу персонажа.

[[Файл:SynthText-in-the-Wild.png|200px|thumb|right|Рисунок 6. Пример изображения из набора SynthText in the Wild<ref name== Недостатки =="SynthText">Visual Geometry Group - University of Oxford — https://www.robots.ox.ac.uk/~vgg/data/scenetext/ — Retrieved January 19, 2021</ref>.]]

* Отсутствие универсальных метрик качества Набор данных SynthText in the Wild<ref name="SynthText"/> разработан для обучения алгоритмов [[Распознавание текста на изображении|распознавания текста на изображении]]. Он берёт обычные изображения и применимости генерируемых данных;накладывает на них неизогнутый текст из определённого набора (см. рисунок 6). Набор сопровождается подробной аннотацией: для каждого изображения указаны используемые фразы, а также координаты каждого слова и символа на изображении.

* Возможна излишняя Чтобы полученный набор выглядел натурально, применяется следующий подход<ref name="стерильностьSynthText-paper" получаемых данных>Gupta A., так как Vedaldi A., Zisseman A. Synthetic Data for Text Localisation in Natural Images // IEEE Conference on Computer Vision and Pattern Recognition — 2016</ref>. Сначала изображение делится на несколько областей в общем случае неизвестнозависимости от значений соседних цветов и текстуры. Затем с помощью [[Сверточные нейронные сети|CNN]] строится карта глубины — определяется, какая точка ближе к камере, какими могут быть выбросы в реальных данныха какая дальше (см. рисунок 7). После этого можно по каждой области определить нормаль к поверхности. Алгоритм исключает из выбора неподходящие поверхности — очень маленькие, непропорциональные или ортогональные направлению съемки. Наконец, на основе цвета области выбирается цвет текста (и иногда — контура), случайным образом выбирается шрифт, после чего текст «накладывается» на изображение с помощью геометрических трансформаций и преобразования Пуассона. Если же это известноЭтот процесс повторяется несколько раз, то проблема может быть решена путём настройки параметров генераторачтобы наложить сразу несколько текстовых объектов на изображение.

{{wide image|Synthtext-Generation-Process.png|1100px|Рисунок 7. Процесс нанесения текста на изображение. Слева направо: исходное изображение; карта глубины (светлее — дальше); разбиение на поверхности; области для нанесения текста и случайно выбранный для них цвет; готовое изображение<ref name== Примеры =="SynthText-paper"/>.}}

Тут какие наборы бывают[[Файл:UnityEyes.png|200px|thumb|left|Рисунок 8. Образцы глаз, смотрящие в различных направлениях<ref name="unityeyes">Wood, E., Baltrusaitis, T., Morency, L., Robinson, P., Bulling, A. Learning an appearance-based gaze estimator from one million synthesised images // Proceedings of the Ninth Biennial ACM Symposium on Eye Tracking Research & Applications — 2016</ref>.]]

* (Этот пример надо как-то связать с параграфом про применение) Пример генератора изображений с искажениями для использования при обучении алгоритма восстановления: В 2016 году по методологии SCRUM была разработана утилита [https://gardarandriwww.cl.githubcam.ioac.uk/TextSharpenerresearch/rainbow/projects/unityeyes/ UnityEyes], которая позволяет в реальном времени генерировать реалистичные изображения глаз, направленных в нужном направлении, показанные с требуемого ракурса (см. рисунок 8). Это позволяет решать задачу '''окулографии''' (англ. gaze estimation) — определения направления взгляда человека по фотографии.

* Стулья (например рассказать про [[Файл:Nvidia-drive-sample.png|400px|thumb|right|Рисунок 9. Примеры миров, сгенерированных NVIDIA DRIVE<ref name="nvidia">[https://lmbwww.informatiknvidia.unicom/content/dam/en-zz/Solutions/deep-freiburg.delearning/resources/datasetsaccelerating-ai-with-synthetic-data-ebook/FlyingChairsaccelerating-ai-with-synthetic-data-nvidia_web.pdf El Emam, K. Accelerating AI with Synthetic Data] — Beijing, Boston, Farnham, Sebastopol, Tokyo: O'Reilly Media, Inc.en, 2020.</ref>.html)]]

* Комнаты Для обучения автономного транспорта компания NVIDIA разработала по методологии SCRUM платформу NVIDIA DRIVE Constellation<ref name="nvidia" />, которая состоит из двух серверов. Один из них исполняет роль обучаемого транспортного средства, а второй непрерывно генерирует для первого различные «миниатюрные миры», включающие в себя симуляцию вывода с камеры, радара и лидаров. В обучении используется два режима — симуляция после восприятия (частично https://structured3dангл. ''postperception simulation'') и сквозная симуляция (англ. ''end-to-datasetend simulation''). В режиме симуляции объектов из сгенерированных миров (см.org/рисунок 9)обучаемому алгоритму передаётся список объектов и их подробное описание, в свою очередь алгоритм должен выбрать дальнейшие действия автомобиля. В режиме симуляции мира на вход алгоритму подаются показания датчиков из сгенерированного мира, и алгоритм должен также распознать с помощью этих показаний присутствующие вокруг объекты и их характеристики. Этот режим полезен тем, что он более похож на реальный мир и учитывает помехи, возникающие на сенсорах.

* Текст (ну не, не книжки из бреда, сгенерированного Марковскими цепями, а например картинки, в которых текст как-то хитро расположен: https://www== См.robots.ox.ac.uk/~vgg/data/scenetext/)также ==