Изменения

{{В разработке}} '''Обучение на больших данных''' {{---}} раздел машинного обучения, специализирующийся на построении моделей, обрабатывающих большие объёмы данных, т. н. Также встречаются термины "big data" или "большие данные".

Чтобы массив информации обозначить приставкой «big» он должен обладать следующими признаками<ref name="vvv">[https://ru.wikipedia.org/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5#VVV Правило VVV]</ref>:

Чтобы эффективно обрабатывать и анализировать большие данные, существуют такие инструменты как "аналитические модели"<ref name="analiticsmodels">[https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C Математические модели в форме аналитических моделей]</ref>. Их решения ищутся в замкнутом виде, в виде функциональных зависимостей. Такие модели способны строить гипотезы на основе больших данных, искать в них зависимости и закономерности – {{---}} всю самую полезную для большинства бизнес-задач информацию. Кроме того, важна хорошая [[Интерпретируемые модели|интерпретируемость]] построенной модели, так как это позволяет упростить её анализ без повторного её построения, что в условиях больших данных при работе с большими данными крайне важно. Для этого большие данные проходят через несколько этапов:

1. [[Автоматическое машинное обучение|Чистка данных]] (англ. data cleaning) – {{---}} поиск и исправление ошибок в первичном наборе информации, например, ошибки ручного ввода (опечатки), или некорректные значения с измерительных приборов из-за кратковременных сбоев и т.д.;

2. [[Уменьшение размерности|Работа с признаками]] (англ. feature engineering) – {{---}} генерация переменных для построения аналитических моделей;

3. [[Модель алгоритма и её выбор|Построение]] и обучение аналитической модели (англ. model selection) для предсказания целевой (таргетной) переменной. Так проверяются гипотезы о зависимости таргетной переменной от предикторов;.

* краудсорсинг — категоризация и обогащение данных народными силами, т.е. с добровольной помощью сторонних лиц;

Также стоит отметить, что в связи с большой популярностью "больших данных", эта сфера очень быстро развивается, постоянно появляются всё новые технологии и инструменты для работы. Для развивающегося бизнеса это внедрение систем по работе с большими данными приводит к дополнительным материальным затратам. А от специалистов в этой сфере требуется быстро овладевать новыми навыками, тчто также может вызвать затруднения.  === Применение машинного обучения кбольшим данным. Поиск в больших данных ===При работе с большими данными иногда возникает ситуация, когда пользователю нужно найти какие-то конкретные данные. Возникает задача эффективного поиска информации в больших данных. В силу большого объёма всех данных большинство известных методов поиска будут работать неэффективно. крайне важно Например, '''''поиск перебором'''''<ref ="идти в ногу со временемbruteforcesearch">[https://en. Для специалистов wikipedia.org/wiki/Brute-force_search#:~:text=In%20computer%20science%2C%20brute%2Dforce,candidate%20satisfies%20the%20problem's%20statement. Поиск перебором]</ref> (англ. ''exhaustive search'') {{---}} широко распространенный алгоритм не подходит для больших данных вследствие плохой оптимизации по времени исполнения и используемому месту. Также '''не подходят''' алгоритмы '''''поиска с ориентиром (индексирование)''''' (англ. ''beacon guided searching, BGS'') и [[Метрический классификатор и метод ближайших соседей|'''''метод "большим даннымближайших соседей" это ''''']] (англ. ''nearest neighbour search''). В случае первого на больших данных хранение индексов этих данных становится проблемой, так же приводит как данных слишком много, а в случае со вторым алгоритмом будут сильно мешать различные шумы и отклонения, коих в больших данных зачастую очень много. Здесь на помощь приходят [https://ru.wikipedia.org/wiki/%D0%93%D0%B5%D0%BD%D0%B5%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC генетические алгоритмы]. Процедура поиска в больших данных производится довольно часто, следовательно такие алгоритмы довольно быстро приспособятся к поиску наиболее часто используемых данных. Также к плюсам генетических алгоритмов можно отнести возможность кастомизации и устойчивость к дополнительным трудностямшумам, а также хорошую масштабируемость для задач с более высокой размерностью. Всё это как раз то, тчто нужно в случае больших данных. к Кроме того, при поиске в больших данных может помочь [[Кластеризация|кластеризация]] этих данных. необходимо крайне быстро овладевать этими новыми технологиямиТаким образом они будут разбиты на группы "похожести", когда данные в каждой группе обладают сходными признаками, по которым можно существенно снизить круг дальнейшего поиска, что существенно ускоряет процесс поиска.

=== Применение машинного обучения к большим данным ===В условиях больших данных иногда возникает ситуация, когда пользователю нужно найти какие-то конкретные данные. Встаёт задача информационного поискаС той же целью может применятся и оценка '''''важности признака при перестановке'''''<ref name="infosearchpfi">[https://rudocs.wikipediamicrosoft.orgcom/ru-ru/wikidotnet/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA Информационный поискmachine-learning/how-to-guides/explain-machine-learning-model-permutation-feature-importance-ml-net#train-the-model Permutation Feature Importance]</ref>(англ. ''permutation feature importance, PFI''). В силу большого объёма всех данных будет неэффективно перебирать их все Этот приём позволяет выделить наиболее значимые признаки объектов. Заключается он в поисках тоготом, что нужнопосле первоначального обучения некоторой модели происходит случайная перестановка значений признаков у объектов. В данном случае можно применить алгоритмы машинного обученияЗа итерацию берётся некоторый признак, который есть у всех объектов, которые занимаются классификацией данных и их [[Ранжирование|ранжированием]]происходит случайная перестановка значений этого признака между объектами. При этом оставшиеся признаки не изменяются.Поиск в размеченных Далее происходит повторный запуск модели и отсортированных данных происходит значительно быстреепроизводится расчёт отклонений её результатов от первичных. Такая процедура выполняется для всех признаков, чтобы можно было выделить наиболее значимые. А Это может существенно помочь в условиях больших данных это очень важнозадаче поиска, когда можно снизить количество рассматриваемых признаков, принимая во внимание только наиболее значимые. Например, любая поисковая система при любом запросе должна давать результат за одно и то же времясуществует некоторый набор данных, однако объём тех данныхсодержащий информацию о продаваемой недвижимости. Каждый объект недвижимости имеет множество признаков: местоположение относительно объектов инфраструктуры, которые ей приходится проанализировать огроменуровень благополучия данного района города, поэтому эффективный поиск в больших данных {{---}} очень важная задачаи многие другие. В этом случае при помощи приёма PFI можно рассчитать, а машинное обучение сильно помогает в её решениикакие из этих признаков имеют большее влияние на цену объекта недвижимости.

Рассмотрим модель распределенного хранения разнородных данных в концепции '''''«озеро данных»'''''<ref name="datalake">[https://en.wikipedia.org/wiki/Data_lake Озеро данных]</ref>.

[[Файл:Schema.PNG|700px|thumb|right|Рисунок 1: Модель === Схема модели хранения разнородных данных]]===

[[Файл:Schema.PNG|700px|thumb|right|Рисунок 1: Модель хранения разнородных данных<ref name=== Схема модели "datalake_pic">[http://www.vstu.ru/upload/iblock/ed2/ed26c52e2ff99fb5b39fbaf37717a96c.pdf Модель хранения разнородных данных ===- схема озера данных]</ref>]]

* '''Parameter Object template''' {{---}} шаблон параметранекоторого объекта <tex>O</tex>. Каждый объект может иметь множество источников данных <tex>M_{ds}</tex>. Структуру объекта можно представить следующим образом: <tex>O=\langle ds_1, ds_2, хранимого в источнике данных\dots, ds_m \rangle</tex>.

* '''Data source template''' {{---}} шаблон источника данных. Каждый источник данных может иметь множество параметров с различными типами данных <tex>M_p</tex>. Структуру источника данных можно представить следующим образом: <tex>ds=\langle p_1, p_2, \dots, p_k \rangle</tex>. * '''Object template''' {{---}} шаблон некоторого объекта <tex>O</tex>. Каждый объект может иметь множество источников данных <tex>M_{ds}</tex>. Структуру объекта можно представить следующим образом: <tex>O=\langle ds_1, ds_2, \dots, ds_m \rangle</tex>.;

Представленная выше модель хорошо описывает схему хранения разнородных данных путём создания некоторого шаблона, который мог бы описывать все эти данные. Построение такого шаблона может быть очень трудоёмкой задачей, так как данных много и их форматов тоже может быть много. Здесь Возникает задача '''''метапрофилирования''''' данных. Этот процесс направлен на помощь структуризацию разносортных данных и приходит машинное обучениеразличных метаданных. [[Нейронные сетиБез этого большинство действий с данными будут попросту невозможны – будь то построение запросов для СУБД, перцептрон|Нейронные сети]]очистка данных, при правильном их использованииклассификация и кластеризация. Кроме того, когда объёмы данных слишком велики, могут помочь в построении такого шаблонаБД может быть огромное количество таблиц, обучаясь на разнородных данныхчьи метаданные могут сильно различаться. В таких условиях получение полной информации даже по одному объекту будет практически невыполнимой задачей. Такие сети были названы ' ''''метапрофилировочные нейронные сети''Мета-профайл''' (англ. ''metametadata-profile neural network''){{---}} особая структура данных, призванная собрать воедино различную информацию о конкретном объекте <reftex>[httpsO</tex>. Сюда так же входят и различные представления этого объекта. Например, музыкальную композицию можно идентифицировать по-разному, от названия и автора до жанра и года создания: ::<tex>MP=(Name, Prop)</tex>* <tex>Name</tex> {{---}} уникальное имя мета-профайла, <tex>Name \in Namespace</arxiv.orgtex>, где <tex>Namespace</pdftex> {{---}} все возможные имена объектов;* <tex>Prop</2008tex> {{---}} множество атрибутов мета-профайла <tex>\{p_1, \dots, p_n\} | \forall p_i \in Prop: i=\{1, \dots, n\}</tex>.12258.pdf Learning to Profile<tex>p_i=(PName_i, PType_i, P_i)</tex>: User Meta** <tex>PName_i</tex> {{-Profile Network for Few-Shot Learning] - Hao Gong}} уникальное имя атрибута, Qifang Zhao<tex>PName_i \in PNamespace</tex>, Tianyu Liгде <tex>PNamespace</tex> {{---}} все возможные имена атрибутов.** <tex>PType_i</tex> {{---}} простой тип данных, Derek Cho<tex>PType_i \in Plaintypes</tex>, DuyKhuong Nguyen где <tex>Plaintypes</tex> {{- Rakuten Institute of Technology--}} все возможные типы данных. Важно, что типы являются простыми, 2020то есть числами, символами или строками.** <tex>P_i : 0 < P_i < 1</tex> {{---}} вероятность принадлежности атрибута <tex>p_i</tex> некоторому случайно отобранному представлению <tex>O</reftex>.

Нейронная сетьПостроение этой структуры можно произвести различными методами машинного обучения. Сюда входят [[Логистическая регрессия|логистическая регрессия]], которую необходимо построить[[Байесовская классификация|наивная байесовская классификация]], состоит из нескольких других нейронных сетей[[Глубокое обучение|глубокое обучение]]. Каждая из них обрабатывает свой формат данныхФактически, следовательно выбор вида такой подсети здесь стоит за разработчиком. В результате задача классификации, в которой мы получаем некий новый объектдолжны понять, признаки которого будут зависеть от обработанных данных. Он и будет шаблоном объектакакие атрибуты относятся к описываемому объекту, который будет храниться в "озере" данныха какие нет.

ТакПредположим, напримерчто у нас имеется некоторая выборка данных из одного источника. В данной выборке для каждого объекта имеется лишь одно представление, можно анализировать предпочтения людей касательно жанров искусствадостаточно полное для однозначной его идентификации. Также имеется выборка данных, относящихся к объектам совсем другого типа, но имеющих похожие атрибуты, её размер должен быть примерно таким же, как и у предыдущей, чтобы убедиться в том, что данные для обучения сбалансированы. Это необходимо, чтобы отметать неверные варианты при обучении. Опираясь на эти выборки, анализируяпроисходит обучение на остальных данных (различные источники данных), какую музыку они слушаютпредставленных в виде векторов, какие книги читают содержащих в себе имена различных атрибутов объекта и какие фильмы смотрятзначения этих атрибутов. На основе вероятностей, имен, типов атрибутов принимается решение, отнести их к объекту или нет. Таким образом, шаблон объекта обрастает новыми атрибутами, по которым его можно идентифицировать.

* [https://spark.apache.org/docs/1.0.0/sql-programming-guide.html Shark] – {{---}} хранилище данных;* [https://spark.apache.org/docs/latest/graphx-programming-guide.html GraphX] – {{---}} система обработки графовых данных;* [https://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Streaming] – {{---}} система обработки потоковых данных;* [https://spark.apache.org/docs/latest/ml-guide.html Spark MLlib] – {{---}} библиотека алгоритмов машинного обучения.

MLlib – {{---}} основная библиотека Spark. Она предоставляет множество служебных программ, полезных для задач машинного обучения:

Рассмотрим удобство использования Apache Spark на примере. Задача нашей модели {{---}} предугадать: захочет ли клиент оформить срочный вклад. Для этого воспользуемся [https://www.kaggle.com/rouseguy/bankbalanced| данными из Machine Learning Repository].

На сегодняшний день работа с большими данными популярна во многих рабочих сферах. Как правило, алгоритмы бизнес-приложения обрабатывают огромные потоки данных из различных источников, после чего создается предсказание следующего предполагаемого события. Программисты бизнес-приложений получают в два раза больше программистов других приложений. А программист бизнес-приложений, умеющий работать с большими данными по методологии SCRUM, получает ещё больше.

* [https://www.researchgate.net/publication/322994594_A_survey_of_different_search_techniques_for_big_data A survey of different search techniques for big data] {{---}} 4th International Conference on Innovations in Information, Embedded and Communication Systems, 2017;* [http://www.vstu.ru/upload/iblock/ed2/ed26c52e2ff99fb5b39fbaf37717a96c.pdf Методы обработки разнородных данных в проактивных системах управления транспортной инфраструктурой] {{---}} Чан Ван Фу, Волгоградский государственный технический университет, 2019г;* [https://www.researchgate.net/profile/Michael_Gubanov/publication/346275767_WebLens_Towards_Interactive_Large-scale_Structured_Data_Profiling/links/5fc0055c299bf104cf7fd4a1/WebLens-Towards-Interactive-Large-scale-Structured-Data-Profiling.pdf Towards Interactive Large-scale Structured Data Profiling] {{---}} Rituparna Khan, Michael Gubanov {{---}} Department of Computer Science, Florida State University, 2020г.