Изменения

Перейти к: навигация, поиск

Обучение на больших данных

462 байта убрано, 12:36, 20 января 2021
Применение методов машинного обучения для построения "озера" данных
Представленная выше модель хорошо описывает схему хранения разнородных данных путём создания некоторого шаблона, который мог бы описывать все эти данные. Построение такого шаблона может быть очень трудоёмкой задачей, так как данных много и их форматов тоже может быть много. Здесь на помощь и приходит машинное обучение. [[Нейронные сети, перцептрон|Нейронные сети]], при правильном их использовании, могут помочь в построении такого шаблона, обучаясь на разнородных данных. Такие сети были названы '''''метапрофилировочные нейронные сети''''' (англ. ''meta-profile neural network'')<ref>[https://arxiv.org/pdf/2008.12258.pdf Learning to Profile: User Meta-Profile Network for Few-Shot Learning - Hao Gong, Qifang Zhao, Tianyu Li, Derek Cho, DuyKhuong Nguyen - Rakuten Institute of Technology, 2020]</ref>.
Предположим, что у нас есть некоторые данные о пользователях большой сервисной системы мирового масштаба. О каждом из пользователей постоянно собираются самые разные данные, на основе которых в будущем им будут выдаваться рекомендации и предложения.
Нейронная сеть, которую необходимо построить, состоит из нескольких других нейронных сетей. Каждая из них обрабатывает свой формат данных, следовательно выбор вида сети стоит за разработчиком. В результате мы получаем некий новый объект, признаки которого будут зависеть от обработанных данных. Он и будет шаблоном объекта, который будет храниться в "озере" данных.
59
правок

Навигация