47
правок
Изменения
м
Известные ==Обзор== Для многих алгоритмов машинного обучения требуется большое количество данных. Кроме того, что моделям нужны данные для обучения, нужно сравнивать эффективность разных моделей. Поскольку поиск хороших наборов данных и их разметка {{---}} трудная задача, на помощь приходят уже собранные и размеченные наборы данных, для которых зачастую уже опубликованы результаты каких-то алгоритмов, и можно оценить, насколько хорошо работает исследуемая модель. В этой статье рассмотрены с примерами несколько популярных наборов данных. Другие классические наборы можно посмотреть, например, на википедии<ref>https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research[https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research]</ref>. {| class="wikitable"|-! Набор данных! Какие объекты! Число объектов! Число классов! Доля ошибок лучшего публикованного алгоритма|-| Iris| Данные измерений четырех параметров цветков ириса| 150| 3| N/A, малый размер датасета|-| MNIST| Рукописные цифры, черно-белые изображения 32х32 пикселя| 70 000| 10| 0.18% <ref>https://arxiv.org/pdf/1805.01890.pdf[https://arxiv.org/pdf/1805.01890.pdf]</ref>|-| CIFAR-10| Фотографии объектов разных классов, цветные изображения 32х32 пикселя| 60 000| 10| 1.23% <ref>https://arxiv.org/pdf/1805.09501.pdf[https://arxiv.org/pdf/1805.09501.pdf]</ref>|-| ImageNet| Фотографии с указанием классов объектов на изображении и их позиций| Больше 14 миллионов| Больше 21 тысячи| Большое количество различных метрик, см. ImageNet Competition. 1-5% на классификацию|-|} ==Iris== ===Описание=== Iris {{---}} небольшой набор данных для задачи классификации, опубликованный еще в 1936 году Робертом Фишером, используя данные биолога Эдгара Андерсона. В этом наборе данных представлены по 50 описаний цветков одного из трех типов {{---}} Ирис щетинистый (Iris setosa), Ирис виргинский (Iris virginica) и Ирис разноцветный (Iris versicolor). Для каждого цветка измерены четыре величины {{---}} длина чашелистника (англ. sepal length), ширина чашелистника (sepal width), длина лепестка (англ. petal length), ширина лепестка (англ. petal width). Все цветки промаркированы одним из трех типов, что позволяет тестировать на нем алгоритмы классификации. Интересное наблюдение {{---}} один из классов цветков линейно отделим от двух других. ===Пример=== {| class="wikitable"|-! Длина чашелистника! Ширина чашелистника! Длина лепестка! Ширина лепестка! Класс|-| 5.1| 3.5| 1.4| 0.2| setosa|-| 7.0| 3.2| 4.7| 1.4| versicolor|-| 6.3| 3.3| 6.0| 2.5| virginica|-|} ===Код=== from sklearn.datasets import load_iris from sklearn.ensemble import RandomForestClassifier iris=load_iris() X = iris.data Y = iris.target X, Y = shuffle(X, Y) n = len(iris.data) train = n // 2 clf = RandomForestClassifier(n_estimators=100, max_depth=2, random_state=0) clf.fit(X[:train], Y[:train]) expected = Y[train:] predicted = clf.predict(X[train:]) print("Classification report for classifier %s:\n%s\n" % (clf, metrics.classification_report(expected, predicted))) type precision recall f1-score support 0 1.00 1.00 1.00 28 1 0.95 0.88 0.91 24 2 0.88 0.96 0.92 23 avg / total 0.95 0.95 0.95 75
Некоторые импорты нужны для листингов кода, относящимся к следующим датасетам.
from sklearn.datasets import load_iris,fetch_mldata
from sklearn.utils import shuffle
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from keras.utils import to_categorical
from keras.datasets import cifar10
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import ModelCheckpoint, CSVLogger
from numpy import arange
% (clf, metrics.classification_report(expected, predicted)))
% (clf, metrics.classification_report(expected, predicted))) ==Iris== ===Описание=== Iris {{---}} небольшой набор данных для задачи классификации, опубликованный еще в 1936 году Робертом Фишером, используя данные биолога Эдгара Андерсона. В этом наборе данных представлены по 50 описаний цветков одного из трех типов {{---}} Ирис щетинистый (Iris setosa), Ирис виргинский (Iris virginica) и Ирис разноцветный (Iris versicolor). Для каждого цветка измерены четыре величины {{---}} длина чашелистника (англ. sepal length), ширина чашелистника (sepal width), длина лепестка (англ. petal length), ширина лепестка (англ. petal width). Все цветки промаркированы одним из трех типов, что позволяет тестировать на нем алгоритмы классификации. Интересное наблюдение {{---}} один из классов цветков линейно отделим от двух других. ===Пример=== {| class="wikitable"|-! Длина чашелистника! Ширина чашелистника! Длина лепестка! Ширина лепестка! Класс|-| 5.1| 3.5| 1.4| 0.2| setosa|-| 7.0| 3.2| 4.7| 1.4| versicolor|-| 6.3| 3.3| 6.0| 2.5| virginica|-|} ===Код=== iris=load_iris() X = iris.data Y = iris.target X, Y = shuffle(X, Y) n = len(iris.data) train = n // 2 clf = RandomForestClassifier(n_estimators=100, max_depth=2, random_state=0) clf.fit(X[:train], Y[:train]) expected = Y[train:] predicted = clf.predict(X[train:]) print("Classification report for classifier %s:\n%s\n" % (clf, metrics.classification_report(expected, predicted))) type precision recall f1-score support 0 1.00 1.00 1.00 28 1 0.95 0.88 0.91 24 2 0.88 0.96 0.92 23 avg / total 0.95 0.95 0.95 75
Другие классические наборы Вместе с публикацией набора данных можно посмотреть, например, на википедиистартовал конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC<ref>httpshttp://enwww.wikipediaimage-net.org/wikichallenges/LSVRC/List_of_datasets_for_machine-learning_research[httpshttp://enwww.wikipediaimage-net.org/wikichallenges/LSVRC/List_of_datasets_for_machine-learning_research]</ref>). В его рамках участникам предлагается достигнуть наибольшей точности при классификации набора изображений. Организаторы использовали около тысячи различных категорий объектов, которые нужно классифицировать. На примере этого конкурса хорошо видно, как в 2010-е годы люди научились заметно лучше распознавать образы на изображениях, уже в 2017 году большинство участвующих команд преодолели порог в 95% правильных ответов. Эта задача, проблема компьютерного зрения, имеет огромное практическое значение во многих прикладных областях.
Нет описания правки
==MNIST==
===Описание===
[[Файл:MnistExamples.png|мини|[https://en.wikipedia.org/wiki/MNIST_database#/media/File:MnistExamples.png Оригинал]]]
Датасет MNIST {{---}} большой (порядка 60 000 тренировочных и 10 000 проверочных объектовпомеченных на принадлежность одному из десяти классов {{---}} какая цифра изображена на картинке) набор картинок с рукописными цифрами, часто используемый для тестирования различных алгоритмов распознавания образов. Он содержит черно-белые картинки размера 28x28 пикселей, исходно взятые из набора образков образцов из бюро переписи населения США, к которым были добавлены тестовые образцы, написанные студентами американских университетов.
===Результаты===
Простой пример, скачивающий набор данных и запускающий на нем один из классификаторов. Даже с уменьшением датасета в сто раз и не самым подходящим классификатором точность выше половины угаданных цифр {{---}} заметно лучше, чем случайная разметка.
from sklearn.datasets import fetch_mldata from numpyimport arange
import random
from sklearn.tree import matplotlib.pyplot as pltDecisionTreeClassifier
from sklearn import datasets, svm, metrics
[[Файл:Mnist-predict.png|мини]]
mnist = fetch_mldata('MNIST original')
indices = arange(len(mnist.data))
predicted = clf.predict(X[train:])
print("Classification report for classifier %s:\n%s\n"
digit precision recall f1-score support
===Описание===
[[Файл:Cifar-10.png|мини|[https://medium.com/@jannik.zuern/training-a-cifar-10-classifier-in-the-cloud-using-tensorflow-and-google-colab-f3a5fbdfe24d Источник]]]
CIFAR-10 (Canadian Institute For Advanced Research) {{---}} еще один большой набор изображений, который обычно используется для тестирования алгоритмов машинного обучения. Он содержит 60 000 цветных картинок размером 32х32 пикселя, размеченных в один из десяти классов: самолеты, автомобили, коты, олени, собаки, лягушки, лошади, корабли и грузовики. В датасете по 6000 картинок каждого класса. CIFAR-10 является размеченным подмножеством заметно большего набора данных, состоящего примерно из восьмидесяти миллионов изображений.
===Результаты===
С момента публикации CIFAR-10 вышло много статей, авторы которых пытаются добиться максимальной точности на этом датасете. в В среднем более хорошии результаты показывают различные сверточные нейронные сети с различными вариантами настройки и дополнительной предобработки данных.
На википедии<ref>https://en.wikipedia.org/wiki/CIFAR-10#Research_Papers_Claiming_State-of-the-Art_Results_on_CIFAR-10[https://en.wikipedia.org/wiki/CIFAR-10#Research_Papers_Claiming_State-of-the-Art_Results_on_CIFAR-10]</ref> можно найти таблицу лучших публикаций с процентами ошибки на этом датасете. Так, лучший на сегодняшний момент алгоритм, опубликованный в мае 2018 года, допускает ошибку всего порядка 1.48%.
===Код===
Простой код, скачивающий CIFAR-10 из интернета и запускающий на нем стандартный классификатор.
from keras.datasets import cifar10
from sklearn.utils import shuffle
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
predicted = clf.predict(X[train:])
print("Classification report for classifier %s:\n%s\n"
===Описание===
[[Файл:Imagenet.png|мини|[http://www.image-net.org/challenges/LSVRC/2014/ Источник]]]
База данных Imagenet {{---}} проект по созданию и сопровождению массивной базы данных аннотированных изображений. Аннотация изображений происходит путем краудсорсинга сообществом, путем чего . Из-за этого достигается большое количество размеченных данных.
Особенность датасета {{---}} про каждую картинку известно несколько фактов вида "в этом прямоугольнике есть автомобиль", что в совокупности с индексом по типам объектов, которые есть на изображениях, позволяет обучить алгоритм для распознавания объектов какой-то конкретной категории. На август 2017 года в ImageNet 14 197 122 изображения, разбитых на 21 841 категорию.
===Imagenet Challenge===
[[Файл:Imagenet-contest.png|мини]] Вместе с публикацией набора данных стартовал конкурс ImageNet Large Scale Visual Recognition Challenge |[https://en.wikipedia.org/wiki/File:ImageNet_error_rate_history_(ILSVRCjust_systems). В его рамках участникам предлагается достигнуть наибольшей точности при классификации набора изображений. Организаторы использовали около тысячи различных категорий объектов, которые нужно классифицировать. На примере этого конкурса хорошо видно, как в 2010-е годы люди научились заметно лучше распознавать образы на изображениях. Эта задача, проблема компьютерного зрения, имеет огромное практическое значение во многих прикладных областях.svg Оригинал]]]
==Примечания==
