333
правки
Изменения
Нет описания правки
'''macro avg 0.91 0.92 0.91 30'''
'''weighted avg 0.90 0.90 0.90 30'''
====Обработка естественного языка====
Основная статья: [[Обработка естественного языка]]
Загрузка датасета:
'''from''' sklearn '''import''' fetch_20newsgroups
twenty_train = fetch_20newsgroups(subset=<font color="red">'train'</font>, shuffle='''True''', random_state=<font color="blue">42</font>)
Вывод первых трех строк первого тренивочного файла и его класса:
print(<font color="red">"\n"</font>.join(twenty_train.data[<font color="blue">0</font>].split(<font color="red">"\n"</font>)[:<font color="blue">3</font>]))
print(twenty_train.target_names[twenty_train.target[<font color="blue">0</font>]])
> '''From: lerxst@wam.umd.edu (where's my thing)'''
'''Subject: WHAT car is this!?'''
'''Nntp-Posting-Host: rac3.wam.umd.edu'''
'''rec.autos'''
Построение и обучение двух моделей:
'''from''' sklearn.pipeline '''import''' Pipeline
'''from''' sklearn.feature_extraction.text '''import''' CountVectorizer, TfidfTransformer
'''from''' sklearn.naive_bayes '''import''' MultinomialNB
text_clf1 = Pipeline([
(<font color="red">'vect'</font>, CountVectorizer()),
(<font color="red">'tfidf'</font>, TfidfTransformer()),
(<font color="red">'clf'</font>, MultinomialNB()),
])
'''from''' sklearn.linear_model '''import''' SGDClassifier
text_clf2 = Pipeline([
(<font color="red">'vect'</font>, CountVectorizer()),
(<font color="red">'tfidf'</font>, TfidfTransformer()),
(<font color="red">'clf'</font>, SGDClassifier(loss=<font color="red">'hinge'</font>, penalty=<font color="red">'l2'</font>,
alpha=<font color="blue">1e-3</font>, random_state=<font color="blue">42</font>,
max_iter=<font color="blue">5</font>, tol='''None''')),
])
text_clf1.fit(twenty_train.data, twenty_train.target)
text_clf2.fit(twenty_train.data, twenty_train.target)
Оценка алгоритмов:
twenty_test = fetch_20newsgroups(subset=<font color="red">'test'</font>, shuffle='''True''', random_state=<font color="blue">42</font>)
docs_test = twenty_test.data
predicted1 = text_clf1.predict(docs_test)
predicted2 = text_clf2.predict(docs_test)
print(<font color="red">"Score: %.3f"</font> % np.mean(predicted1 == twenty_test.target))
print(<font color="red">"Score: %.3f"</font> % np.mean(predicted2 == twenty_test.target))
> '''Score: 0.774'''
'''Score: 0.824'''
==Tensorflow==
===Примеры кода===
====Сверточная нейронная сеть====
Основная статья: [[Сверточные нейронные сети]].
Реализация сверточной нейронной сети для классификации цифр из датасета MNIST:
===Примеры кода===
====Сверточная нейронная сеть====
Основная статья: [[Сверточные нейронные сети]].
Реализация сверточной нейронной сети для классификации текста:
