Изменения
→Примеры реализации алгоритмов с использованием Spark MLlib
.filter(_.getText.contains("earthquake") || _.getText.contains("shaking"))
Далее подготовим эти данные к построению модели. Разобьем выборку на обучающую и тестирующую
<font color="blue">val </font> data = MLUtils.loadLibSVMFile(sc, "sample_earthquate_tweets.txt")
<font color="blue">val </font> splits = data.randomSplit(Array(0.6, 0.4), seed = 11L) <font color="greenblue">val </font> training = splits(0).cache() <font color="greenblue">val </font> test = splits(1)
Проводим обучение нашей модели. В качестве алгоритма выберем метод опорных векторов.
val numIterations = 100
val model = SVMWithSGD.train(training, numIterations)
<font color="green">// Очищаем пороговое значение, заданное по умолчанию</font>
model.clearThreshold()
Выведем интересующий нас результат
