Изменения

Рассмотрим удобство использования Apache Spark на примере. Задача нашей модели предугадать захочет ли клиент оформить срочный вклад. Для этого воспользуемся [https://www.kaggle.com/rouseguy/bankbalanced| данными из Machine Learning Repository].

Напишем нашу модель на Python. Для начала работы с Apache Spark его необходимо установить, выполнив

Считаем данные из нашего файла и выведем информацию о датасете на экран

df.printSchema()

Результат:

root

|-- deposit: string (nullable = true)

Как видно наши данные состоят из множества столбцов, содержащих числа и строки Для большей информации выведем наши данные с помощью таблицы pandas. Для примера выведем 7 первых значений

[[Файл:SparkMLFirstTable.png]]

Нас будут интересовать только численные данные. Для них построим таблицу с основной информацией (количество/ среднее по всей таблице/ среднеквадратичное отклонение / минимальное значение / максимальное значение)

df.select(numeric_features).describe().toPandas().transpose()

[[Файл:SparkMLSecondTable.png]]

Оценим корреляцию между оставшимися данными

numeric_data = df.select(numeric_features).toPandas()

n = len(numeric_data.columns)

v.set_yticks(())

h.set_xticks(())

На данных графиках можно увидеть зависимость, к примеру, между возрастом и балансом на карте. Не будем учитывать эти корреляции при построении наших моделей, однако избавимся от дня и месяца рождения, так как эти параметры не влияют на желание клиента оформить быстрый кредит.

cols = df.columns

Подготовим оставшиеся данные для построения моделей.

stages = []

stages += [stringIndexer, encoder]

stages += [label_stringIdx]

stages += [assembler]

pipeline = Pipeline(stages = stages)

pipelineModel = pipeline.fit(df)

df = pipelineModel.transform(df)

df = df.select(selectedCols)

df.printSchema()

Наконец, поделим нашу выборку на обучающую и тестирующую

Logistic Regression

lrModel = lr.fit(train)

trainingSummary = lrModel.summary

Точность: 0.8865478305561797

Binary Classification

evaluator = BinaryClassificationEvaluator()

Decision Tree

dtModel = dt.fit(train)

predictions = dtModel.transform(test)

evaluator = BinaryClassificationEvaluator()

Random Forest

rfModel = rf.fit(train)

predictions = rfModel.transform(test)

evaluator = BinaryClassificationEvaluator()

Gradient-Boosted Tree

gbtModel = gbt.fit(train)

predictions = gbtModel.transform(test)

evaluator = BinaryClassificationEvaluator()

=== Примеры реализации алгоритмов с использованием Spark MLlib ===