Изменения

numeric_features = [t[0] for t in df.dtypes if t[1] == 'int']

df.select(numeric_features).describe().toPandas().transpose()

Оценим корреляцию между оставшимися данными

h.xaxis.label.set_rotation(90)

h.set_xticks(())

На данных графиках можно увидеть зависимость, к примеру, между возрастом и балансом на карте. Не будем учитывать эти корреляции при построении наших моделей, однако избавимся от дня и месяца рождения, так как эти параметры не влияют на желание клиента оформить быстрый кредит.

df = df.select('age', 'job', 'marital', 'education', 'default', 'balance', 'housing', 'loan', 'contact', 'duration', 'campaign', 'pdays', 'previous', 'poutcome', 'deposit')

print("Training Dataset Count: " + str(train.count()))

print("Test Dataset Count: " + str(test.count()))

Logistic Regression

plt.title('ROC-кривая')

plt.show()

Binary Classification

from pyspark.ml.evaluation import BinaryClassificationEvaluator

evaluator = BinaryClassificationEvaluator()

Decision Tree

from pyspark.ml.classification import DecisionTreeClassifier

predictions = dtModel.transform(test)

evaluator = BinaryClassificationEvaluator()

Random Forest

predictions = rfModel.transform(test)

evaluator = BinaryClassificationEvaluator()

Gradient-Boosted Tree

from pyspark.ml.classification import GBTClassifier

predictions = gbtModel.transform(test)

evaluator = BinaryClassificationEvaluator()

== Практическое применение Big Data ==