Как выделить и классифицировать признаки только в значимых областях?

Хорошо, вот вам пример с искусственными данными и мелким решающим деревом. Чисто для одного кластера. Будет больше кластеров - нужно будет не ограничивать дерево, как я это сделал для наглядности, пусть дальше растёт.

Код

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pylab as plt
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.metrics import f1_score

# разбрасываем точки
n = 20
X = np.random.rand(n * n, 2)
y = np.random.randint(2, size=n*n)
df = pd.DataFrame({'x1': X[:,0], 'x2': X[:,1], 'y': y})

## перемещаем часть единиц в кластер в углу
idx = df[df.y == 1].sample(frac=0.75).index
df.loc[idx, 'x1'] /= 3
df.loc[idx, 'x2'] /= 3
X = df[['x1', 'x2']]
y = df['y']

# делим данные на трейн/тест
X_train, X_test, y_train, y_test = train_test_split(X, y, shuffle=True, stratify=y)

# строим модель
dtc = DecisionTreeClassifier(max_depth=2, min_impurity_decrease=0.05)
dtc.fit(X_train, y_train)
y_pred = dtc.predict(X_test)

# считаем скор
print('f1 score =', f1_score(y_test, y_pred))

# рисуем графики
plt.figure()
sns.scatterplot(x='x1', y='x2', hue=y, data=X)
plt.title('Все данные')
plt.figure()
sns.scatterplot(x='x1', y='x2', hue=y_test, data=X_test)
plt.title('Тестовые данные')
plt.figure()
sns.scatterplot(x='x1', y='x2', hue=y_pred, data=X_test)
plt.title('Предсказание на тестовых данных')
X_diff = X_test[y_test != y_pred]
y_diff = y_pred[y_test != y_pred]
plt.figure()
sns.scatterplot(x='x1', y='x2', hue=y_diff, data=X_diff)
plt.title('Предсказания, отличающиеся от тестовых данных')

# рисуем наше дерево
plt.figure()
plot_tree(dtc, filled=True);

Вывод:

f1 score = 0.8461538461538461

Графики:

Визуализация решающего дерева:

Выводы:

Дерево прекрасно выделило кластер в углу графика с помощью всего двух условий. И предсказало класс 1 только в этом углу, собственно. Ну, потому что угадать 1 в остальных местах всё-равно невозможно.

Когда кластеров будет больше и они будут расположены во многих местах, естественно, понадобится больше правил. Но никаких сложностей у дерева всё-равно не должно с этим возникнуть. Главное - не забывать стратифицировать данные, чтобы не получилось так, что в обучающей выборке не окажется достаточного количества представителей обоих классов в каком-либо из кластеров и тогда дерево не сможет этот кластер обнаружить.

Когда кластеров будет очень-очень много, лучше будет видимо всё же перейти к использованию алгоритмов кластеризации, но это другая история, требующая других примеров данных, без которых я не смогу вам с этой задачей помочь. Хотя, видимо, там просто нужно будет найти кластера и для всех точек в кластерах проставить 1, а для всех точек вне кластеров 0. Стандартной какой-то модели для такого подхода вроде бы нет, но используя кластеризацию и несложные ручные действия вы сможете легко это сделать.