#8 – Построение и оценка моделей

Метрики качества классификации

Когда мы создаём модель для классификации, важно уметь оценивать её качество. Успешная модель должна быть не только обучена, но и правильно настроена и проверена. Это фундаментальный момент, так как при неверной настройке модель будет выдавать некорректные результаты. Существует несколько наиболее распространённых метрик качества классификации. Рассмотрим их.

1. Accuracy (точность классификации)
Accuracy — это процент правильно классифицированных объектов относительно общего количества.

Пример: если из 100 объектов модель правильно предсказала 90, то accuracy = 90%. Однако, эта метрика может быть обманчивой, если классы несбалансированы. Например, если 95% объектов принадлежат классу "A" и только 5% — классу "B", модель может всегда предсказывать "A" и получать высокую точность, полностью игнорируя класс "B".

2. Precision (точность предсказаний)
Precision показывает долю правильно предсказанных объектов для конкретного класса из всех объектов, которые модель отнесла к этому классу.

Пример: если модель предсказала, что 10 объектов принадлежат классу "B", но на самом деле только 8 из них действительно принадлежат "B", то precision будет равен 80%.

3. Recall (чувствительность)
Recall измеряет долю объектов данного класса, которые модель правильно предсказала, от общего количества объектов этого класса.

Пример: если в выборке 20 объектов принадлежат классу "B", а модель правильно предсказала только 8 из них, то recall рассчитывается по формуле:

Recall = ^{Правильно классифицированные}⁄_{Общее количество объектов класса}

4. F1-score
F1-score — это гармоническое среднее между precision и recall. Эта метрика используется, когда нужно сбалансировать точность и полноту. Формула для расчёта F1-score:

F1 = 2 ⋅ (Precision ⋅ Recall) / (Precision + Recall)