#4 – Описательная статистика. Библиотека Pandas и SciPy

Что такое описательная статистика?

В базовом понимании описательная статистика помогает нам понять основные характеристики набора данных, такие как среднее значение, медиана, мода, разброс данных, распределение и тому подобное. Это важный этап в Data Analytics, так как он помогает сделать предварительные выводы и определить дальнейшие шаги анализа.

Основные метрики

Чтобы позже у нас не возникало лишних вопросов, давайте сразу определимся с тем, какие существуют основные метрики и какое у них значение.

Значение Mean. Это среднее значение всех чисел в наборе данных. Оно показывает центральное значение данных.

Значение Median. Это срединное значение в отсортированном наборе данных. Это значение разделяет данные на две равные части.

Значение Mode или мода. Это наиболее часто встречающееся значение в наборе данных.

Значение разброс (Variance) и стандартное отклонение. Это показатели того, насколько данные отклоняются от среднего значения.

Значение квантили (Quantiles) и процентиль (Percentiles). Это значения, которые разделяют данные на определенные части (например, медиана — это 50-й процентиль).

Это основные метрики, которые сходу могут показаться сложными для запоминания, но мы еще детально рассмотрим их на практике.

Что такое SciPy и зачем она нужна?

SciPy — это библиотека Python, которая расширяет возможности NumPy и предназначена для выполнения научных и технических вычислений. Она предоставляет набор функций и инструментов для решения различных задач, таких как интеграция, оптимизация, статистика, линейная алгебра и многое другое.

Если NumPy — это базовый инструмент для работы с многомерными массивами и выполнения простых математических операций, то SciPy добавляет дополнительные возможности для более сложных научных и инженерных задач.

Почему SciPy важна?

SciPy включает в себя более сложные математические функции, которые недоступны в NumPy. Это делает её особенно полезной для задач, требующих сложных вычислений.

Также SciPy состоит из множества специализированных модулей, каждый из которых решает определённые задачи. Например, есть модули для численного интегрирования, нахождения минимумов и максимумов функций, работы со статистикой и для линейной алгебры.

Как и NumPy, SciPy написана на языке C, что обеспечивает высокую скорость вычислений, особенно при работе с большими наборами данных.