Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

pandas для анализа данных: таблицы в Python вместо Excel — что умеет библиотека и как её освоить

pandas — бесплатная библиотека Python для работы с таблицами. Аналитик загружает в неё CSV-файл или лист Excel и получает DataFrame — таблицу с именованными столбцами, у каждого из которых свой тип данных. Дальше он отбирает нужные строки, исправляет типы, заполняет или убирает пропуски, считает итоги через groupby, соединяет таблицы через merge и строит сводные через pivot_table, а результат сохраняет обратно в Excel. Для старта нужна база Python. Самые опасные ошибки в pandas тихие: строки пропадают или размножаются без единого сообщения.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: pandas для анализа данных: таблицы в Python вместо Excel — что умеет библиотека и как её освоить

Главное отличие от Excel не в скорости, а в том, что каждое действие записано кодом. В таблице Excel видно только итоговое число, а какие строки вы удалили фильтром месяц назад и где вставили значения поверх формулы, уже не узнать. В pandas путь от сырого файла до отчёта виден целиком: его можно перезапустить на новой выгрузке, показать коллеге и найти шаг, на котором сумма разошлась с ожидаемой. Отсюда и распространённое заблуждение новичков: если код отработал без ошибки, результат верен. Это не так, и ниже показано, где именно pandas молчит.

DataFrame и Series: как pandas видит таблицу

DataFrame состоит из столбцов-Series. Series — это одномерный набор значений одного типа с подписями строк, которые называются индексом. Тип задаётся для всего столбца: даты хранятся как даты, числа как числа, строки как строки. Если в столбце сумм встретилась одна ячейка «нет данных», pandas прочитает весь столбец как текст, и сложение превратится в склейку строк. Поэтому первое, что делает аналитик после загрузки, — смотрит df.info(): сколько строк, какие типы, сколько непустых значений в каждом столбце.

Вторая особенность — операции над целым столбцом: вместо протянутой формулы пишется df["выручка"] = df["цена"] * df["количество"]. Цикл по строкам в pandas почти всегда означает, что задачу можно решить проще.

pandas подходит не для всего. Если отчёт строится раз в квартал из одной небольшой таблицы, сводная в Excel быстрее. Если данные лежат в базе, фильтр и группировку разумнее сделать SQL-запросом и забирать в pandas уже результат. pandas держит всю таблицу в оперативной памяти, поэтому на файлах в десятки гигабайт смотрят в сторону Polars или DuckDB. Polars — отдельная библиотека таблиц с другим синтаксисом: она умеет откладывать вычисления до финального запроса и использует все ядра процессора. Начинать всё же удобнее с pandas: на неё опирается большинство учебников и библиотек.

Учебный пример: заказы и справочник пунктов выдачи

Ситуация учебная. Служба доставки выгружает заказы за квартал в CSV, а справочник пунктов выдачи ведёт в Excel. Руководитель просит таблицу: число заказов и средний чек по городам и месяцам. Скрипт может выглядеть так:

import pandas as pd

orders = pd.read_csv("заказы.csv", parse_dates=["дата"])
points = pd.read_excel("пункты.xlsx", sheet_name="Справочник")

print(orders.shape, orders.isna().sum())
orders = orders.drop_duplicates(subset="номер заказа")

full = orders.merge(points, on="код пункта", how="left", indicator=True)
print(len(orders), len(full), full["_merge"].value_counts())

full["месяц"] = full["дата"].dt.to_period("M")
report = full.pivot_table(index="город", columns="месяц",
                          values="сумма", aggfunc=["count", "mean"])
report.to_excel("отчёт по городам.xlsx")

Строка с print после объединения — не украшение. Параметр indicator=True добавляет столбец _merge, где для каждой строки указано, нашлась ли пара в справочнике. Если заметная часть заказов помечена как left_only, коды пунктов в двух файлах записаны по-разному: с ведущими нулями и без, текстом и числом.

Сравнение len(orders) и len(full) ловит более коварную ошибку. Курьерские заказы не привязаны к пункту выдачи, и код пункта у них пустой. Допустим, в справочнике тоже остались две строки с пустым кодом — закрытые пункты, которые не удалили. В SQL пустое значение ни с чем не совпадает, и такие строки просто не нашли бы пары. В pandas иначе: в документации к функции merge для версии 3.0.6 прямо сказано, что строки, где ключ пуст в обеих таблицах, сопоставляются друг с другом, и это отличается от обычного поведения SQL-соединения. Каждый курьерский заказ получит обе «пустые» строки справочника, и 300 курьерских заказов превратятся в 600. Ошибки не будет, а количество заказов и выручка в отчёте вырастут. Защита простая: перед объединением убрать из справочника строки без ключа через points.dropna(subset=["код пункта"]) и каждый раз сверять число строк до и после.

Что нужно знать до начала и в каком порядке осваивать pandas

До pandas стоит освоить основы Python: переменные, списки и словари, функции, импорт библиотек. Без этого ошибки вида KeyError или TypeError будут непонятны. Работать удобно в Jupyter Notebook или Google Colab.

Порядок ниже построен так, чтобы каждый шаг опирался на предыдущий. Пока таблица не загружена и не осмотрена, фильтровать нечего. Группировка на столбцах с неверными типами даёт бессмысленные суммы, поэтому очистка идёт раньше. Объединение стоит ближе к концу: оно сложнее всего проверяется, и без привычки сверять числа его ошибки легко пропустить.

  1. Чтение и осмотр: read_csv, read_excel, head, info, describe, размер таблицы.
  2. Отбор: столбцы по именам, строки по условию через loc и query, сортировка.
  3. Типы и пропуски: astype, to_datetime, isna, fillna, drop_duplicates, строковые методы .str.
  4. Группировка и сводные: groupby с agg, pivot_table с итогами margins=True.
  5. Объединение: merge с параметрами how, indicator и validate, склейка выгрузок через concat.
  6. Сохранение: запись в Excel с несколькими листами и скрипт, который строит отчёт от сырых файлов.

Учтите версию. pandas 3.0, вышедшая 21 января 2026 года, перевела всю библиотеку на режим Copy-on-Write: любой отбор ведёт себя как копия, а цепочка вида df[условие]["столбец"] = 0 исходную таблицу больше не меняет. Предупреждение SettingWithCopyWarning из старых учебников удалено, а значение по условию меняют одной операцией: df.loc[условие, "столбец"] = 0.

Первые пять шагов можно пройти по официальному руководству «10 minutes to pandas» и на открытых наборах данных. Если нужна программа с наставником и математикой для дальнейшего роста, посмотрите онлайн-курс Бруноям «Data Scientist»: обучение длится восемь месяцев, и библиотекам NumPy, Pandas и Matplotlib там отведён отдельный модуль из шести уроков сразу после основ синтаксиса и структур данных. В базовом тарифе задания не проверяет эксперт, наставник есть только в старших тарифах — это стоит учесть при выборе.

Открыть курс «Data Scientist»

Упражнения и проверка результата

Лучшее первое упражнение — повторить в pandas сводную, которую вы уже собирали в Excel, и сравнить числа до рубля. Если они разошлись, ищите причину: обычно это дубли, текстовые суммы или пропущенные строки. Второе — разделить одну большую таблицу на три части по месяцам, а затем собрать обратно через concat и проверить, что не пропало ни одной строки.

Проверку результата полезно превратить в привычку из трёх действий. Первое — контрольная сумма: итог по группам должен совпадать с общей суммой по исходной таблице. Второе — число строк после каждого объединения и удаления дублей. Третье — выборочная ручная сверка: выведите пять случайных строк через df.sample(5) и найдите их в исходном файле.

Когда упражнения на учебных таблицах получаются, нужна работа с данными, похожими на рабочие. На онлайн-курсе Яндекс Практикума «Аналитик данных» Python и предобработка идут после блоков по SQL и дашбордам, pandas указан среди инструментов, а в базовой программе восемь проектов. Нагрузка — около 15 часов в неделю, а учебные данные обычно чище настоящих выгрузок.

Где новички ошибаются

Вторая тихая ошибка — потеря строк при группировке. По документации groupby параметр dropna по умолчанию равен True: строки с пустым значением в столбце группировки в итог не попадают. Если у части заказов не указан город, сумма по городам окажется меньше общей, и никакого предупреждения не будет. Передайте dropna=False, и пустые значения соберутся в отдельную группу.

Даты, прочитанные как текст, сортируются как строки, и 2 февраля («02.02») окажется раньше 10 января («10.01»). Помогает pd.to_datetime с явным форматом. Числа с пробелом между разрядами вроде «1 250» тоже читаются как строки; это лечится параметром thousands при чтении или очисткой столбца. Для чтения xlsx нужна отдельно установленная библиотека openpyxl: без неё read_excel выдаст ошибку об отсутствующей зависимости.

Как навык влияет на доход

pandas редко оплачивается отдельно: в вакансиях аналитика данных, продуктового аналитика или дата-сайентиста библиотека стоит одной строкой рядом с Python и SQL. В калькуляторе зарплат Хабр Карьеры по фильтру «аналитик данных, навык pandas» в октябре 2026 года указано 199 895 ₽ по 35 анкетам, без деления по регионам и уровням. Выборка маленькая, а по методике калькулятора это медиана по анкетам самих пользователей за скользящие шесть месяцев, а не предложения работодателей. Прибавкой за навык эту цифру считать нельзя: она отражает и опыт тех, кто его указал.

Для экономиста или маркетолога отдача чаще видна в задачах: становятся доступны выгрузки, которые не помещаются в Excel, и отчёты, которые раньше собирали руками.

С какими профессиями связан навык и как выбрать обучение

pandas — рабочий инструмент аналитика данных, продуктового и финансового аналитика, дата-сайентиста, исследователя в биологии или социологии. Для специалиста по машинному обучению это подготовительный этап: таблицу чистят и собирают в pandas, а затем передают в модель.

Если цель — машинное обучение, pandas станет лишь частью программы. На онлайн-курсе Skillbox «Data Scientist + ИИ» библиотека входит в базовый блок вместе с Python, структурами данных, API и SQL, а дальше идут статистика, модели и их запуск. Программа рассчитана на двенадцать месяцев и больше двадцати проектов; широкий набор технологий требует самодисциплины и может дать поверхностное знание отдельных тем.

Открыть курс «Профессия Data scientist»

Перед оплатой обучения проверьте три вещи. На каких данных идут задания: на чистых учебных таблицах или на выгрузках с пропусками и дублями. Какая версия pandas используется в материалах: код, написанный до 2026 года, местами ведёт себя иначе. И проверяет ли код живой человек, который объяснит, почему отчёт формально верен, а сумма не сходится.

Сравнить онлайн-школы по программе, практике и поддержке можно в рейтинге онлайн-школ с обучением анализу данных: он общий для профессии аналитика и не выделяет курсы именно по pandas, поэтому смотрите на описание модулей. А до выбора программы возьмите одну свою еженедельную таблицу и соберите её через pandas — через два-три вечера станет ясно, хватает ли самостоятельных занятий.