Как обновить индексы в pandas

Как изменить одно или несколько значений индекса в Pandas

Вы можете использовать следующий синтаксис для изменения одного значения индекса в кадре данных pandas:

df.rename(index=, inplace= True ) 

И вы можете использовать следующий синтаксис для одновременного изменения нескольких значений индекса:

df.rename(index=, inplace= True ) 

В следующих примерах показано, как использовать этот синтаксис на практике.

Пример 1: изменение одного значения индекса в Pandas DataFrame

Предположим, у нас есть следующие Pandas DataFrame:

import pandas as pd #create DataFrame df = pd.DataFrame() #make 'team' column the index column df.set_index('team', inplace= True ) #view DataFrame df points assists rebounds team A 25 5 11 B 12 7 8 C 15 7 10 D 14 9 6 E 19 12 6 F 23 9 5 G 25 9 9 H 29 4 12 

Мы можем использовать следующий код, чтобы заменить значение «A» в столбце индекса на «P»:

#replace 'A' with 'P' in index df.rename(index=, inplace= True ) #view updated DataFrame df points assists rebounds team P 25 5 11 B 12 7 8 C 15 7 10 D 14 9 6 E 19 12 6 F 23 9 5 G 25 9 9 H 29 4 12 

Обратите внимание, что значение «A» в исходном индексе было заменено, а все остальные значения остались прежними.

Пример 2: изменение нескольких значений индекса в Pandas DataFrame

Предположим, у нас есть тот же самый pandas DataFrame, что и раньше:

#view DataFrame df points assists rebounds team A 25 5 11 B 12 7 8 C 15 7 10 D 14 9 6 E 19 12 6 F 23 9 5 G 25 9 9 H 29 4 12 

Мы можем использовать следующий код для замены значений «A» и «B» в столбце индекса:

#replace 'A' with 'P' and replace 'B' with 'Q' in index df.rename(index=, inplace= True ) #view updated DataFrame df points assists rebounds team P 25 5 11 Q 12 7 8 C 15 7 10 D 14 9 6 E 19 12 6 F 23 9 5 G 25 9 9 H 29 4 12 

Обратите внимание, что значения «A» и «B» в исходном индексе были заменены, а все остальные значения остались прежними.

Вы можете использовать точно такой же синтаксис для замены любого количества значений в индексе.

Дополнительные ресурсы

В следующих руководствах объясняется, как выполнять другие распространенные операции в pandas:

Как сбросить индекс в Pandas DataFrame(с примерами)

Вы можете использовать следующий синтаксис для сброса индекса в pandas DataFrame:

df.reset_index(drop= True , inplace= True ) 

Обратите внимание на следующие аргументы:

• drop : Указание True запрещает pandas сохранять исходный индекс в виде столбца в DataFrame.
• inplace : Указание True позволяет pandas заменить индекс в исходном DataFrame вместо создания копии DataFrame.

В следующих примерах показано, как использовать этот синтаксис на практике.

Пример 1: сбросить индекс и удалить старый индекс

Предположим, у нас есть следующие Pandas DataFrame:

import pandas as pd #define DataFrame df = pd.DataFrame(, index=[0, 4, 3, 5, 2, 1, 7, 6]) #view DataFrame print(df) points assists rebounds 0 25 5 11 4 12 7 8 3 15 7 10 5 14 9 6 2 19 12 6 1 23 9 5 7 25 9 9 6 29 4 12 

В следующем коде показано, как сбросить индекс DataFrame и полностью удалить старый индекс:

#reset index df.reset_index(drop= True , inplace= True ) #view updated DataFrame print(df) points assists rebounds 0 25 5 11 1 12 7 8 2 15 7 10 3 14 9 6 4 19 12 6 5 23 9 5 6 25 9 9 7 29 4 12 

Обратите внимание, что индекс был сброшен, и значения в индексе теперь находятся в диапазоне от 0 до 7.

Пример 2: сбросить индекс и сохранить старый индекс как столбец

Предположим, у нас есть следующие Pandas DataFrame:

import pandas as pd #define DataFrame df = pd.DataFrame(, index=['A', 'C', 'D', 'B', 'E', 'G', 'F', 'H']) #view DataFrame print(df) points assists rebounds A 25 5 11 C 12 7 8 D 15 7 10 B 14 9 6 E 19 12 6 G 23 9 5 F 25 9 9 H 29 4 12 

В следующем коде показано, как сбросить индекс DataFrame и сохранить старый индекс в виде столбца в DataFrame:

#reset index and retain old index as a column df.reset_index(inplace= True ) #view updated DataFrame print(df) index points assists rebounds 0 A 25 5 11 1 C 12 7 8 2 D 15 7 10 3 B 14 9 6 4 E 19 12 6 5 G 23 9 5 6 F 25 9 9 7 H 29 4 12 

Обратите внимание, что индекс был сброшен, и значения в индексе теперь находятся в диапазоне от 0 до 7.

Также обратите внимание, что старый индекс (с буквами) сохраняется как новый столбец в DataFrame под названием «индекс».

Дополнительные ресурсы

В следующих руководствах объясняется, как выполнять другие распространенные операции в pandas:

pandas.DataFrame.reset_index#

Reset the index of the DataFrame, and use the default one instead. If the DataFrame has a MultiIndex, this method can remove one or more levels.

Parameters : level int, str, tuple, or list, default None

Only remove the given levels from the index. Removes all levels by default.

drop bool, default False

Do not try to insert index into dataframe columns. This resets the index to the default integer index.

inplace bool, default False

Whether to modify the DataFrame rather than creating a new one.

col_level int or str, default 0

If the columns have multiple levels, determines which level the labels are inserted into. By default it is inserted into the first level.

col_fill object, default ‘’

If the columns have multiple levels, determines how the other levels are named. If None then the index name is repeated.

allow_duplicates bool, optional, default lib.no_default

Allow duplicate column labels to be created.

New in version 1.5.0.

names int, str or 1-dimensional list, default None

Using the given string, rename the DataFrame column which contains the index data. If the DataFrame has a MultiIndex, this has to be a list or tuple with length equal to the number of levels.

New in version 1.5.0.

Returns : DataFrame or None

DataFrame with the new index or None if inplace=True .

Opposite of reset_index.

Change to new indices or expand indices.

Change to same indices as other DataFrame.

>>> df = pd.DataFrame([('bird', 389.0), . ('bird', 24.0), . ('mammal', 80.5), . ('mammal', np.nan)], . index=['falcon', 'parrot', 'lion', 'monkey'], . columns=('class', 'max_speed')) >>> df class max_speed falcon bird 389.0 parrot bird 24.0 lion mammal 80.5 monkey mammal NaN 

When we reset the index, the old index is added as a column, and a new sequential index is used:

>>> df.reset_index() index class max_speed 0 falcon bird 389.0 1 parrot bird 24.0 2 lion mammal 80.5 3 monkey mammal NaN 

We can use the drop parameter to avoid the old index being added as a column:

>>> df.reset_index(drop=True) class max_speed 0 bird 389.0 1 bird 24.0 2 mammal 80.5 3 mammal NaN 

You can also use reset_index with MultiIndex .

>>> index = pd.MultiIndex.from_tuples([('bird', 'falcon'), . ('bird', 'parrot'), . ('mammal', 'lion'), . ('mammal', 'monkey')], . names=['class', 'name']) >>> columns = pd.MultiIndex.from_tuples([('speed', 'max'), . ('species', 'type')]) >>> df = pd.DataFrame([(389.0, 'fly'), . (24.0, 'fly'), . (80.5, 'run'), . (np.nan, 'jump')], . index=index, . columns=columns) >>> df speed species max type class name bird falcon 389.0 fly parrot 24.0 fly mammal lion 80.5 run monkey NaN jump 

Using the names parameter, choose a name for the index column:

>>> df.reset_index(names=['classes', 'names']) classes names speed species max type 0 bird falcon 389.0 fly 1 bird parrot 24.0 fly 2 mammal lion 80.5 run 3 mammal monkey NaN jump 

If the index has multiple levels, we can reset a subset of them:

>>> df.reset_index(level='class') class speed species max type name falcon bird 389.0 fly parrot bird 24.0 fly lion mammal 80.5 run monkey mammal NaN jump 

If we are not dropping the index, by default, it is placed in the top level. We can place it in another level:

>>> df.reset_index(level='class', col_level=1) speed species class max type name falcon bird 389.0 fly parrot bird 24.0 fly lion mammal 80.5 run monkey mammal NaN jump 

When the index is inserted under another level, we can specify under which one with the parameter col_fill :

>>> df.reset_index(level='class', col_level=1, col_fill='species') species speed species class max type name falcon bird 389.0 fly parrot bird 24.0 fly lion mammal 80.5 run monkey mammal NaN jump 

If we specify a nonexistent level for col_fill , it is created:

>>> df.reset_index(level='class', col_level=1, col_fill='genus') genus speed species class max type name falcon bird 389.0 fly parrot bird 24.0 fly lion mammal 80.5 run monkey mammal NaN jump 

Возможности объектов Index в pandas / pd 3

В отличие от других структур данных в Python pandas не только пользуется преимуществами высокой производительности массивов NumPy, но и добавляет в них индексы.

Этот выбор оказался крайне удачным. Несмотря на и без того отличную гибкость, которая обеспечивается существующими динамическими структурами, внутренние ссылки на их элементы (а именно ими и являются метки) позволяют разработчикам еще сильнее упрощать операции.

В этом разделе речь пойдет о некоторых базовых функциях, использующих этот механизм:

• Переиндексирование
• Удаление
• Выравнивание

Переиндексирование df.reindex()

Вы уже знаете, что после объявления в структуре данных объект Index нельзя менять. Но с помощью операции переиндексирования это можно решить.

Существует даже возможность получить новую структуру из уже существующей, где правила индексирования заданы заново.

>>> ser = pd.Series([2,5,7,4], index=['one','two','three','four']) >>> ser one 2 two 5 three 7 four 4 dtype: int64 

Для того чтобы провести переиндексирование объекта Series библиотека pandas предоставляет функцию reindex() . Она создает новый объект Series со значениями из другого Series , которые теперь переставлены в соответствии с новой последовательностью меток.

При операции переиндексирования можно поменять порядок индексов, удалить некоторые из них или добавить новые. Если метка новая, pandas добавит NaN на место соответствующего значения.

>>> ser.reindex(['three','four','five','one']) three 7.0 four 4.0 five NaN one 2.0 dtype: float64 

Как видно по выводу, порядок меток можно поменять полностью. Значение, которое раньше соответствовало метке two , удалено, зато есть новое с меткой five .

Тем не менее в случае, например, с большим Dataframe , не совсем удобно будет указывать новый список меток. Вместо этого можно использовать метод, который заполняет или интерполирует значения автоматически.

Для лучшего понимания механизма работы этого режима автоматического индексирования создадим следующий объект Series .

>>> ser3 = pd.Series([1,5,6,3],index=[0,3,5,6]) >>> ser3 0 1 3 5 5 6 6 3 dtype: int64 

В этом примере видно, что колонка с индексами — это не идеальная последовательность чисел. Здесь пропущены цифры 1, 2 и 4. В таком случае нужно выполнить операцию интерполяции и получить полную последовательность чисел. Для этого можно использовать reindex с параметром method равным ffill . Более того, необходимо задать диапазон значений для индексов. Тут можно использовать range(6) в качестве аргумента.

>>> ser3.reindex(range(6),method='ffill') 0 1 1 1 2 1 3 5 4 5 5 6 dtype: int64 

Теперь в объекте есть элементы, которых не было в оригинальном объекте Series . Операция интерполяции сделала так, что наименьшие индексы стали значениями в объекте. Так, индексы 1 и 2 имеют значение 1, принадлежащее индексу 0.

Если нужно присваивать значения индексов при интерполяции, необходимо использовать метод bfill .

>>> ser3.reindex(range(6),method='bfill') 0 1 1 5 2 5 3 5 4 6 5 6 dtype: int64 

В этом случае значения индексов 1 и 2 равны 5, которое принадлежит индексу 3.

Операция отлично работает не только с Series , но и с Dataframe . Переиндексирование можно проводить не только на индексах (строках), но также и на колонках или на обоих. Как уже отмечалось, добавлять новые индексы и колонки возможно, но поскольку в оригинальной структуре есть недостающие значения, на их месте будет NaN .

>>> frame.reindex(range(5), method='ffill',columns=['colors','price','new', 'object']) 

item	colors	price	new	object
id
0	blue	1.2	blue	ball
1	green	1.0	green	pen
2	yellow	3.3	yellow	pencil
3	red	0.9	red	paper
4	white	1.7	white	mug

Удаление

Еще одна операция, связанная с объектами Index — удаление. Удалить строку или колонку не составит труда, потому что метки используются для обозначения индексов и названий колонок.

В этом случае pandas предоставляет специальную функцию для этой операции, которая называется drop() . Метод возвращает новый объект без элементов, которые необходимо было удалить.

Например, возьмем в качестве примера случай, где из объекта нужно удалить один элемент. Для этого определим базовый объект Series из четырех элементов с 4 отдельными метками.

>>> ser = pd.Series(np.arange(4.), index=['red','blue','yellow','white']) >>> ser red 0.0 blue 1.0 yellow 2.0 white 3.0 dtype: float64 

Теперь, предположим, необходимо удалить объект с меткой yellow . Для этого нужно всего лишь указать ее в качестве аргумента функции drop() .

>>> ser.drop('yellow') red 0.0 blue 1.0 white 3.0 dtype: float64 

Для удаления большего количества элементов, передайте массив с соответствующими индексами.

>>> ser.drop(['blue','white']) red 0.0 yellow 2.0 dtype: float64 

Если речь идет об объекте Dataframe , значения могут быть удалены с помощью ссылок на метки обеих осей. Возьмем в качестве примера следующий объект.

>>> frame = pd.DataFrame(np.arange(16).reshape((4,4)), ... index=['red', 'blue', 'yellow', 'white'], ... columns=['ball', 'pen', 'pencil', 'paper']) >>> frame 

ball	pen	pencil	paper
red	0	1	2	3
blue	4	5	6	7
yellow	8	9	10	11
white	12	13	14	15

Для удаления строк просто передайте индексы строк.

>>> frame.drop(['blue','yellow']) 

ball	pen	pencil	paper
red	0	1	2	3
white	12	13	14	15

Для удаления колонок необходимо указывать индексы колонок, а также ось, с которой требуется удалить элементы. Для этого используется параметр axis . Чтобы сослаться на название колонки, нужно написать axis=1 .

>>> frame.drop(['pen','pencil'],axis=1) 

ball	paper
red	0	3
blue	4	7
yellow	8	11
white	12	15

Арифметика и выравнивание данных

Наверное, самая важная особенность индексов в этой структуре данных — тот факт, что pandas может выравнивать индексы двух разных структур. Это особенно важно при выполнении арифметических операций на их значениях. В этом случае индексы могут быть не только в разном порядке, но и присутствовать лишь в одной из двух структур.

В качестве примера можно взять два объекта Series с разными метками.

>>> s1 = pd.Series([3,2,5,1],['white','yellow','green','blue']) >>> s2 = pd.Series([1,4,7,2,1],['white','yellow','black','blue','brown']) 

Теперь воспользуемся базовой операцией сложения. Как видно по примеру, некоторые метки есть в обоих структурах, а остальные — только в одной. Если они есть в обоих случаях, их значения складываются, а если только в одном — то значением будет NaN .

>>> s1 + s2 black NaN blue 3.0 brown NaN green NaN white 4.0 yellow 6.0 dtype: float64 

При использовании Dataframe выравнивание работает по тому же принципу, но проводится и для рядов, и для колонок.

>>> frame1 = pd.DataFrame(np.arange(16).reshape((4,4)), ... index=['red','blue','yellow','white'], ... columns=['ball','pen','pencil','paper']) >>> frame2 = pd.DataFrame(np.arange(12).reshape((4,3)), ... index=['blue','green','white','yellow'], ... columns=['mug','pen','ball']) >>> frame1 

ball	pen	pencil	paper
red	0	1	2	3
blue	4	5	6	7
yellow	8	9	10	11
white	12	13	14	15

>>> frame2 

mug	pen	ball
blue	0	1	2
green	3	4	5
white	6	7	8
yellow	9	10	11

>>> frame1 + frame2 

ball	mug	paper	pen	pencil
blue	6.0	NaN	NaN	6.0	NaN
green	NaN	NaN	NaN	NaN	NaN
red	NaN	NaN	NaN	NaN	NaN
white	20.0	NaN	NaN	20.0	NaN
yellow	19.0	NaN	NaN	19.0	NaN