Texto e categorias em pandas

Uma coluna de cidade pode conter "Porto", " porto " e "PORTO". São três strings diferentes, mas podem identificar a mesma cidade. Normalizar texto exige uma regra sobre o que deve ser tratado como equivalente.

Métodos de strings numa coluna

import pandas as pd
cidades = pd.Series([" Porto ", "BRAGA", None, "porto"], dtype="string")
limpas = cidades.str.strip().str.lower()
print(limpas.to_list())
print(limpas.str.contains("port", regex=False, na=False).to_list())
print(limpas.value_counts(dropna=False).to_string())

As strings conhecidas ficam porto, braga e porto; a ausência mantém-se. O filtro é [True, False, False, True]. na=False define que as linhas sem texto não são selecionadas.

A propriedade .str aplica métodos de texto aos elementos da Series. str.len() calcula o comprimento, str.startswith() e str.endswith() testam extremos. str.split(";", expand=True) divide campos e devolve colunas separadas.

Texto literal e expressões regulares

str.contains pode interpretar o padrão como uma expressão regular. Um ponto numa expressão regular significa normalmente “qualquer carácter”, não um ponto literal. Para procurar texto literal, indica regex=False.

str.replace também permite escolher o modo. Escreve o argumento quando a distinção é relevante, porque os valores por defeito mudaram em versões anteriores.

codigos = pd.Series(["PT-001", "PT-014", "sem código"], dtype="string")
extraidos = codigos.str.extract(r"^PT-(\d{3})$", expand=False)

O padrão exige o prefixo PT-, exatamente três algarismos e nenhum texto extra. O resultado conserva os algarismos como texto, incluindo zeros iniciais; a linha sem correspondência fica em falta. Os parênteses definem o grupo capturado. Se não estudaste expressões regulares, começa pela separação com um delimitador e só usa um padrão quando a estrutura do campo o exige.

Categorias

Uma coluna categórica representa valores de um conjunto de categorias. Pode reduzir repetição e permitir uma ordem explícita. Converter uma string para categoria não corrige erros ortográficos.

import pandas as pd
tipo = pd.CategoricalDtype(categories=["baixo", "médio", "alto"], ordered=True)
prioridades = pd.Series(["alto", "baixo", "médio", "baixo"], dtype=tipo)
print(prioridades.sort_values().to_list())
print((prioridades > "médio").to_list())

A ordem é baixo, baixo, médio, alto. Só a primeira observação original é maior que médio. Uma ordenação alfabética não expressaria essa hierarquia.

serie.cat.categories lista categorias possíveis. .cat.codes mostra códigos internos, mas esses códigos não são medidas numéricas. A diferença entre os códigos de baixo e alto não representa uma distância quantitativa.

Categorias não observadas e ausências

Uma categoria pode existir no tipo sem aparecer nos dados. Ao agrupar categorias, indica observed=True para considerar apenas combinações observadas ou observed=False quando queres também categorias definidas sem observações. O valor por defeito depende da versão.

Um valor fora das categorias declaradas pode transformar-se em ausência durante a conversão. Confere as strings antes e o número de nulos depois. Acrescentar uma categoria com .cat.add_categories define um valor possível; não cria observações dessa categoria.