Polars #08

#Struct #구조체 #vs.Pandas

간단한 DataFrame 을 만들고 그 안에서

기존 컬럼들을 조합해서 Dict 타입의 새로운 컬럼을 생성해보자.

- struct 키워드를 알아야 한다.

- with_columns 함수를 사용한다.

- pandas 문법과 성능을 비교한다.

아래와 같은 데이터셋을 생성한다.

---

%%time

import polars as pl

pl.Config(fmt_table_cell_list_len=10)

gt = 1000000

df = pl.DataFrame({

    'A': [i for i in range(gt)],

    'B': [str(i)+'_STR' for i in range(gt)],

    'C': [bool(i) for i in range(gt)],

    'D': [i * 10 for i in range(gt)]

})

---

이제 A, B, C 를 사용해서 Dict 형태의 구조체를 만들어 보자.

---

%%time

df = df.with_columns([

    pl.struct(['A', 'B', 'C']).alias('abc_struct'),

    pl.struct(['B', 'C', 'D']).alias('bcd_struct')

])

df

---

어렵지 않게 구조체 데이터를 생성할 수 있다.

여기서,

abc_struct 의 값에 접근해서 값을 변경 할 수 있을까?

아직 그런 함수는 찾지 못했다.

하지만!

다른 방식으로 접근한다면 가능하다.

변경하고자 하는 key 값의 데이터를 변경하고 새로운 컬럼으로 추가한다.

그리고 다시 다른 값들과 조합해서 struct 를 생성한다.

---

%%time

df = df.with_columns([

    (pl.col('abc_struct').struct.field('A') ** 2).alias('tmp_modified_a_field')

]).with_columns([

    pl.struct(['tmp_modified_a_field', 'B', 'C']).alias('abc_struct')

]).drop(['tmp_modified_a_field'])

---

이걸 pandas 에서 돌려보았는데

시간이 너무 오래 걸려서 그만 두었다.

즉, 성능 비교 자체가 어렵다!

polars 에서도 apply, lambda, map 등을 사용하면 pandas 처럼 느려진다.

최대한 functional API 를 잘 조합해서 로직을 만드는게 최우선이다.

도저히 만들 수 없을 때

Rust 를 살짝 배워서 원하는 로직을 UDF 로 만들고

Python 에서 import 해서 polars 와 함께 사용하면 될 것이다.