Python: DuckDB(2)

#Basic #NYCDB

간단하게 DUCKDB 에서 paruet 파일 읽어서 SQL 하나 날려본다.

https://duckdb.org/docs/data/parquet/overview

Reading and Writing Parquet Files

읽는 방법은 여기서 확인하고,

---

import duckdb

conn = duckdb.connect()

file_path = './nyc_data/*.parquet'

result = con.execute(f"""

    SELECT 

        passenger_count,

        total_amount,

        RANK() OVER (PARTITION BY passenger_count ORDER BY total_amount DESC) AS rank

    FROM read_parquet('{file_path}')

    WHERE passenger_count IS NOT NULL

""").fetch_arrow_table()

# polars 로 데이터 확인

print(pl.from_arrow(result))

---

** 복잡하게 os.walk 로 디렉토리에 있는 parquet 파일만 찾아서 파일 이름을 List 에 넣는 그런...

일은 하지 않아도 된다.

5초 정도...

이걸 똑같이 polars 로 옮겨보면

---

import polars as pl

# file_path 는 위와 동일하게 사용

df = pl.scan_parquet(file_path)

df = df.with_columns(

    pl.col('total_amount').rank("dense").over('passenger_count').alias('rank')

).filter(

    pl.col('passenger_count').is_not_null()

).select([

    pl.col('passenger_count'), pl.col('total_amount'), pl.col('rank')

]).collect()

print(df)

---

scan_parquet 은 이전에도 포스팅에 언급했는데 쓰면 빠르다...

1.29초 정도...

SQL 의 장점만 가져가야 하는 걸까?