Python: cProfiler

#cProfiler #pstats #pandas #polars

프로파일러.

어떤 함수가 어떻게 사용되었고 시간은 얼마나 걸렸는지

함수가 다른 함수를 콜하는 행위와 수행시간 등을 분석한다.

간단하 예시로 기억해두면 될 것 같다.

우선 Polars vs. pandas 비교를 위해 각각 데이터를 만드는데

억지스럽게(?) 데이터의 양을 늘려서 생성해본다.

---

import pandas as pd

import polars as pl

# 예제 데이터 생성

data = {

    "name": ["Alice", "Bob", "Alice", "Bob", "Alice", "Bob", "David"] * 10000,

    "year": [2020, 2020, 2021, 2021, 2022, 2022, 2023] * 10000,

    "value": [10, 20, 15, 25, 30, 35, 78] * 10000,

}

pandas_df = pd.DataFrame(data)

polars_df = pl.DataFrame(data)

---

더 복잡한 데이터(예를 들어, nyc)를 사용하면 더 좋은 분석을 할 수 있을 것 같다.

cProfiler 를 contextmanager 로 생성 후,

다양한 분석 함수(sort, groupby, rank, etc,.) 를 사용하는 함수를 작성한다.

---

import cProfile

import pstats

from io import StringIO

from contextlib import contextmanager

def pandas_groupby_partition():

    result = pandas_df.groupby('name').apply(lambda x: x.sort_values('year')).reset_index(drop=True)

    result['rank'] = result.groupby('name').cumcount() + 1

    return result

def polars_groupby_partition():

    result = polars_df.sort(by=['name', 'year'])

    result = result.with_columns(pl.col('year').rank().over('name').alias('rank'))

    return result

@contextmanager

def profile_function():

    profiler = cProfile.Profile()

    profiler.enable()

    yield

    profiler.disable()

    s = StringIO()

    sortby = 'cumulative'

    ps = pstats.Stats(profiler, stream=s).sort_stats(sortby)

    ps.print_stats()

    print()

    print(s.getvalue())

# pandas 성능 측정

print("Pandas Groupby Partition Profiling:")

with profile_function():

    pandas_groupby_partition()

# polars 성능 측정

print("\nPolars Groupby Partition Profiling:")

with profile_function():

    polars_groupby_partition()

---

만들어두면 두고두고 사용할 수 있을 것 같은데,

결과는...

분명 같은 결과를 뱉어내는데

호출하는 함수의 갯수 차이가 어마어마하다...