PyTorch 쓰세요(2).

#콜백 #callback #pytorch_lightning

콜백을 지정해서 checkpoint, earlystop, 등등 컨트롤하는 방법.

어제에 이어서 Mnist 예제 코드를 그대로 활용하는데,

바뀌는 부분에 대해서만 설명을 적어보자면,

---

def configure_optimizers(self):

        optimizer = torch.optim.Adam(self.parameters(), lr=self.learning_rate)

        scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience=3, factor=0.9, verbose=True)

        return {

            "optimizer": optimizer,

            "lr_scheduler": {

                "scheduler": scheduler,

                "monitor": "val_acc",

                "strict": True,

                "name": "mnist_lr"

            }

        }

---

스케쥴러를 정의하고 사용하는데,

뒤에 따라붙는 옵션이 중요하다.

어제의 성능이나 오늘의 성능이 딱히 중요하지는 않지만...

비교를 위해서 어제의 성능을 잠시 다시 확인해보면,

validation loss 가 0.147 정도를 기록했다.

어제와 오늘은 랜덤이기 때문에 이 부분부터 집고 넘어가자면,

아래와 같은 코드를 impot 구문 아래에서 선언해주면 된다.

---

def seed_everything(seed = 7):

    random.seed(seed)

    os.environ['PYTHONHASHSEED'] = str(seed)

    np.random.seed(seed)

    torch.manual_seed(seed)

    torch.cuda.manual_seed(seed)

    torch.backends.cudnn.deterministic = True

seed_everything()

---

이건 인터넷에 떠도는 옵션이다.

이어서 콜백을 선언해볼텐데,

3가지!

---

from pytorch_lightning.callbacks import ModelCheckpoint, EarlyStopping, LearningRateMonitor

chk_callback = ModelCheckpoint(

    dirpath='./lightning_chks',

    filename='sample-mnist-epoch{epoch:02d}-val_loss{val-loss:.2f}',

    verbose=True,

    save_last=True,

    save_top_k=5,

    monitor='val_loss',

    mode='min'

)

earlystop_callback = EarlyStopping(

    monitor='val_loss',

    patience=5,

    verbose=True,

    mode='min'

)

lrmonitor_callback = LearningRateMonitor(logging_interval='step')

---

쉽다.

그냥 선언해서 사용하면 된다.

trainer 선언부에 callback 옵션을 넘겨준다.

---

trainer = Trainer(

    gpus=AVAIL_GPUS,

    accelerator="dp",

    max_epochs=50,

    progress_bar_refresh_rate=10,

    callbacks=[chk_callback, earlystop_callback, lrmonitor_callback]

)

---

이제 학습을 돌리는데,

earlystop 이 걸릴 수 있다.

epochs 를 50 까지 확 늘려서 실험한다.

33번째 학습에서 멈췄다.

잘 하고 있는듯 하다.

이제 test 를 돌려보면,

---

trainer.test()

---

결과는,

오늘의 나는 어제의 나를 넘어섰다.

이후 스텝은 메뉴얼하게 체크포인트를 저장하고 다시 불러와서 같은 값을 도출하는지 확인했다.

요즘은 BERT를 진행하고 있어서,

이후 예제는 Mnist 게임을 벗어던지고 새로운 게임을 포스팅한다.