PyTorch

텐서는 PyTorch의 핵심 데이터 구조다. NumPy 배열과 비슷하지만 GPU에서 실행된다. 메서드를 한 번 호출하면 텐서를 CUDA 장치로 옮길 수 있고, 노트북에서 숫자를 계산하던 코드가 다시 쓰지 않고 여러 GPU 서버로 확장된다. 이 차이가 대형 모델 훈련을 이론이 아니라 실용으로 만든다. GPU가 없어도 CPU 경로는 돌아간다. 확장도 된다. 작은 표본에서 결과를 확인하든 전체 훈련을 돌리든, 장치에 독립적인 같은 코드가 끝까지 함께한다. 팀이 첫 모델을 출시한 뒤에도 남는 큰 이유가 여기에 있다.

PyTorch는 코드가 실행되는 동안 그래프를 만든다. 그래서 모델 안에서 평범한 Python 제어 흐름을 쓸 수 있다. 루프와 조건문, print문이 순전파 도중에도 동작한다. 디버깅은 순수 Python을 다루는 느낌에 가깝다. 모델 형태를 바꾸고 싶다면 코드를 고치면 된다. 그래프를 처음부터 다시 쓸 필요가 없다.

autograd 엔진은 텐서의 모든 연산을 추적하고 그레이디언트를 대신 계산한다. 순전파를 정의하고 역전파를 호출한다. 미적분은 라이브러리가 스스로 처리한다. 이 기능 하나가 신경망을 손으로 구현할 때 가장 실수가 잦은 부분을 없애주며, 초보자가 오후 한나절에 동작하는 모델을 훈련할 수 있는 큰 이유다.

PyTorch에는 이미지용 torchvision, 소리용 torchaudio, 언어 데이터용 torchtext가 함께 온다. 공식 세트 밖에서도 Hugging Face Transformers와 PyTorch Lightning 같은 프로젝트가 그 위에 바로 구축된다. 그래서 처음부터 시작하는 경우는 드물다. 사전 학습 모델 라이브러리만으로도 팀의 훈련 시간을 몇 주 아낀다.

TorchScript를 쓰면 Python 인터프리터 없이 실행되는 형태로 모델을 변환할 수 있다. 왜 굳이 그럴까. 예측 가능한 성능 때문이다. 서빙용 TorchServe와 결합하면 프레임워크를 떠나지 않고 연구 노트에서 라이브 엔드포인트까지 이어지는 경로가 생긴다.

여러 GPU나 여러 머신에서의 훈련은 torch.distributed와 DistributedDataParallel 같은 유틸리티를 통해 내장되어 있다. 약간의 코드 변경으로 모델이나 데이터셋을 장치들에 나눌 수 있다. 전용 클러스터가 없는 팀도 대규모 훈련을 감당할 수 있게 해준다.

훈련된 모델을 ONNX로 내보내거나 ExecuTorch로 모바일과 임베디드 기기를 겨냥한다. 즉 Linux 워크스테이션에서 훈련한 모델이 휴대폰이나 마이크로컨트롤러에서 돌아갈 수 있다. 제품이 실제 최종 사용자에게 전달된다면 중요한 점이다.