소비자용 GPU로 2B 모델을 처음부터 학습한 Puro-2B 레시피 공개

왜 지금 이 주제인가

언어 모델의 사전학습은 오랫동안 대형 연구소의 영역이었습니다. 가중치를 공개하는 모델은 꾸준히 늘었지만, 데이터부터 학습 코드까지 전 과정을 감당할 만한 비용으로 재현할 수 있는 레시피는 드물었습니다. 8월 27일 arXiv에 올라온 Puro-2B 보고서는 소비자용 그래픽카드인 RTX 5090만으로 2B급 모델을 처음부터 학습한 과정을 정리해 공개했습니다. 학습 데이터, 코드, 가중치를 모두 Apache 2.0으로 함께 냈다는 점에서 모델만 던져 주는 공개와는 성격이 다릅니다.

6,900달러로 1.4조 토큰

보고서는 기준선을 제시하며 시작합니다. 저자들은 Llama-3.2-3B 학습에 150만 달러가 넘게 들고, SmolLM3-3B를 재현하는 데도 70만 달러가 넘게 든다고 정리합니다. Puro-2B는 이 자릿수를 바꾸는 것을 목표로 삼았습니다.

구성은 이렇습니다. 모델은 파라미터 약 20억 규모로, Qwen3-1.7B 설정에서 입출력 임베딩 공유를 푼 구조를 씁니다. 시퀀스 길이는 4,096, 글로벌 배치는 1,536개 시퀀스입니다. 학습은 두 단계로 나뉘어 1단계에 RTX 5090 24장, 2단계에 96장을 사용했고, 토큰은 1단계 4,388억 개와 2단계 9,600억 개를 합쳐 1조 4천억 개입니다. 실제 경과 시간은 약 17.6일, 대표 설정의 활성 GPU 시간은 22,514시간입니다.

비용은 RTX 5090 한 장의 시간당 임대가를 0.31달러로 잡아 환산했습니다. 이 기준에서 가장 좋은 모델의 학습 비용은 6,900달러 미만이며, 저자들이 정의한 평가 프로토콜에서 Qwen2.5-1.5B 성능에 근접했다고 보고합니다.

비용을 끌어내린 요인은 하나가 아닙니다. 하드웨어 선택과 함께 저정밀 학습이 큰 몫을 합니다. 선형 계층에는 블록 단위 FP8을 적용해 전체 연산의 72%를 저정밀로 처리하고, 수치적으로 민감한 연산은 BF16과 FP32로 남겼습니다. 최적화 쪽에서는 MuonH라는 hyperball 방식을 도입했습니다. 가중치 행렬을 고정된 Frobenius 반지름 위에 유지하도록 업데이트를 정규화해, 실효 학습률을 명시적으로 다룰 수 있게 만든 Muon 변형입니다. 여기에 curriculum model averaging을 더했습니다. 데이터를 출처별 품질 순위로 정렬해 배치하고, 학습률을 일정하게 유지하는 마지막 구간에서 체크포인트 여섯 개를 평균 내 최종 모델을 만드는 방식입니다.

저자들은 토큰 예산과 레시피 변형이 서로 다른 모델을 여러 개 학습해 Puro Cost Scaling Law를 도출했습니다. 학습 비용과 평균 성능을 연결한 이 관계식은 약 4,400달러면 Qwen2-1.5B 수준에 도달할 수 있다고 예측하며, 제목에 붙은 5,090달러라는 숫자가 여기서 나옵니다. 평가는 수학, 코드, 추론, 지식 영역의 벤치마크 15종으로 수행했습니다.

공개 범위도 이 실험의 일부입니다. Hugging Face 컬렉션에는 최종 Base 모델뿐 아니라 1단계 체크포인트, 토큰 예산을 절반에서 16분의 1까지 줄인 Uniform 변형들, 커리큘럼을 적용한 변형과 체크포인트 평균을 적용한 변형이 함께 올라와 있습니다. 학습에 쓴 데이터셋도 같은 자리에 있습니다. 비교 대상이 되는 중간 산출물을 함께 남겨야 레시피의 어느 부분이 어떤 효과를 냈는지 외부에서 따져 볼 수 있다는 판단으로 읽힙니다.

의미와 한계

가중치만 공개된 모델로는 던질 수 없는 질문이 있습니다. 보고서가 함께 실은 사례 연구가 그 예입니다. 사전학습 단계의 데이터 커리큘럼이 사후학습을 거친 뒤의 성능에 어떤 흔적을 남기는지를 통제된 조건에서 비교했는데, 이런 실험은 전체 파이프라인에 접근할 수 있어야 가능합니다. 데이터와 코드를 함께 공개한 의미는 쓸 만한 모델이 하나 더 늘어난 데 있다기보다, 이런 질문을 실제로 검증해 볼 수 있는 팀의 수를 늘리는 데 있다고 볼 수 있습니다.

다만 범위는 좁습니다. 저자들은 데이터 오염 가능성, 중국어 능력의 제한된 범위, 과하게 학습된 밀집 모델 영역에 머문다는 점, 그리고 이 규모와 설정을 벗어난 구조로 일반화하기 어렵다는 점을 한계로 명시했습니다. 비용 수치도 그대로 받아들이기는 어렵습니다. 시간당 0.31달러라는 임대가를 전제로 환산한 값이므로, 카드를 직접 구입해 운영하거나 다른 시세를 적용하면 결과는 달라집니다. 96장을 동시에 돌리는 환경 자체가 개인 연구자에게 흔한 조건도 아닙니다. 낮아진 것은 절대적인 진입 장벽이라기보다, 중형 연구실이 예산으로 승인할 수 있는 범위까지 내려온 자릿수에 가깝다고 보는 편이 정확합니다.

한 줄 정리

소비자용 GPU와 저정밀 학습을 조합해 2B급 모델의 처음부터 학습 비용을 수천 달러 단위로 낮추고, 그 과정을 데이터와 코드까지 열어 둔 보고서입니다.