Language Models from Scratch

Problem: researchers are becoming disconnected f rom the underlying technology.

Building small language models might not be representative of large language models

“작은 모델에서 관찰한 특성이 큰 모델에서도 동일하다고 가정할 수 없다.”

작은 모델(760M) FLOPs 비율

• MHA 35%, FFN 44% 큰 모델(175B) FLOPs 비율
• MHA 17%, FFN 80%

모델의 Scale 변화에 따른 모델의 계산 특성 변화가 일어날 수 있다. 즉 FLOPS 구성 변화에 따른 계산/메모리/하드에어 특성 변화가 있을 수 있고, 이는 병목 및 최적화 포인트의 변화 가능성이다.

Scale 증가에 따른 모델의 task 성능/행동 변화

It’s all about efficiency

How do you train the best model given a fixed set of resources?

Resources

• Data
• Compute
• Memory
• Communication bandwidth
  현재는 compute-constrained이므로, 제한된 Hardware에서 최대한의 성능을 얻는 방향으로 설계한다.
  

Efficiency drives design decisions

• Data processing → 나쁜/불필요한 데이터에 Compute 낭비하지 않기
• Tokenization → sequence length를 줄여 Compute 효율 향상
• Model architecture → Memory/FLOPs 감소
• Training → 제한된 Compute를 효율적으로 사용
• Scaling laws → 작은 모델로 Hyperparameter 탐색
• Alignment → 원하는 목적에 맞게 모델을 조정하여 필요한 Base Model 규모 감소

---

Course Overview

systems() scaling_laws() data() alignment()