이 트랙이 만드는 것, 만들지 않는 것
범위를 착각하면 6개월 뒤에 실망한다. 먼저 적어둔다.
| 만드는 것 | 구체적으로 |
|---|---|
| 설명할 수 있다 | “KV cache가 뭐고 왜 빠른가”를 3분 안에, 수식과 메커니즘 수준으로 |
| 읽을 수 있다 | Attention · LoRA · DPO · vLLM 논문을 앉아서 읽어낸다 |
| 판단할 수 있다 | “프롬프트 / RAG / 파인튜닝 중 무엇으로 풀 것인가”에 근거를 대고 답한다 |
| 계산할 수 있다 | 모델 크기 → VRAM, 컨텍스트 → KV cache, 동시성 → 처리량을 손으로 추산 |
만들지 않는 것
직접 구현 능력. attention을 백지에서 짜거나 학습 스크립트를 디버깅하는 것은 범위 밖이다. 평가 4단계 중 Level 2(Implement)·3(Debug)를 제외하고 Level 1(Explain) + Level 4(Design)를 목표로 한다. GPU 임대도 필요 없다. 손이 필요해지면 마지막 섹션의 확장 경로로 넘어간다 — 이론이 채워져 있으면 4~6주면 붙는다.
통근 학습에 맞춘 여섯 가지
- 세션은 자체 완결. 20분 읽고 끊겨도 손실이 없어야 한다. 필요한 선행 개념은 그 자리에서 한 문단으로 다시 깔아준다.
- 논문은 통근 중에 읽지 않는다. 세션 본문만으로 이해된다. 원 논문은 “앉아서 읽을 것”으로 분리하고 절 번호까지 지정한다.
- 수식은 생략하지 않되 계산시키지 않는다. softmax·cross-entropy·
ΔW=BA는 전부 나온다. 다만 읽어서 이해되게 쓴다. - 어려운 개념은 움직이는 그림으로. 손으로 구현하지 않는 대신, 슬라이더를 밀고 재생을 누르면 메커니즘이 눈앞에서 변한다. 아래가 그 예시다.
- 세션 끝 3문항, 소리 내어 답하기. 쓰지 않는다. 걸어가면서도 되는 형태로 낸다.
- 복습이 진도보다 중요하다. 띄엄띄엄 공부의 최대 위험은 망각이다. 모듈마다 복습 세션을 두고
3일 → 1주 → 3주간격으로 되돌아온다.
개념을 그림으로 — 실제 예시 5개
아래 다섯 개는 실제로 동작한다. 슬라이더를 밀고 재생을 눌러보면 된다. 각 세션은 이 수준의 시각화를 하나씩 갖는다.
Session 14 · 96 — M1 / M7
softmax와 temperature
T<1이면 1등에 확률이 몰리고, T>1이면 평평해진다. 엔트로피가 그 “퍼진 정도”를 재는 숫자다.Session 47 – 53 — M4
attention이 실제로 섞는 것
−∞를 더해 softmax 후 0으로 만든다 — 이것이 causal mask다.
한 행의 합은 항상 1이고, 그 비율대로 V를 섞은 것이 그 토큰의 새 표현이 된다.Session 92 – 94 — M7
KV cache — 삼각형이 대각선이 된다
T(T+1)/2로 자라고, 있으면 T로 끝난다.
저장하는 것은 각 레이어의 K와 V뿐이다 — Q는 지금 토큰 것만 있으면 되므로 캐시하지 않는다.Session 115 – 116 — M9
continuous batching — 빈칸을 없앤다
Session 94 · 106 – 107 — M8
VRAM은 어디로 가는가
L=32 · H_kv=8 · d_h=128 → 토큰당 KV 128 KiB.
파라미터는 고정 16 GB지만 KV cache는 컨텍스트 × 동시성에 정비례로 자란다.
“동시 사용자를 늘렸더니 갑자기 터졌다”의 정체가 이 막대다.지식 지도
순서를 바꾸면 안 되는 곳은 딱 세 군데다. 나머지는 관심 가는 데부터 봐도 된다.
느리다 → 왜 느린가 → 엔진은 어떻게 푸나의 인과다. 뒤집으면 전부 암기가 된다.163개 세션
163개 세션 본문이 모두 작성되어 있다. 전부 한 페이지에서 읽으려면 위의 전권 읽기로, 모듈 단위로 읽으려면 아래에서 모듈을 펼쳐 교재 링크로 간다. 읽음 표시는 세 곳이 같은 저장소를 쓴다.
R 복습 세션 GATE 통과 필수 관문 논문 앉아서 읽을 자료 있음
진도 시나리오
하루 왕복이면 최대 2세션이지만 매일 되지는 않는다. 현실적인 세 가지.
| 페이스 | 주당 | 소요 | 어떤 경우 |
|---|---|---|---|
| 느슨하게 | 4 | 41주 | 편도만 활용, 주 4일. 부담 없이 끝까지 가는 속도 |
| 표준 권장 | 6 | 27주 | 편도 1세션 × 주 5일 + 주말 1세션 |
| 빠르게 | 9 | 18주 | 왕복 모두 활용 + 주말. 복습이 밀리기 쉬우니 주의 |
밀렸을 때
진도를 건너뛰지 말고 복습 세션을 줄인다. 다만 R4(Attention)와 R12(종합)는 건너뛰지 않는다.
간격 반복 — 모듈을 끝낸 뒤 3일 · 1주 · 3주 시점에 그 모듈의 복습 세션을 다시 편다. 읽지 말고 자가 질문에만 답한다. 5분이면 된다.
세션 구조와 검증
구현이 없으므로 검증은 전적으로 “설명할 수 있는가”에 달려 있다.
세션 본문은 이 형식이다
| # | 항목 | 내용 |
|---|---|---|
| 1 | 한 문장 | 오늘 남길 단 하나의 문장 |
| 2 | 왜 필요한가 | 이것이 없던 시절의 문제 |
| 3 | 어떻게 동작하는가 | 메커니즘. 수식이 나오면 읽어서 이해되게 풀어 씀 |
| 4 | 움직이는 그림 | 위 다섯 개 같은 인터랙티브 도해 하나 |
| 5 | 작은 예 | 암산으로 따라갈 수 있는 크기의 숫자 예제 |
| 6 | 백엔드로 옮기면 | 대응 개념 + 비유가 깨지는 지점 |
| 7 | 흔한 오해 | 이 개념에서 자주 틀리는 것 |
| 8 | 확인 질문 3개 | 소리 내어 답하기. 답은 접어둠 |
| 9 | 앉아서 읽을 것 | 논문·문서의 정확한 범위 (선택) |
관문 네 개
| 관문 | 세션 | 통과 기준 |
|---|---|---|
| G1 | 21 | softmax · cross-entropy · KL · perplexity를 각각 한 문장으로, 그리고 넷의 관계를 설명 |
| G2 | 62 | attention을 5분간 말로 — Q/K/V, √d, mask, multi-head, shape 흐름이 전부 나와야 함 |
| G3 | 114 | “이 모델을 이 GPU에서 이 컨텍스트로 서비스할 때 VRAM이 얼마인가”를 논리로 |
| G4 | 163 | 요구사항 하나를 주고 시스템 전체를 말로 설계 + 트레이드오프 3개 이상 |
G2에서 막히면
진도를 멈추고 M4를 다시 본다. 여기가 이 트랙의 척추다. 나머지 절반은 전부 여기 위에 얹힌다.
자료
통근 중에는 세션 본문만 읽는다. 아래는 앉아 있을 때 보는 것들이고, 안 봐도 진도는 나간다.
이동 중에도 되는 것 — 영상
- Karpathy, Intro to LLMs (1시간) — M0 무렵 한 번
- 3Blue1Brown, Neural networks 시리즈 — M1–M2 병행. Transformer/Attention 편이 이 트랙과 가장 잘 맞는다
- Karpathy, Let's build GPT — M4 끝난 뒤. 코드를 치지 않고 보기만 해도 이해가 크게 는다
앉아서 읽을 것 — 우선순위 순
| 순위 | 자료 | 언제 |
|---|---|---|
| 1 | Attention Is All You Need §3 | M4 끝난 뒤. 그때 읽어야 읽힌다 |
| 2 | The Illustrated Transformer | M4 중간. 그림으로 재확인 |
| 3 | vLLM / PagedAttention | M9 끝난 뒤. 배경 절이 특히 좋다 |
| 4 | LoRA · DPO §4 | M6 끝난 뒤 |
| 5 | FlashAttention §3 | M8 끝난 뒤 |
| 6 | Chinchilla §1–3 | M5 끝난 뒤 |
| 7 | HNSW | M10 끝난 뒤 |
| 8 | Judging LLM-as-a-Judge 편향 절 | M12 중 |
여유가 생기면 — 강의
Stanford CS336 Spring 2026 중 강의 1(Tokenization) · 3(Architectures) · 5(GPUs) · 10(Inference) · 12(Evaluation) · 15(Post-training)만 골라 들어도 이 트랙과 정확히 대응한다. 과제는 하지 않는다.
유효성 · 2026-09-01 확인
CS336 Spring 2026 개설 확인(강의 19개 공개) · 2026 현재 사후학습 표준은 SFT → DPO/SimPO → RLVR(GRPO/DAPO) ·
FlashAttention-4(2026-03, Blackwell) · TRL v1.0(2026-04, SFT·RM·DPO·GRPO 통합).
원리는 유지되고 도구는 바뀐다. 이 트랙은 원리 쪽에 걸어두었으므로 유통기한이 길다.
손을 움직이고 싶어질 때
이론을 채워두면 실습 진입 비용이 크게 떨어진다. 그때의 순서.
| # | 무엇을 | 왜 이 순서인가 |
|---|---|---|
| 1 | nanoGPT 코드 읽기 (치지 않음) | 이미 아는 개념이 코드로 어떻게 생겼는지만 확인 |
| 2 | attention 한 함수만 직접 작성 | G2를 통과했다면 하루면 된다 |
| 3 | KV cache 붙여보기 | 개념을 알고 하면 반나절 |
| 4 | 오픈 모델을 vLLM으로 띄우고 벤치마크 | GPU 임대 시작 지점. M8–M9의 숫자를 실제로 확인 |
| 5 | 작은 RAG 하나 | M10의 선택들을 직접 재보기 |
이 5단계는 약 4~6주 규모다. 전체 실습 트랙이 필요해지면 원래의 26주 구현 중심 버전이
learning/.ROADMAP.impl-track.md.bak에 보관되어 있다.
Tensor to Production · 2026-09-01 · 순수 이론 트랙 163세션
마크다운 원본과 워크스페이스는 career/learning/. 세션 본문은 “Session N 시작”으로 요청하면 curriculum/에 생성된다.