이 단계에서 배우는 것

• Transformer와 LLM이 어떤 계산 구조로 움직이는지 읽습니다.
• 사람 선호 정렬과 멀티모달 정렬이 어떤 손실과 절차로 이루어지는지 봅니다.
• 최신 논문을 읽을 때 필요한 수학 지도와 독해 습관을 갖춥니다.

먼저 알고 갈 말

• 토큰, 임베딩, 내적, softmax 같은 기본 용어는 이미 앞 단계에서 만났습니다.
• 여기서는 그 말들을 실제 모델 구조 속에서 다시 연결합니다.

이 단계를 읽는 순서

1. 37강에서 attention과 Transformer의 기본 연산을 잡습니다.
2. 38강에서 LLM pretraining과 scaling law를 봅니다.
3. 39강에서 SFT, RLHF, DPO로 정렬 과정을 이해합니다.
4. 40강에서 이미지와 텍스트 정렬을 배우고,
5. 41강에서 멀티모달 생성 구조를 확장합니다.
6. 42강에서 최신 논문 독해를 위한 수학 지도를 정리합니다.

각 강의가 맡는 역할

• 1. Attention, Transformer, positional math: 모델의 핵심 계산과 순서 표현을 설명합니다.
• 1. LLM pretraining, scaling laws, tokenization: 학습 목적과 규모 법칙을 정리합니다.
• 1. Alignment SFT, RLHF, DPO: 사람 선호를 반영하는 학습 방식을 비교합니다.
• 1. CLIP, contrastive learning, multimodal alignment: 서로 다른 모달을 같은 공간에 맞춥니다.
• 1. VLM, multimodal generation, fusion architectures: 모달 결합 구조와 생성 문제를 봅니다.
• 1. Frontier topics optimal transport, graphs, manifolds, mechanistic interpretability, 최신 논문 독해: 최신 논문을 읽기 위한 수학 지도와 습관을 정리합니다.

이 단계를 마치면 할 수 있는 것

• 최신 모델의 손실과 구조를 말로 풀어 설명할 수 있습니다.
• 낯선 논문을 봐도 변수와 역할을 먼저 잡고 읽을 수 있습니다.
• LLM과 VLM을 같은 수학 흐름 안에서 비교할 수 있습니다.

강의 목록

37. Attention, Transformer, positional math 38. LLM pretraining, scaling laws, tokenization 39. Alignment SFT, RLHF, DPO 40. CLIP, contrastive learning, multimodal alignment 41. VLM, multimodal generation, fusion architectures 42. Frontier topics optimal transport, graphs, manifolds, mechanistic interpretability, 최신 논문 독해 문제 해설 - 08. LLM, VLM, 멀티모달 AI 수학