Silver RL Lecture 3 — Question List

2026-07-22 harvest: Lecture 3 슬라이드에 남긴 하이라이트·코멘트에서 뽑은 막혔던 것 7개 + 중요 표시 요약. 아래 목차를 클릭하면 해당 질문으로 이동.
원본: David Silver - RL Course (UCL 2015) · 이전: Silver RL Lecture 2 — Question List · 다음: Silver RL Lecture 4 — Question List · 오디오 복습: Output/media/silver-rl-lecture3-audio-20260721.md

목차

• Q1. Small Gridworld k=2의 -1.7 — random policy인가 greedy인가
• Q2. Policy improvement에서 왜 expectation이 pi-prime인가
• Q2b. Why not update policy every iteration — k=1이 왜 Value Iteration인가
• Q3. Principle of Optimality가 무슨 말인가
• Q4. Intermediate value function이 어떤 policy와도 안 맞는다는 뜻
• Q5. 더 비싼 q 테이블을 쓰는 이유 — Silver의 예고
• Q6. Contraction Mapping 섹션 정리
• Q7. Approximate Dynamic Programming
• ⭐ 중요 표시해둔 것들
• 📌 다음 액션

❓ 막혔던 것들

Q1. Small Gridworld k=2의 -1.7 — random policy인가 greedy인가

슬라이드: Iterative Policy Evaluation in Small Gridworld · Zotero p.10
내 노트: "uniformly random policy로 v2를 계산하면 -1.75가 나오는데 pi1에 대해 계산하면 -1 아닌가. … 아 이건 Iterative Policy Evaluation이고 Policy Iteration이랑은 엄밀히 다른 건가?"

마지막 자문이 정답이다. 이 그림은 Iterative Policy Evaluation — 고정된 uniform random policy $\pi$를 평가하는 것이라, $v_2$도 계속 random policy로 계산한다. 터미널 옆 칸:

슬라이드는 이걸 소수 첫째 자리로 잘라 $-1.7$로 표기 — 내 계산 $-1.75$가 맞다. 오른쪽 greedy 열은 "지금 $v_k$에 greedy 한다면 어떤 policy가 나오나"를 보여주는 관찰용일 뿐, 왼쪽 evaluation에 피드백되지 않는다.

여기서 중요한 정정: $\operatorname{Greedy}(v_1)$를 즉시 왼쪽 계산에 반영해 다음 one-sweep value를 $-1$로 만드는 것은 classical Policy Iteration의 두 번째 evaluation이 아니다. Classical PI의 두 번째 policy는 첫 policy를 $v_{\pi_0}$까지 full evaluation한 뒤 $\pi_1=\operatorname{Greedy}(v_{\pi_0})$로 만든다. Evaluation 도중의 $v_1$에서 곧바로 policy를 바꾸면 Modified Policy Iteration이고, 이걸 매번 one sweep만 하고 반복하는 $m=1$ case가 Value Iteration이다. → Q2b

왜 굳이 둘로 나눠 설명하나: evaluation(prediction)은 policy iteration의 inner-loop 부품이라 먼저 따로 세운 것. 이 그림의 진짜 포인트는 $v_k$가 $v_\pi$에 수렴하기 한참 전에 greedy($v_k$)가 이미 optimal policy가 된다는 것 (이 예제에선 $k=3$부터) → "evaluation을 끝까지 돌릴 필요가 없다" → modified policy iteration, 그 극한이 value iteration.

내가 헷갈린 정확한 이유: 맞다. 일반적인 Policy Iteration은

를 여러 outer iteration 반복한다. 그런데 이 slide는 오른쪽 policy를 왼쪽에 feedback하지 않으면서도, 이 special gridworld에서는 $\operatorname{Greedy}(v_3)$가 이미 optimal이라고 보여준다. 실제로 fixed random policy를 $v_\pi$까지 full evaluation한 뒤 classical PI의 greedy improvement를 한 번 수행해도 optimal policy가 나온다. 이후 evaluation과 greedy check는 그 policy가 stable임을 확인하는 단계다. 따라서 이 예제에서는 nontrivial policy improvement 한 번으로 끝나지만, 일반 MDP에서 한 번이면 충분하다는 뜻은 아니다.

---

Q2. Policy improvement에서 왜 expectation이 pi-prime인가

슬라이드: Policy Improvement · Zotero p.16
내 코멘트: "Expectation E_pi'인 이유를 모르겠음. E_pi여야 하는 거 아닌가? q_pi니까."

기존 답의 "$\mathbb E_{\pi'}$은 시점 $t$의 action만 가리킨다"는 표현은 이 식에서는 맞지만 일반적인 expectation notation의 설명으로는 불충분했다. 아래첨자는 probability law, integrand는 실제로 평균낼 random variables와 horizon을 정한다.

정식 설명:

Markov Decision Process (MDP) › Expectation Subscripts in RL

---

Q2b. Why not update policy every iteration — k=1이 왜 Value Iteration인가

슬라이드: Modified Policy Iteration · Zotero p.18
질문: "Why not update policy every iteration? i.e. stop after $k=1$. This is equivalent to value iteration"이 왜 성립하지?

여기서 $k=1$은 algorithm을 한 번만 실행하고 멈춘다는 뜻이 아니라, 같은 policy를 evaluation하는 Bellman sweep을 한 번만 하고 곧바로 policy를 다시 improve한다는 뜻이다.

현재 $v_i$에 greedy한 $\pi_{i+1}$를 고르면

즉 greedy improvement + 그 policy의 one-sweep evaluation = Bellman optimality backup 한 번이다. 이것을 매 sweep 반복하는 algorithm이 value iteration이다.

정식 유도·Policy Iteration($m\to\infty$) ↔ Modified PI($1<m<\infty$) ↔ Value Iteration($m=1$) 관계: Contraction Mapping & Bellman Convergence › Policy Iteration, Modified Policy Iteration, and Value Iteration

---

Q3. Principle of Optimality가 무슨 말인가

슬라이드: Principle of Optimality · Zotero p.20
내 표시: 빨강 "이해 못함"

말로 풀면: $s$에서 optimal이려면, 첫 action 이후 도달 가능한 모든 $s'$에서도 optimal로 행동해야 하고, 그거면 충분하다 (iff). 직관은 shortest path와 동일 — 최단경로의 부분경로도 최단경로다. optimal 경로의 꼬리는 그 자체로 꼬리 문제의 optimal 경로 (Bellman's principle of optimality).

이 정리가 하는 일: 바로 다음 슬라이드의 one-step lookahead

를 정당화한다 — successor들의 optimal value $v_*(s')$만 알면 $s$의 optimal value가 국소 계산으로 나온다. 이게 value iteration("최종 보상에서 뒤로 감기")·backward induction·MPC cost-to-go의 공통 논리적 뿌리다.

---

Q4. Intermediate value function이 어떤 policy와도 안 맞는다는 뜻

슬라이드: Value Iteration · Zotero p.23
내 코멘트: "무슨 말이지?" (하이라이트: "Intermediate value functions may not correspond to any policy")

Value iteration의 중간 iterate $v_k$는 어떤 policy $\pi$의 exact value $v_\pi$도 아닐 수 있다는 뜻이다. VI에도 매 step $\pi_{k+1}=\operatorname{Greedy}(v_k)$라는 policy를 붙일 수 있다는 지적은 맞다. 하지만

왼쪽은 그 policy로 one sweep만 한 bootstrap estimate이고, 오른쪽만 그 policy를 계속 따르는 exact value다. 따라서 $\pi_{k+1}$가 존재해도 $v_{k+1}=v_{\pi_{k+1}}$일 필요가 없다. 더 나아가 arbitrary vector가 policy value가 되려면 어떤 $\pi$에 대해 $v=T^\pi v$를 만족해야 하므로, 숫자 vector마다 대응 policy가 자동으로 존재하는 것도 아니다.

그래도 문제없는 이유: 수렴 보장이 "실제 policy를 추적해서"가 아니라 contraction(Q6)에서 나오기 때문. explicit policy 없이도 $v_k \to v_*$.

---

Q5. 더 비싼 q 테이블을 쓰는 이유 — Silver의 예고

슬라이드: Synchronous Dynamic Programming Algorithms · Zotero p.26
내 코멘트: "action-value function의 시간복잡도가 더 커서 안 좋은데, Silver가 이걸로 다음에 이어지는 게 있다고 했는데 기억이 안 남"

복잡도: $v$ 기반 iteration당 $O(mn^2)$, $q$ 기반 $O(m^2n^2)$ ($m$ actions, $n$ states). 그런데도 $q$를 쓰는 이유 = model-free control (Lecture 4–5 예고):

• $v$로 greedy improvement: $\max_a\big(\mathcal{R}^a_s+\gamma\sum_{s'}\mathcal{P}^a_{ss'}v(s')\big)$ — one-step lookahead에 모델 $\mathcal{P},\mathcal{R}$이 필요
• $q$로 greedy improvement: $\max_a q(s,a)$ — 모델 불필요

그래서 Sarsa·Q-learning은 비싼 $q$를 감수한다. Model-Free vs Model-Based RL의 축이 정확히 이 지점.

---

Q6. Contraction Mapping 섹션 정리

슬라이드: Some Technical Questions ~ Convergence · Zotero p.36
내 코멘트: "Contraction Mapping 파트 피피티는 다 옵시디언 노트 리포트 같은 걸로 남기고 싶음"

정식 explainer 생성됨 → Contraction Mapping & Bellman Convergence (동기·직관 그림·증명·경계 조건 전부 수록). 아래는 섹션 압축:

• 무대: value function들의 공간 = $|\mathcal{S}|$차원 vector space. $\|u-v\|_\infty = \max_s |u(s)-v(s)|$는 vector ∞-norm이고, Matrix Norms의 $\|P\|_\infty=\max_s\sum_{s'}|P_{ss'}|$는 여기서 induced된 matrix ∞-norm이다. 2-norm도 distance지만 일반적인 row-stochastic $P$는 $\|P\|_2\le1$이 보장되지 않아 Bellman contraction 증명에 맞지 않는다.
• Bellman expectation backup operator $T^\pi(v) = \mathcal{R}^\pi + \gamma\mathcal{P}^\pi v$는 $\gamma$-contraction:

($\mathcal{P}^\pi$의 각 row가 probability distribution이라 averaging은 ∞-norm을 안 늘린다 — Matrix Norms의 $\|P\|_\infty=1$과 같은 사실)

• Contraction mapping theorem (Banach fixed-point): complete space(Cauchy sequence의 limit가 space 안에 있음)에서 $\gamma$-contraction은 unique fixed point로 수렴. Error는 매번 이전의 최대 $\gamma$ 비율만 남아 $e_k\le\gamma^k e_0$ — 이를 linear convergence라 부름
• Iterative policy evaluation: $T^\pi$ contraction → fixed policy마다 unique $v_\pi$로 수렴
• Value Iteration: $T^*$ contraction($\max$는 non-expansive: $|\max_a f-\max_a g|\le\max_a|f-g|$) → unique $v_*$로 수렴
• Exact Policy Iteration: 각 $T^{\pi_i}$ evaluation의 convergence + Policy Improvement Theorem을 사용한다. Tie에서는 기존 action을 유지하는 rule을 쓰면 policy가 바뀔 때마다 적어도 한 state에서 strict improvement가 생기고, deterministic policy가 유한 개이므로 optimal policy에서 종료한다. Arbitrary tie-breaking이면 동등한 optimal policy 사이에서 policy 표현만 바뀔 수 있다. PI 전체의 근거를 $T^*$ contraction 하나로 대체할 수는 없다
• 제어 관점 번역: "$\gamma\mathcal{P}^\pi$를 반복해도 오차가 죽는다"는 discrete-time stability와 같은 구조 — Eigenvalues and Discrete-Time Stability. Lecture 2에서 궁금해한 optimal policy 존재 증명의 lemma가 바로 이것 (Silver RL Lecture 2 — Question List의 Q3)

---

Q7. Approximate Dynamic Programming

슬라이드: Approximate Dynamic Programming · Zotero p.34
내 표시: 빨강 (코멘트 없음)

테이블 대신 function approximator $\hat v(s,\mathbf{w})$: sample states $\tilde{\mathcal{S}}$에서 Bellman optimality로 target $\tilde v_k(s)$를 만들고, 거기에 $\hat v(\cdot,\mathbf{w}_{k+1})$을 regression으로 맞추는 fitted value iteration.

주의할 포인트: Q6의 contraction 보장은 tabular 기준이고, function approximation과 결합하면 수렴 보장이 일반적으로 사라진다 — Lecture 6에서 다룸. 내 관점에선 "학습된 value/policy 위에서 planning"이라는 MPC over a Learned Policy 아이디어와 맞닿는 씨앗이라 빨간 표시가 정확한 판단이었다.

---

⭐ 중요 표시해둔 것들

• DP는 MDP full knowledge 가정 = planning. Prediction: MDP+$\pi$ → $v_\pi$ / Control: MDP → $v_*, \pi_*$
• Iterative policy evaluation: synchronous backup — $v_{k+1}(s)=\sum_a\pi(a|s)\big(\mathcal{R}^a_s+\gamma\sum_{s'}\mathcal{P}^a_{ss'}v_k(s')\big)$, matrix form $\mathbf{v}^{k+1}=\mathcal{R}^\pi+\gamma\mathcal{P}^\pi\mathbf{v}^k$
• Policy Iteration 그림 ("Very Important Infography"라고 적어둔 것): evaluation($\pi \to v_\pi$) ↔ greedy improvement($v \to$ greedy($v$)) 순환. finite MDP에선 개선이 멈추는 순간 Bellman optimality equation을 만족 → $\pi_*$ 도달
• Value iteration: $v_{k+1} = \max_a\big(\mathcal{R}^a+\gamma\mathcal{P}^a v_k\big)$ — explicit policy 없이 값만 반복
• Synchronous DP 정리표: prediction = Bellman expectation → IPE / control = expectation + greedy → PI / control = Bellman optimality → VI
• Sample backup 예고: $\mathcal{P},\mathcal{R}$ 대신 sample $\langle S,A,R,S'\rangle$ — model-free, curse of dimensionality 완화, backup 비용이 $n$과 무관 (Lecture 4~)

---

📌 다음 액션

• ✅ Contraction Mapping explainer 생성됨 (2026-07-22) → Contraction Mapping & Bellman Convergence
• ✅ L2·L3 정식 ingest 완료 (2026-07-22) → David Silver - RL Course (UCL 2015) 학습 진행 섹션
• Lecture 2 질문들은 Silver RL Lecture 2 — Question List에