Silver RL Lecture 4 — Question List

2026-08-03 harvest: Lecture 4 슬라이드의 Zotero annotation 19개 전부를 확인해, 막혔던 것을 10개 Q&A로 묶고 중요 표시를 압축했다.
원본: David Silver - RL Course (UCL 2015) · 이전: Silver RL Lecture 3 — Question List

먼저 잡을 한 문장

Lecture 4는 같은 $v_\pi$를 배우는 네 방법을 한 지도에 놓는다.

핵심 식도 하나다.

Method마다 다른 것은 target이다.

목차

• Q1. Bootstrapping이 정확히 무슨 뜻인가
• Q2. Non-stationary problem과 alpha — 중간에 바꿔도 되나
• Q3. Batch MC는 V(A)=0, TD는 V(A)=0.75인 이유
• Q4. Unified View — sampling·bootstrapping과 수렴은 별개다
• Q5. n-step Random Walk graph는 어떻게 읽나
• Q6. 왜 lambda-return에 geometric weights를 쓰나
• Q7. Finite episode에서 마지막 weight만 다른 이유
• Q8. Forward view와 Backward view는 각각 뭘 하나
• Q9. Eligibility trace의 식과 graph
• Q10. TD(lambda)=MC는 어떤 조건에서 맞나
• ⭐ 중요 표시해둔 것들
• ✅ Annotation coverage

❓ 막혔던 것들

Q1. Bootstrapping이 정확히 무슨 뜻인가

슬라이드: Monte-Carlo Reinforcement Learning · Zotero p.4
내 코멘트: “bootstrapping이 무슨 말이지”

여기서 bootstrapping은 update target 안에 현재 학습 중인 다른 estimate를 넣는 것이다.

TD(0)의 target은

이고, $V(S_{t+1})$는 아직 exact value가 아니라 현재 estimate다. 즉 한 guess를 다른 guess로 고친다. DP도 $v_{k+1}=T^\pi v_k$처럼 이전 estimate $v_k$를 쓰므로 bootstrap한다.

반면 MC target은 episode가 실제로 만든 return

이다. $G_t$ 안에는 $V$ estimate가 없으므로 bootstrap하지 않는다. 대가는 terminal state까지 기다려야 한다는 것. 그래서 classical MC prediction은 episodic MDP에만 바로 적용되고, 모든 episode가 terminate해야 한다.

Bootstrap은 “sample을 쓴다”와 다른 축이다. TD와 MC는 둘 다 sample을 쓰지만, TD만 bootstrap한다. DP는 bootstrap하지만 sample 대신 model의 full expectation을 쓴다.

---

Q2. Non-stationary problem과 $\alpha$ — 중간에 바꿔도 되나

슬라이드: Incremental Monte-Carlo Updates · Zotero p.11 · Random Walk: MC vs. TD · p.20
내 코멘트: “non-stationary problems?” · “$\alpha$가 크면 초반 error가 빨리 줄지만 나중엔 증가하는데, 중간에 바꾸면 안 되나?”

Non-stationary는 같은 state의 return distribution 자체가 시간에 따라 변하는 문제다. 예를 들어 robot dynamics가 payload·마찰·battery 상태 때문에 바뀌면, 오래전 sample과 지금 sample을 같은 비중으로 평균내는 $1/N(s)$ update가 변화 추적을 방해한다.

Constant step-size update

를 펼치면

즉 최근 sample일수록 큰 exponentially decaying weight를 받는다. 큰 $\alpha$는 빨리 적응하지만 steady-state noise가 크고, 작은 $\alpha$는 안정적이지만 느리다.

중간에 바꿔도 된다. Stationary problem에서 초반 속도와 최종 accuracy를 함께 원하면 decaying schedule $\alpha_k$가 표준적이다. Tabular stochastic approximation의 대표 sufficient condition은

$\alpha_k=1/k$는 이를 만족한다. 반대로 environment가 계속 변하면 $\alpha$를 $0$으로 보내지 않고 작은 constant로 두어야 새 dynamics를 계속 추적할 수 있다.

p.20 graph의 curve가 말하는 것도 이것이다.

• 큰 $\alpha$: initial error는 빨리 죽지만 sample noise에 계속 크게 흔들려 error floor가 높아지거나 late error가 다시 커질 수 있다.
• 작은 $\alpha$: 초반은 느리지만 오래 돌리면 더 낮은 error에 갈 수 있다.
• graph는 여러 run과 state에 걸친 RMS error이므로, 한 episode의 error가 단조 감소해야 한다는 뜻은 아니다.

---

Q3. Batch MC는 $V(A)=0$, TD는 $V(A)=0.75$인 이유

슬라이드: Certainty Equivalence · Zotero p.24 · Advantages and Disadvantages of MC vs. TD (3) · p.25
내 코멘트: “I don't understand” · “좀 더 구체적인 설명 필요”

Dataset은 다음 정보를 준다.

• $A$를 본 것은 한 번뿐: $A\xrightarrow{0}B\xrightarrow{0}\text{terminal}$
• $B$에서는 총 8번 중 reward $1$이 6번, $0$이 2번 관찰됨

p.24의 두 model-estimation 식 해부

먼저 전체 dataset을 transition tuple로 쓰자.

• $k$: 몇 번째 episode인지 나타내는 index
• $K$: 전체 episode 수
• $t$: 그 episode 안의 time-step index
• $T_k$: $k$번째 episode의 terminal time. Episode마다 길이가 다를 수 있어서 subscript $k$가 붙음
• Slide는 $t=1,\ldots,T_k$와 $r_t^k$를 쓰지만, 여기서는 앞부분 강의와 맞춰 $t=0,\ldots,T_k-1$와 $R_{t+1}^k$를 썼다. 단순한 index shift라 내용은 같다.
• $\mathbf 1\{C\}$: condition $C$가 true면 $1$, 아니면 $0$인 indicator

State–action pair $(s,a)$를 본 총횟수는

Slide의 transition 식은

분자의 indicator는 dataset의 모든 transition을 훑으면서

인 경우에만 $1$을 더한다. 따라서 분자는 $(s,a)$에서 출발해 $s'$에 도착한 횟수, 분모는 $(s,a)$에서 출발한 전체 횟수다. 결국

라는 empirical transition frequency다. 같은 $(s,a)$에 대해 $s'$ 전체로 합하면 $1$이 된다.

Reward 식은

Indicator가 $(s,a)$에서 출발한 transition만 남기고, 거기서 받은 $R_{t+1}^k$를 모두 더한다. 즉

여기서 $\hat{\mathcal R}_s^a$는 complete return $G_t$가 아니라 immediate reward의 mean이다. 이렇게 data로 $\hat{\mathcal P},\hat{\mathcal R}$을 만든 뒤, fitted MDP의 Bellman equation을 푸는 것이 slide가 말하는 certainty equivalence다.

AB example에는 action choice가 없으므로 $a$를 생략할 수 있다.

$B$는 첫 episode 안에서 한 번, $B$에서 시작한 짧은 episode들에서 일곱 번 관찰되어 총 8번이다. Reward는 $1$이 6번, $0$이 2번이므로

따라서 $V(\mathrm{terminal})=0$, $\gamma=1$인 fitted Markov model에서는

MC가 mean-squared error를 minimize한다는 식은 왜 나왔나

이 식은 MC를 새 optimization algorithm으로 정의하려고 나온 것이 아니다. Finite dataset을 batch replay했을 때 MC update가 수렴하는 fixed point를 다른 방식으로 표현한 것이다.

State $s$에서 관찰한 return들을

라 하자. Tabular MC는 이 sample들의 mean을 value estimate로 쓴다.

그런데 squared-error objective

를 가장 작게 만드는 scalar $v$도 정확히 같은 sample mean이다. Derivative를 $0$으로 두면

Batch MC update 자체에서도 같은 관계가 바로 보인다. Dataset 전체를 한 번 replay해 $s$에 대한 update를 합치면

즉 batch MC의 total update는 empirical squared error의 negative gradient 방향이다. 충분히 작은 step-size로 같은 finite dataset을 반복 replay해 update가 더 이상 움직이지 않는 fixed point에 도달하면

Slide의 전체 식

도 같은 objective를 모든 state의 visit에 대해 한꺼번에 쓴 것이다. Tabular setting에서는 V[A], V[B]처럼 각 $V(s)$가 separate parameter라 state별 problem으로 분리된다. First-visit MC라면 episode마다 첫 visit의 return만 sample set에 넣고, every-visit MC라면 모든 visit을 넣는다는 차이만 있다.

AB example에 직접 넣으면 더 단순하다. $A$에서 관찰한 return은 단 하나, $0$이므로

$B$에서 관찰한 return은 $1$이 6개, $0$이 2개이므로

여기서 중요한 한계: 이것은 finite dataset의 observed returns에 대한 empirical MSE minimizer다. Finite data에서는 true $v_\pi$와 다를 수 있다. Data가 무한히 쌓이면 law of large numbers에 의해 sample mean이 $v_\pi$로 간다.

그래서 p.24가 이 식을 넣은 목적은 finite data에서 MC와 TD가 서로 다른 답을 내는 이유를 대비하려는 것이다.

• MC: 각 state에서 직접 관찰한 return에 best fit → $V(A)=0$
• TD: data로 $\hat{\mathcal P},\hat{\mathcal R}$을 만들고 Markov structure를 공유 → $V(A)=0.75$

TD가 $A$에서 보지 못한 reward $1$을 invent한 것이 아니다. “현재 $B$에 도달하면, 과거 어떤 episode에서 왔는지는 future에 필요 없다”는 Markov property를 이용해 다른 episode에서 얻은 $B$의 evidence를 $A$에도 전달한 것이다.

그래서 Markov assumption이 맞으면 TD가 보통 sample-efficient하다. 반대로 observation이 true state가 아니어서 hidden history가 future를 바꾸는 non-Markov setting이면, MC의 complete return이 model misspecification에 덜 속을 수 있다.

---

Q4. Unified View — sampling·bootstrapping과 수렴은 별개다

슬라이드: Bootstrapping and Sampling · Zotero p.29 · Unified View of Reinforcement Learning · p.30
내 코멘트: “다시 설명좀. 그럼 DP, TD는 참값에 도달할 수 없는 거임?”

Unified View의 두 axis는 다음이다.

• vertical: sample backup ↔ full backup. 한 transition sample만 쓰는가, model로 가능한 successor 전체의 expectation을 계산하는가.
• horizontal: shallow ↔ deep backup. 몇 step 뒤에서 bootstrap하는가. TD(0)는 one-step, $n$-step TD는 중간, MC는 terminal까지 간다.

따라서 네 corner는 TD(sample+shallow), MC(sample+deep), DP(full+shallow), exhaustive search(full+deep)다. $\lambda$는 shallow/deep 사이를 연속적으로 조절한다.

Bootstrap한다고 exact value에 못 가는 것은 아니다. “Target이 현재는 biased”와 “algorithm의 limit가 biased”를 구분해야 한다.

• DP: finite discounted MDP에서 $T^\pi$는 $\gamma$-contraction이므로 $v_k\to v_\pi$. 일반적으로 finite iteration에 exact equality를 찍지는 않고 asymptotically approach한다. Direct linear solve는 별도 방법이다.
• Tabular TD(0): fixed policy, Markov sampling, 모든 relevant state의 충분한 visit, 적절한 diminishing step-size 같은 조건에서 $V_k\to v_\pi$ almost surely.
• MC: 같은 coverage와 sample-mean 조건에서 law of large numbers로 $V_k\to v_\pi$ almost surely.

현실의 finite data·finite precision에서는 보통 tolerance 안에 들어오면 “수렴했다”고 한다. Constant $\alpha$를 쓰면 TD와 MC 모두 stochastic noise 때문에 exact point에 정착하지 않고 그 근처를 계속 움직인다. Function approximation·off-policy learning을 붙이면 tabular convergence 결과를 그대로 적용할 수도 없다.

---

Q5. $n$-step Random Walk graph는 어떻게 읽나

슬라이드: Large Random Walk Example · Zotero p.33
내 코멘트: “?”

각 curve의 label은 backup depth $n$, horizontal axis는 $\alpha$, vertical axis는 처음 10 episode 동안의 average RMS error다. 위는 online update, 아래는 offline update다.

여기서 bias는 무슨 뜻인가

Bias는 target이 항상 “높다”거나 “낮다”는 일상적 표현이 아니다. State $S_t=s$에서 같은 experiment를 무한히 반복했을 때 target의 expectation이 true value $v_\pi(s)$에서 얼마나 벗어나는가다.

$n$-step target은

이고, true value도 같은 지점에서

로 분해된다. 두 식을 빼면 reward 부분은 cancel되고 bootstrap estimate의 error만 남는다.

즉 bias의 출처는 아직 틀릴 수 있는 $V(S_{t+n})$로 bootstrap하는 것이다.

• 현재 $V=v_\pi$라면 어떤 $n$에서도 bias는 $0$이다.
• $n=1$이면 바로 다음 state의 estimate error를 target에 넣는다.
• $n$이 커질수록 실제 reward를 더 보고 더 먼 state에서만 bootstrap한다.
• Episode 끝까지 가면 bootstrap term이 사라져 MC return $G_t$가 되고, on-policy episodic setting에서 $\mathbb E_\pi[G_t\mid S_t=s]=v_\pi(s)$라 bias는 $0$이다.

$0\le\gamma<1$이면 다음 bound도 있다.

단, 이 bound가 $n$에 따라 줄어드는 것은 $\gamma<1$일 때다. 이 Random Walk는 $\gamma=1$인 episodic task라 $\gamma^n$ 자체가 bias를 줄여주지는 않는다. 대신 $n$이 terminal horizon에 도달하면 bootstrap term이 없어져 bias가 정확히 $0$이 된다. 중간 $n$에서 actual bias가 반드시 monotonic하게 감소한다는 보장도 없다. 여러 state의 signed error가 expectation 안에서 cancel될 수 있기 때문이다.

반대편의 variance는 trajectory randomness에서 온다. $n$이 커지면 더 많은 random reward와 transition을 직접 합치므로 target이 run마다 더 흔들릴 수 있다. 그래서 보통

라는 trade-off가 생긴다. 다만 p.33의 vertical axis는 target bias만 그린 것이 아니라 실제 learning 후의 RMS value error라 step-size와 update timing까지 함께 반영한다.

Online update와 offline update의 차이

여기서 online/offline은 같은 trajectory를 언제 $V$에 반영하는가의 차이다.

Online $n$-step TD

• Transition이 들어오는 동안 episode 안에서 update한다.
• Time $t+n$에 $R_{t+1},\ldots,R_{t+n},S_{t+n}$이 관찰되면 $G_t^{(n)}$을 계산할 수 있으므로 즉시

를 적용한다.

• $n=1$이면 transition 하나 뒤에 바로 update한다. $n>1$이면 해당 state의 update가 $n$ step만큼 delayed되지만 episode 종료까지 기다릴 필요는 없다.
• Episode 뒤쪽의 target과 update는 앞에서 이미 바뀐 $V$의 영향을 받을 수 있다. 같은 state를 다시 방문하면 이 차이가 직접 드러난다.

Offline $n$-step TD

• Episode 시작 시점의 value estimate를 $V^-$라고 하자.
• Episode 안에서는 $V^-$를 바꾸지 않고 모든 update increment를 계산·accumulate한다.

• Episode가 끝난 뒤 한꺼번에

를 적용한다.

• 같은 episode의 모든 target이 같은 $V^-$를 기준으로 하므로 analysis가 단순하지만, episode가 끝날 때까지 새 information을 value에 반영하지 못한다.

아주 짧은 $n=2$ timeline으로 보면:

Time $2$가 되어 $S_2$까지 봐야

가 완성된다.

• Online: time $2$에 곧바로 $V(S_0)$ update
• Offline: 이 increment를 저장하고 episode 끝에서 $V(S_0)$ update

이제 p.33 graph 다시 읽기

• $n=1$: bootstrap estimate를 일찍 쓰므로 target variance는 낮은 편이지만 current $V$ error의 영향을 빨리 받는다.
• 큰 $n$: 실제 reward를 더 많이 보므로 terminal horizon에서는 bootstrap bias가 사라지지만 target variance는 커질 수 있다.
• 너무 큰 $\alpha$: online/offline 어느 쪽이든 update가 지나치게 커져 RMS error가 증가할 수 있다.
• Offline은 한 episode의 increment를 batch로 합치므로 stable한 $\alpha$ scale이 online과 다르다. 두 panel의 같은 $\alpha$를 완전히 동일한 effective update로 보면 안 된다.
• 이 experiment의 첫 10 episode에서는 online curve가 대체로 더 낮은 error를 보이지만, online이 모든 problem에서 항상 우월하다는 theorem은 아니다.
• 최적의 $(n,\alpha)$는 problem과 update timing에 따라 달라진다.

따라서 서로 다른 $n$ 중 하나를 고정하는 대신 전부 geometric mixture하자는 질문이 p.34의 $\lambda$-return으로 이어진다.

---

Q6. 왜 $\lambda$-return에 geometric weights를 쓰나

슬라이드: $\lambda$-return · Zotero p.35 · TD($\lambda$) Weighting Function · p.36
내 코멘트: “왜 굳이 geometric weights를 사용하는 거지?”

Continuing form은

Weight $(1-\lambda)\lambda^{n-1}$는 합이 $1$인 geometric distribution이다. 그래서 $G_t^\lambda$는 여러 $n$-step return의 convex combination이다.

Geometric weight가 유용한 이유는 세 가지다.

1. 한 parameter로 depth 조절: $\lambda=0$이면 1-step TD, $\lambda\to1$이면 긴 return과 MC 쪽으로 간다.
2. 최근성에 대한 memoryless decay: 한 step 멀어질 때마다 정확히 $\lambda$배만 남는다. Effective horizon은 대략 $1/(1-\lambda)$ step이다.
3. Efficient backward recursion: geometric decay 덕분에 미래의 모든 $n$-step return을 다시 계산하지 않고

라는 eligibility trace 하나로 같은 total credit을 online에 전달할 수 있다.

즉 geometric weighting이 가능한 유일한 mixture는 아니다. 하지만 정규화된 smooth interpolation과 simple recursion을 동시에 주는 선택이라 TD($\lambda$)의 forward/backward equivalence가 생긴다.

---

Q7. Finite episode에서 마지막 weight만 다른 이유

슬라이드: $\lambda$-return · Zotero p.35 · TD($\lambda$) Weighting Function · p.36
내 코멘트: “$n\to\infty$와 종료시점 $T$가 같아야 하는 거 아님? $\lambda^{T-t-1}$은 뭐고 왜 $(1-\lambda)$가 없음?”

$n$은 lookahead step 수, $T$는 terminal time index라 같은 변수는 아니다. Time $t$에서 terminal까지 남은 transition 수를

라 두자. Terminal 이후에는 reward가 없고 $V(S_T)=0$이므로, $n\ge N$인 모든 $n$-step return은 같은 full MC return $G_t$가 된다.

Infinite mixture의 tail을 묶으면

마지막 weight에 $(1-\lambda)$가 없는 이유는 한 항의 weight가 아니라, $n=N,N+1,\ldots$인 infinite tail 전체의 weight를 합친 것이기 때문이다.

이 finite-episode weight도 전부 합하면 정확히 $1$이다.

---

Q8. Forward view와 Backward view는 각각 뭘 하나

슬라이드: Backward View TD($\lambda$) · Zotero p.39
내 코멘트: “Forward view·Backward view 뒤 슬라이드까지 자세히 설명 필요”

둘은 다른 objective가 아니라, 같은 multi-step credit assignment를 보는 두 방향이다.

Forward view는 time $t$에 서서 미래를 본다.

1. $G_t^{(1)},G_t^{(2)},\ldots$를 만든다.
2. 이를 geometric mixture해 $G_t^\lambda$를 만든다.
3. $V(S_t)$를 그 target 쪽으로 update한다.

이 view는 “TD($\lambda$)가 어느 target을 학습하는가?”를 설명하므로 theory에 좋다. Classical episodic forward view는 future reward가 필요하므로 episode가 끝나야 정확한 $G_t^\lambda$를 계산할 수 있다.

Backward view는 transition이 하나 나올 때마다 과거를 본다.

1. 현재 one-step TD error를 계산한다.

2. 과거 state들이 얼마나 “아직 credit 받을 자격이 있는지” eligibility trace $E_t(s)$에 유지한다.
3. 같은 $\delta_t$를 모든 state에 $E_t(s)$만큼 나눠 보낸다.

그래서 backward view는 incomplete sequence에서도 step마다 실행 가능한 mechanism이다. 미래 return을 직접 저장·재계산하지 않아도, 나중에 생긴 TD error가 trace를 따라 과거로 전달된다.

---

Q9. Eligibility trace의 식과 graph

슬라이드: Eligibility Traces · Zotero p.40
내 코멘트: “수식이랑 graph 설명좀”

Accumulating trace는

• $S_t=s$이면 indicator가 $1$이라 trace가 한 칸 올라간다.
• 그 state를 다시 방문하지 않으면 매 step $\gamma\lambda$배로 decay한다.
• 자주 방문하면 decay하기 전에 $1$이 계속 더해져 trace가 크게 쌓인다.

그래서 graph의 vertical jump는 visit, 내려가는 exponential curve는 recency decay다. Frequency heuristic과 recency heuristic이 동시에 들어 있다.

Bell/light/shock 예제에서 shock 직전에 자주 울렸고 최근에도 울린 bell state는 큰 $E_t$를 가진다. Shock가 만든 큰 negative $\delta_t$가 오면

이므로 그 state의 value가 더 크게 내려간다. Eligibility trace가 causality를 증명하는 것은 아니다. 최근·빈번한 predecessor에 credit을 배분하는 temporal heuristic이다.

$\lambda$의 역할도 여기서 보인다.

• $\lambda=0$: 과거 trace가 즉시 사라져 current state만 update → TD(0).
• 큰 $\lambda$: credit이 더 오래 전 state까지 전달.
• $\gamma<1$: 먼 future reward 자체의 discount와 일관되게 trace도 더 빨리 decay.

---

Q10. TD($\lambda$) = MC는 어떤 조건에서 맞나

슬라이드: TD($\lambda$) and MC · Zotero p.43 이후 equivalence 섹션
내 코멘트: “뭔 소린지 쉽게 이해시켜줘.”

핵심은 TD error 여러 개를 더하면 중간 $V$ 항이 cancel된다는 것이다. State $S_k$가 한 번 방문됐고 episode 동안 $V$를 고정한다고 하자. $\lambda=1$이면

왜냐하면

에서 $+\gamma V(S_{k+1})$와 $-\gamma V(S_{k+1})$, 그다음 항들도 전부 telescope하고, terminal value $V(S_T)=0$만 남기 때문이다. 오른쪽 $G_k-V(S_k)$는 정확히 MC error다.

일반 $\lambda$에서도

가 되어, forward-view $\lambda$-error와 backward-view trace가 같은 total credit을 만든다.

단, equivalence의 조건을 흘리면 안 된다.

• Classical theorem: episodic task에서 offline update, 즉 episode 안에서는 update들을 accumulate하고 끝에서 한꺼번에 적용하면 forward/backward TD($\lambda$)의 total update가 정확히 같다.
• Classical backward TD($\lambda$)가 step마다 $V$를 즉시 바꾸는 online setting에서는 뒤의 target과 TD error도 바뀌므로 classical forward view와 일반적으로 exact equality가 아니다.
• $\lambda=1$에서 offline TD(1)의 episode-total update는 every-visit MC와 같다. Online 중간 trajectory까지 MC와 같다는 뜻은 아니다.
• **True Online TD($\lambda$)**는 수정된 trace와 correction을 써서 online에서도 대응 forward view와 exact equivalence를 만든다.

그래서 p.37의 “Forward view는 complete episode가 필요”와 p.39의 “Backward view는 incomplete sequence에서 online update 가능”는 모순이 아니다. 같은 최종 credit assignment를 이론적으로 정의하는 방식과, 그것을 실시간으로 구현하는 방식의 차이다.

---

⭐ 중요 표시해둔 것들

• MC prediction: $v_\pi(s)=\mathbb E_\pi[G_t\mid S_t=s]$의 expectation 대신 observed return의 empirical mean을 쓴다. First-visit와 every-visit 모두 tabular 조건에서 consistent하다.
• MC의 적용 범위: classical form은 complete episode가 필요하므로 episodic MDP 전용. “Model-free”와 “continuing task 가능”은 같은 말이 아니다.
• TD target의 variance 조건: exact target $Y_t=R_{t+1}+\gamma v_\pi(S_{t+1})$는 $G_t$를 immediate transition에 condition한 expectation이므로 $\operatorname{Var}(Y_t\mid S_t)\le\operatorname{Var}(G_t\mid S_t)$. Learned $V$를 넣은 target은 보통 더 낮은 variance를 노리지만, arbitrary approximation error가 있으면 이 inequality가 항상 보장되지는 않으며 finite-time bias도 생긴다.
• Bias–variance는 convergence와 동일하지 않음: Tabular TD(0)는 target이 finite-time에 biased여도 적절한 조건에서 $v_\pi$로 수렴한다.
• $n$-step TD: TD(0)와 MC 사이의 discrete bridge. $G_t^{(n)}$은 $n$개의 실제 reward 뒤에 $\gamma^nV(S_{t+n})$로 bootstrap한다.
• $\lambda$-return: 모든 $n$-step return을 geometric mixture한 continuous bridge. $\lambda$가 클수록 effective backup depth가 깊어진다.
• Forward view: target의 의미를 보여주는 theory. Classical episodic form은 complete episode가 필요.
• Backward view: one-step TD error + eligibility trace로 같은 credit을 과거에 online 전달하는 mechanism.
• Lecture 4의 결론: MC·TD·DP는 서로 완전히 다른 아이디어가 아니라, sample vs expectation과 backup depth 두 axis 위의 서로 다른 점이다.

✅ Annotation coverage

Zotero item WNBKCHAI, attachment 2Y5BZHLB의 annotation 19개를 전부 대조했다.

📌 다음 액션

• Lecture 5에서 prediction을 control로 바꾸면서 $V(s)$가 아니라 $Q(s,a)$를 배우는 이유를 확인: model 없이 greedy action을 고르려면 $Q$가 필요하다.
• Formal ingest를 할 때 David Silver - RL Course (UCL 2015)의 Lecture 4 학습 진행과 Learning Log에 이 Q&A를 연결한다.