Lecture 6 · Value Function Approximation — 한국어 동반 읽기

같이 열 것: Lecture 6 · Value Function Approximation (본 노트) · David Silver - RL Course (UCL 2015) · 이전 Lecture 5 · Model-Free Control

목차

• §0 · L6가 하는 일, 한 문장
• §1 · 왜 근사하는가 (slides p.4–9)
• 배경지식 체크 — 애매하면 물어볼 것
• §2 · Oracle이라는 가정 (slides p.11–15)
• §3 · Oracle 걷어내기 — Prediction (slides p.16–20)
• §4 · Control (slides p.21–27)
• §5 · 깨지는 지점 (slides p.28–32)
• §6 · Batch Methods (slides p.34–37)
• §7 · DQN (slides p.38–41)
• §8 · 닫힌 형태 최소제곱 (slides p.42–55)
• 다 읽고 남는 지도

---

§0 · L6가 하는 일, 한 문장

L1~L5는 한 가지를 명시하지 않은 채 전제하고 있었다 — lookup table.

state 하나당 칸 하나, 또는 state-action pair 하나당 칸 하나. $V(s)$를 "업데이트한다"는 건 결국 표의 한 칸에 숫자를 덮어쓰는 것이었다.

L6는 그 표를 지우고 parameterized function으로 바꾼다. 그리고 딱 하나만 묻는다:

그래도 다 그대로 되나?

답은 명확히 갈리고, 그 갈림이 강의 전체의 목차가 된다. 본 노트 맨 앞의 표가 그 요약이다.

핵심만 남기면: 새로운 학습 원리는 오늘 하나도 나오지 않는다. MC도 TD도 TD(λ)도 전부 L4~L5에서 이미 배운 것 그대로다. 바뀌는 것은 표현(representation) 하나뿐이고, 강의의 나머지는 전부 "표현을 바꾸면 무엇이 성립하지 않게 되는가"를 조사하는 과정이다.

---

§1 · 왜 근사하는가 (slides p.4–9)

p.4–5 — Large-Scale RL

슬라이드의 내용 (이게 전부다):

• Backgammon: $10^{20}$ states
• Computer Go: $10^{170}$ states
• Helicopter: continuous state space
• "지난 두 강의의 model-free prediction·control을 어떻게 scale up 할까?"

표가 불가능한 이유: $10^{170}$개의 칸이 필요하다. 관측 가능한 우주의 원자 수가 약 $10^{80}$이다. 저장할 방법이 물리적으로 없다.

본 노트가 지적하는 것 — 이쪽이 §1의 실제 내용이다

본 노트는 이 숫자 논증을 **"둘 중 약한 쪽"**이라고 부른다. 처음 읽으면 이유가 잘 보이지 않는데, 뜻은 이렇다.

메모리가 무한하다고 가정해도 표는 여전히 작동하지 않는다. 표의 칸을 채우려면 그 state를 실제로 방문해야 하기 때문이다.

표는 칸끼리 아무 관계가 없으므로, $s$를 백만 번 방문해도 1mm 옆의 $s'$에 대해서는 아무것도 알게 되지 않는다. 헬리콥터처럼 state space가 continuous하면 같은 state를 두 번 방문할 확률이 0이다. 표는 끝내 채워지지 않는다.

이 관점이 중요한 이유는 뒤에서 회수되기 때문이다. 강의 후반에 "table lookup은 linear function approximation의 특수한 경우"라는 내용이 나오는데 (본 노트 p.15), 그때 "표가 generalize하지 못하는 이유"가 정확히 이것으로 설명된다. 지금 짚어두면 그 대목에서 따로 설명이 필요 없다.

---

p.6 — Value Function Approximation

강의 전체에서 가장 중요한 슬라이드다. 식은 하나뿐이다.

기호 읽는 법 — 여기서 막히지 않으면 남은 50장이 훨씬 수월하다:

$\mathbf{w}$가 함수라는 것 — 숫자로 확인

feature 두 개짜리 예시. 자동차 state를 (위치, 속도)로 두고 $\hat v(s,\mathbf{w})=w_1\cdot\text{pos}+w_2\cdot\text{vel}$이라 하자.

거의 같은 두 state를 잡는다.

$\mathbf{w}=(2,3)$일 때 두 값은 다음과 같다.

이제 $A$만 방문해서 값을 높여야 한다고 배웠다고 하자. $w_1$을 $2\to 2.1$로 올린다.

$B$는 방문한 적이 없는데 함께 올라갔다. $A$와 $w_1$을 공유하기 때문이다.

이것이 generalization이다. $\mathbf{w}$가 state를 조정해서가 아니라, $\mathbf{w}$ 하나를 모든 state가 함께 쓰기 때문에 하나를 건드리면 전부 따라 움직인다.

표와 비교하면 차이가 분명해진다. 표에서는 $V(A)$와 $V(B)$가 서로 다른 칸이므로, $A$를 아무리 업데이트해도 $B$는 정확히 0만큼 움직인다. 공유하는 것이 없기 때문이다. 이 사실은 p.15에서 one-hot feature로 다시 확인된다.

$s$와 $\mathbf{w}$의 비대칭을 정리하면 이렇다.

---

표와의 차이는 한 가지뿐이다.

표에서는 state마다 자기 칸을 독점했다. 여기서는 모든 state가 같은 $\mathbf{w}$ 하나를 공유한다.

공유의 효과는 양방향이다. 유리한 쪽은 $s$에서 배운 것이 $s'$의 값에도 반영된다는 것이고(= generalization), 불리한 쪽은 의도하지 않은 경우에도 $s'$의 값이 함께 바뀐다는 것이다. 강의 후반의 발산 문제는 전부 후자에서 나온다.

슬라이드가 나란히 놓은 두 가지 이득 — 본 노트는 둘의 급이 다르다고 말한다:

1. Memory — $\dim(\mathbf{w}) \ll |\mathcal{S}|$. 파라미터 수가 state 수보다 훨씬 적다
2. Generalization — 가본 적 없는 state에서도 함수를 호출할 수 있다

중요한 쪽은 2번이다. 1번만으로는 의미가 없다는 노트의 논증은 이렇다. "방문한 칸만 읽을 수 있는 압축된 표"는 결국 표다. 압축률이 아무리 좋아도 값을 알려면 여전히 그 state를 방문해야 하므로, §1의 실제 문제가 하나도 해결되지 않는다.

슬라이드 마지막 불릿이 강의 후반부 전체를 요약한다 — "Update parameter $\mathbf{w}$ using MC or TD learning." 새 학습 원리는 없고 새 표현만 있다는 뜻이다.

---

p.7 — Types of Value Function Approximation

그림 세 개가 나오는데, 슬라이드에는 설명이 한 줄도 없다. 왼쪽부터:

1. $s$ → $\hat v(s,\mathbf{w})$ — state value 하나
2. $(s,a)$ → $\hat q(s,a,\mathbf{w})$ — action-in. state와 action을 둘 다 넣고 스칼라 하나를 받는다
3. $s$ → $\hat q(s,a_1,\mathbf{w}),\dots,\hat q(s,a_m,\mathbf{w})$ — action-out. state만 넣고 모든 action의 값을 한 번에 받는다

2번과 3번은 같은 정보를 담는다. 다만 비용이 다르고, 그 차이가 뒤에서 중요해진다.

control은 greedy action을 골라야 하므로 매 step마다 $\arg\max_a \hat q$가 필요하다. 그래서 action-out이 훨씬 저렴하고, DQN이 이 방식을 쓴다 — Atari 조이스틱 18개 값을 forward pass 한 번으로 출력한다 (본 노트 p.39).

---

p.8–9 — Which Function Approximator?

후보 나열: linear combinations of features, neural network, decision tree, nearest neighbour, Fourier/wavelet bases, …

그리고 조건 두 개를 건다. 이 둘은 성격이 완전히 다르다.

조건 1 — differentiable. 미분 가능해야 gradient를 쓸 수 있고, gradient를 써야 값싼 incremental update가 가능하다. 이것은 편의를 위한 조건에 가깝다. 좋은 도구를 쓰기 위한 전제일 뿐이다.

조건 2 — non-stationary, non-i.i.d. 데이터에 맞는 학습법일 것. 이게 RL 고유의 제약이고, 강의 후반부 전체의 논지다. 두 단어를 풀면:

non-stationary = 목표가 움직인다.

• control에서: $\pi$가 계속 좋아지니까 $v_\pi$ 자체가 모양이 바뀐다. 어제 맞춘 답이 오늘은 틀린 답이다
• prediction에서도 마찬가지다: TD target $R+\gamma\hat v(S',\mathbf{w})$는 **지금 업데이트하고 있는 바로 그 $\mathbf{w}$**로 계산된다. target을 계산하는 파라미터와 지금 업데이트하는 파라미터가 같은 $\mathbf{w}$라는 뜻이다

non-i.i.d. = 데이터가 궤적(trajectory)으로 온다.

• i.i.d. = independent and identically distributed. supervised learning이 전제하는 가정으로, 데이터를 통에서 무작위로 하나씩 꺼낸다는 뜻이다
• RL은 그렇지 않다. 지금 프레임과 0.03초 뒤 프레임은 거의 같다. 현재 위치가 다음 위치를 강하게 결정한다

슬라이드의 오류 하나 (본 노트도 지적한다): p.9의 불릿 리스트는 p.8을 그대로 옮긴 것이다. "differentiable function approximator를 다룬다"고 해놓고 그 아래에 decision tree와 nearest neighbour가 그대로 남아 있는데, 둘 다 미분 불가능하다. 실제로 강의에서 다시 나오는 건 linear combination of features (canonical case)와 neural network (non-linear case) 둘뿐이다.

---

배경지식 체크 — 애매하면 물어볼 것

§2부터 수식 밀도가 올라간다. 아래 중 확실하지 않은 항목이 있으면 채팅에 그대로 붙여넣을 것. 여기서 해결하고 가는 편이 낫다.

수학 배경 쪽

• i.i.d.가 정확히 무엇이고, 왜 그 가정이 깨지면 학습이 어려워지는지
• $\mathbf{w}\in\mathbb{R}^n$이랑 $\hat v: \mathcal{S}\times\mathbb{R}^n\to\mathbb{R}$ 표기 읽는 법
• "gradient 방향으로 이동한다"가 기하적으로 무슨 뜻인지 — §2에서 바로 필요하다
• stationary / non-stationary 가 통계에서 원래 무슨 뜻인지

RL 쪽

• "TD target이 $\mathbf{w}$에 의존한다"가 왜 문제인지 — 지금 단계에서 와닿지 않는 것이 정상이다
• generalization이 왜 data efficiency와 같은 말인지
• $v_\pi$에 $\pi$ 아래첨자가 붙는 이유 (L2~L4 복습)
• action-in / action-out 중 뭘 쓸지가 continuous control에서 왜 문제가 되는지

---

§2 · Oracle이라는 가정 (slides p.11–15)

L6에서 수식이 가장 많은 구간이다. 대신 여기만 이해하면 뒤쪽 3분의 2는 같은 내용의 반복이다.

먼저 — 강의 전체를 관통하는 전개 방식

본 노트가 "the method of the whole lecture"라고 부르는 것이다. 모든 유도가 2단계로 진행된다.

• 1단계 — 가정한다(pretend). 어떤 존재(oracle)가 참값 $v_\pi(S)$를 알려준다고 가정한다. 정답이 주어지므로 이 단계는 supervised learning과 같다
• 2단계 — 대체한다(substitute). oracle 자리에 RL이 실제로 구할 수 있는 값을 넣는다. return $G_t$, TD target $R+\gamma\hat v(S',\mathbf{w})$, 또는 $\lambda$-return $G_t^\lambda$

강의는 이 루프를 정확히 세 번 돈다.

이 구조를 파악하면 슬라이드 56장 중 3분의 2가 같은 슬라이드로 보인다. 읽다가 앞에서 본 내용 같다고 느껴진다면 착각이 아니라 실제로 같은 내용이다.

---

p.11 — Gradient Descent (수학 배경 슬라이드)

슬라이드가 정의하는 것: $J(\mathbf{w})$가 parameter vector $\mathbf{w}$의 미분 가능한 함수일 때, gradient는 편미분들을 세로로 쌓은 vector다.

기하적 의미 — 여기가 정리되지 않으면 §3 전체가 읽히지 않는다:

$J(\mathbf{w})$를 $\mathbf{w}$ 위에 놓인 **지형(landscape)**이라고 보자. 높이가 error이고, 낮을수록 좋다.

• $\nabla_\mathbf{w}J$는 그 지점에서 가장 가파르게 올라가는 방향을 가리키는 화살표다
• 우리는 내려가고 싶으니 부호를 뒤집는다. 그래서 $-\alpha\nabla J$
• $\alpha$는 step size, 즉 한 번에 이동하는 크기다. 크면 빠르지만 최소점을 지나쳐 발산할 수 있고, 작으면 안정적이지만 느리다

각 성분 $\partial J/\partial w_j$는 $w_j$만 조금 바꿨을 때 error가 얼마나 변하는가를 나타낸다. 크게 변한다면 그 방향으로 크게 움직일 이유가 있다는 뜻이다.

---

p.12 — Value Function Approximation by SGD

목표를 식으로: 근사값 $\hat v(s,\mathbf{w})$와 참값 $v_\pi(s)$의 mean-squared error를 최소화하는 $\mathbf{w}$를 찾는다.

$\mathbb{E}_\pi$가 붙는 이유 — 놓치기 쉽지만 중요하다. state마다 error가 다르므로 어떤 state의 error를 더 중요하게 볼 것인가를 정해야 한다. 기준은 "$\pi$를 따를 때 자주 방문하는 state를 더 중요하게"다. 거의 방문하지 않는 state를 정확히 맞춰도 의미가 없기 때문이다.

미분하면:

gradient가 어디에 붙는지 확인할 것. $v_\pi(S)$는 oracle이 준 상수이므로 $\mathbf{w}$로 미분하면 0이다. 따라서 $\nabla_\mathbf{w}\hat v$만 남는다.

SGD로 넘어가는 마지막 단계: 기댓값 $\mathbb{E}_\pi[\cdot]$는 계산할 수 없다. 모든 state를 훑어야 하는데, 그것이 애초에 피하려던 일이기 때문이다. 그래서 샘플 하나로 대체한다:

슬라이드 마지막 줄 — "Expected update is equal to full gradient update" — 이 문장이 online algorithm을 정당화한다. 샘플 하나짜리 업데이트를 평균 내면 실제 gradient와 같다는 뜻이다. 따라서 한 샘플씩 근사적으로 진행해도 장기적으로는 올바른 방향으로 수렴한다.

여기서 계산 하나가 저절로 해결된다. state distribution을 따로 구할 필요가 없다. $\pi$를 따라 이동하면 자주 가는 state를 자연히 자주 만나므로, 방문 자체가 $\mathbb{E}_\pi$의 가중평균 역할을 한다.

---

p.13 — Feature Vectors

state를 숫자 vector로 바꾼다.

슬라이드의 예시: 로봇과 landmark 사이의 거리들 / 주식시장의 추세들 / 체스의 기물·폰 배치.

feature는 설계상 정보를 버린다(lossy). feature vector가 같은 두 state는 이 함수 입장에서 동일한 state이고, 구분할 방법이 없다. 이는 결함이 아니라 의도된 선택이다. feature가 적절하다면 버려진 정보는 애초에 필요하지 않았던 정보다.

이 강의는 좋은 feature를 어떻게 얻는지 다루지 않는다. 그것은 representation learning의 문제이고, 강의가 제시하는 방향은 "손으로 설계하지 말고 neural network를 쓰라"는 것이다.

---

p.14 — Linear Value Function Approximation

읽는 법: 각 feature 값에 가중치를 곱해 전부 더한다. 그것이 그 state의 값이다.

여기서 두 가지가 따라온다.

(1) $J(\mathbf{w})$가 $\mathbf{w}$에 대해 quadratic이다 → local minimum이 없고 global optimum이 유일하다. $J$가 볼록한 그릇(bowl) 모양이므로 SGD가 반드시 바닥에 도달한다.

(2) gradient가 매우 단순해진다.

$\hat v=\sum_j x_j w_j$이므로 $\partial\hat v/\partial w_j = x_j$이고, 이를 세로로 쌓으면 $x(S)$가 된다.

따라서 업데이트는 다음과 같다:

세 번째 항이 핵심인데, 슬라이드는 "feature value"라고만 적고 넘어간다. 실제로 이 항이 하는 일은 credit assignment, 즉 오차의 책임을 어느 weight에 물릴지 정하는 것이다.

체스로 예를 들면, 어떤 국면의 평가가 틀렸는데 그 국면에 퀸이 없었다고 하자. 퀸에 해당하는 feature 값이 0이므로 곱셈 결과 퀸의 weight는 전혀 움직이지 않는다. 그 feature는 오차와 무관했기 때문이다.

---

p.15 — Table Lookup Features

one-hot feature를 쓰면 다음과 같이 된다:

$\mathbf{1}(\cdot)$은 indicator function으로, 조건이 참이면 1, 거짓이면 0이다. 따라서 이 vector는 현재 state 자리만 1이고 나머지는 전부 0이다.

내적을 하면 weight 하나만 선택된다. 즉 $\mathbf{w}$가 곧 표다.

L1~L5 전체가 오늘 다루는 내용의 특수한 경우였던 것이다. 폐기되는 것이 아니라, feature가 서로 겹치지 않는 경우로 다시 정의된 것이다.

---

§3 · Oracle 걷어내기 — Prediction (slides p.16–20)

p.16 — Incremental Prediction Algorithms

p.12에서 미뤄둔 가정을 해소하는 슬라이드다. 슬라이드가 직접 밝힌다: "Have assumed true value function $v_\pi(s)$ given by supervisor. But in RL there is no supervisor, only rewards."

해법은 대입 한 번이다. $v_\pi(S_t)$ 자리에 target을 넣는다. 업데이트 규칙 자체는 바뀌지 않는다.

슬라이드는 셋을 동등한 선택지처럼 나열하지만, 실제로는 동등하지 않다. 그리고 그 차이가 강의 후반부 수렴 문제 전체의 출발점이다.

슬라이드가 다루는 것은 두 번째 열(bias)이지만, 발산을 실제로 일으키는 것은 세 번째 열이다. 그리고 이 사실을 명시하는 슬라이드는 p.31에서야 나온다.

---

p.17 — Monte-Carlo with Value Function Approximation

$G_t$는 $v_\pi(S_t)$의 unbiased, noisy sample이다. 따라서 MC는 정답에 noise가 섞인 supervised learning과 정확히 같다.

이 사실이 뒤에 나오는 모든 수렴표에서 MC 행이 전부 ✓인 이유를 설명한다. target이 $\mathbf{w}$에 의존하지 않으므로 업데이트가 실제로 고정된 목적함수 위의 SGD이고, 표준 SGD 이론이 수정 없이 그대로 적용된다. linear이면 global optimum, non-linear이면 local optimum이다.

대가는 variance다. 그 크기는 p.27에서 확인하게 되는데, 거기서 MC는 모든 벤치마크에서 bootstrapping에 뒤진다.

---

p.18 — TD Learning with Value Function Approximation

$\delta$는 TD error로, L4에서 이미 다룬 것과 같다. 달라진 점은 업데이트가 표의 특정 칸이 아니라 $x(S)$ 방향으로 이루어진다는 것뿐이다.

슬라이드 마지막 줄은 가장 중요한 단어를 괄호 안에 넣어두었다:

"Linear TD(0) converges (close) to global optimum"

TD(0)이 수렴하는 지점은 TD fixed point $\mathbf{w}_{TD}=A^{-1}b$이며, 이는 least-squares 최적점이 아니다. 둘의 차이에는 알려진 상한이 있다 (Tsitsiklis & Van Roy 1997; Sutton & Barto 2e eq. 9.14, continuing case에 대해 증명됨):

§3에서 가장 중요한 질문

TD target에도 $\mathbf{w}$가 들어 있다. 그런데 왜 gradient는 $\hat v(S,\mathbf{w})$에만 붙고 target에는 붙지 않는가?

밑줄 친 두 곳을 비교할 것. target 안에도 $\mathbf{w}$가 들어 있는데 gradient는 오른쪽 항에만 적용된다.

답: TD는 정보를 시간의 앞 방향으로 전달하는 방식으로 작동하는데, 양쪽을 모두 미분하면 그 방향성이 사라지기 때문이다.

구체적으로:

• 두 추정치 중 $\hat v(S',\mathbf{w})$가 더 신뢰할 만하다. 실제 reward $R$을 한 번 더 관측한 뒤의 추정이므로 참값에 그만큼 가깝다
• TD는 이 값을 고정된 것으로 취급하고 앞쪽 추정을 그쪽으로 이동시킨다
• 양쪽에 gradient를 걸면 업데이트가 대칭이 된다. 두 추정치가 서로를 끌어당기게 되어, 더 신뢰할 만한 나중 추정치가 덜 신뢰할 만한 앞쪽으로 끌려온다
• table lookup에서조차 이 방식으로는 틀린 value function으로 수렴하는 stochastic MDP를 구성할 수 있다

그래서 이 업데이트를 semi-gradient라고 부른다. 유효한 알고리즘이지만 어떤 목적함수의 gradient descent도 아니다. 이것이 p.31이 명시하는 내용이자, 발산이 가능한 근본 이유다.

---

p.19–20 — TD(λ) with Value Function Approximation

forward view와 backward view가 동등하다는 점도 L4와 같다 → Forward and Backward Views of TD Lambda

---

§4 · Control (slides p.21–27)

여기서부터 prediction($v$)에서 control($q$)로 넘어간다. 새로 배울 내용은 거의 없다. §2의 유도에서 $v$를 $q$로 바꾸면 그대로 성립한다.

p.21 — Control with Value Function Approximation

L5와 동일한 GPI(generalised policy iteration) 루프다. 위쪽 화살표가 evaluation, 아래쪽 화살표가 improvement다.

• policy evaluation — approximate policy evaluation, $\hat q(\cdot,\cdot,\mathbf{w})\approx q_\pi$
• policy improvement — $\epsilon$-greedy policy improvement

L5와 마찬가지로 evaluation을 수렴할 때까지 돌린 뒤에 improve하지 않는다. 가장 최신 추정치로 바로 행동한다. 완전히 incremental한 경우라면 매 step마다 업데이트하고 매 step마다 다시 행동을 선택한다는 뜻이다.

---

p.22–24 — Action-Value Function Approximation

세 장 모두 앞에서 이미 본 내용이다. p.12→p.16의 유도에서 $v$를 $q$로 바꾼 것이고, 새로운 주장은 없다.

linear이면 $\hat q(S,A,\mathbf{w})=x(S,A)^\top\mathbf{w}$, $\nabla_\mathbf{w}\hat q=x(S,A)$가 된다. 그리고 p.24에서 oracle 자리에 target을 대입한다 — MC는 $G_t$, TD(0)은 $R_{t+1}+\gamma\hat q(S_{t+1},A_{t+1},\mathbf{w})$ (= Sarsa), TD(λ)은 $q_t^\lambda$다.

구조적 변화는 하나뿐이다: feature가 $x(S,A)$가 되었다. state와 action 양쪽의 함수라는 뜻이다.

그 결과 action들 사이에서도 generalize할 수 있게 된다. 비슷한 action끼리 feature를 공유하도록 설계하면 한 action에서 배운 것이 다른 action에도 반영된다.

반대로 차단할 수도 있다. indicator를 써서 action마다 서로 겹치지 않는 feature 블록을 할당하는 방식이 흔한데 (p.53의 chain walk가 이 방식이다), 그러면 action 간 generalization이 0이 된다. 이것은 설계 선택이지만, 슬라이드는 그것이 선택이라는 점을 표시하지 않는다.

---

p.25–26 — Mountain Car

문제 설정: 출력이 부족한 자동차가 골짜기에 있다. 언덕을 곧장 올라갈 힘이 없으므로 뒤로 물러나 반동을 만들어야 한다.

이 문제가 표준 벤치마크인 이유가 여기 있다. 궤적의 일부 구간에서 최적 action이 목표의 반대 방향을 가리킨다. 목표 쪽으로만 greedy하게 움직이면 끝내 올라가지 못한다.

• state space: 2차원 연속 — position, velocity
• function approximator: coarse coding. 모양과 크기가 다양한 타일을 겹치게 배치한다. 어떤 state를 방문하면 그 state를 덮는 타일들만 갱신되고 나머지는 움직이지 않는다 → generalization이 국소적이며, 그 범위는 타일 크기가 결정한다

나선 형태는 수렴한 최적 value function의 근사다. 여기서는 타일 대신 radial basis function을 사용했다. 표면이 매끄러운 것은 근사기가 **보간(interpolate)**하기 때문이며, 어디에도 정확한 값이 저장되어 있지 않다.

---

p.27 — Study of λ: Should We Bootstrap?

도메인 4개에 세로축이 4종류다 — steps per episode / RMS error / cost per episode / failures per 100,000 steps. 서로 다른 양이지만 넷 다 낮을수록 좋은 지표여서 네 곡선이 같은 결론을 가리킨다. (accumulating과 replacing trace의 구분은 사소한 변형이므로 무시해도 된다.)

핵심은 곡선의 형태다. $\lambda=1$(순수 MC)은 모든 도메인에서 성능이 나쁘다. variance 때문이다. $\lambda=0$이 더 낫고, 최적값은 그 사이에 있으며 위치는 도메인마다 다르다.

---

§5 · 깨지는 지점 (slides p.28–32)

p.28–29 — Baird's Counterexample

강의에서는 설명 없이 지나간다. 여기서는 Sutton & Barto 2e §11.2로 보충한다. 설정을 알아야 결과의 의미가 드러나기 때문이다.

구성: state 7개, action 2개, $\gamma=0.99$.

• 점선(dashed) action — 위쪽 6개 state 중 하나로 균등하게 간다
• 실선(solid) action — 7번 state로 간다
• behaviour policy $b$ — 확률 $6/7$로 점선을 고른다. 그래서 다음 state 분포가 균등하다
• target policy $\pi$ — 항상 실선을 고른다. 그래서 $\pi$의 on-policy 분포는 state 7에 몰린다
• 모든 transition의 reward가 0이다

off-policy가 왜 결정적인 조건인가 — 직관적으로 가장 이해하기 어려운 부분이다:

• on-policy에서는 값이 높은 state로 들어가는 transition을 겪었다면 언젠가 그 state에서 나오는 transition도 반드시 겪게 된다. 그 시점의 보정이 추정치를 제자리에 유지한다. 각 state는 "이후에 더 높은 값이 온다"고 예측함으로써만 앞 state의 값을 지지할 수 있고, 그 예측은 결국 검증된다
• off-policy에서는 target policy가 취하지 않을 action을 실행할 수 있고, 그러면 보정이 오지 않는다. 검증되지 않은 예측이 그대로 남는다

그래서 재료가 셋이고, 하나만 빼도 발산이 사라진다:

1. Bootstrapping — MC가 아니라 TD
2. Function approximation — 여기서는 겨우 linear. state의 값이 공유 parameter들의 겹치는 조합으로 쓰인다는 것뿐
3. Off-policy updating — 따르는 policy의 방문 분포가 아니라 모든 state를 균등하게 갱신하는 것

이 셋을 이후 문헌에서 deadly triad라고 부른다. Sutton & Barto의 용어(2e §11.3)이며 2015년 이 강의의 용어는 아니다. 현대 deep RL 논문에서 반복해서 등장하는 이름이다. 해당 절에서 가져갈 사실은 두 가지다:

• 셋 중 둘까지는 항상 안전하다. 불안정이 발생하려면 셋이 동시에 있어야 한다. 그래서 triad는 단순한 경고가 아니라 설계 도구다. 무엇을 포기할지 선택하는 기준이 된다
• control과는 무관하다. 불안정은 더 단순한 prediction에서 나타나고, 환경을 완전히 아는 DP 같은 planning method에서도 동일하게 나타난다. 따라서 GPI나 exploration, 환경에 대한 불확실성이 원인이 아니다

---

p.30 — Convergence of Prediction Algorithms

12칸을 외울 필요는 없고 패턴만 보면 된다:

• MC 행은 전부 ✓다. target이 $\mathbf{w}$에 의존하지 않으므로(p.17) 모든 경우에 SGD가 그대로 성립한다
• 표 안의 모든 ✗는 TD 항목이다. 이 강의의 모든 실패 사례에 bootstrapping이 들어 있다
• Table Lookup 열은 전부 ✓다. 그것이 L1~L5이며, 그동안 문제가 없었던 이유에 대한 사후 설명이다
• TD가 깨지는 경로는 정확히 두 가지다. on-policy인 채로 non-linear로 가거나, linear인 채로 off-policy로 가는 것이다. off-policy 쪽이 더 위험하다. linear 단계에서 이미 깨지기 때문이다

---

p.31 — Gradient Temporal-Difference Learning

첫 번째 불릿이 이 강의에서 가장 중요한 문장이다.

"TD does not follow the gradient of any objective function."

"TD의 목적함수는 최적화하기 어렵다"가 아니라 목적함수가 존재하지 않는다는 뜻이다.

따라서 "곡면을 내려간다"에 기반한 수렴 논증을 세울 수 없고, 그래서 반례가 성립한다. p.18의 semi-gradient에서 직접 따라 나오는 결과다. 알고리즘을 실용적으로 만들기 위해 항 하나를 버렸는데, 그 항이 gradient라는 성질을 담당하고 있었던 것이다.

Gradient TD는 목적함수를 하나 정의해서 이 문제를 해결한다. projected Bellman error를 정의하고 그것의 실제 gradient를 따라간다. 비용은 보정항 하나가 추가되는 것이고, 결과는 표의 아래 행이다. off-policy non-linear를 포함해 전 칸 ✓다. Emphatic TD도 같은 계열의 방법으로 언급된다. 당시로서는 매우 최근 결과였다.

---

p.32 — Convergence of Control Algorithms

control은 prediction보다 상황이 나쁘고, 깨지는 이유도 다르다. 슬라이드는 그 이유를 설명하지 않는다.

• prediction에서의 문제: bootstrap target이 $\mathbf{w}$에 의존한다
• control에는 그것 말고 두 번째, 독립적인 실패가 하나 더 있다: improvement step이 더 이상 개선을 보장하지 않는다

L5의 $\epsilon$-greedy improvement theorem은 $q_\pi$를 정확히 알고 있다고 가정했다. 근사값만 있는 경우, $\hat q_\mathbf{w}$에 대해 greedy하게 행동하면 실제로 더 나쁜 policy가 나올 수 있다.

그 결과 개선과 후퇴가 반복되며, 최적점 주변의 유계 영역에서 chattering하고 수렴하지 않는다.

두 실패 모드는 기호가 다르다:

Q-learning은 **linear에서도 ✗**인 반면 Sarsa는 (✓)다. off-policy인 데 따른 차이이며, prediction 표와 같은 패턴이다.

---

§6 · Batch Methods (slides p.34–37)

여기서 강의가 후반부로 넘어간다. 지금까지는 전부 "한 step 관측하고, 조금 움직이고, 버린다"는 방식이었다.

p.34–35 — Batch Reinforcement Learning

슬라이드가 지적하는 문제: "Gradient descent is simple and appealing. But it is not sample efficient."

전반부 방식의 문제는 transition을 한 번 관측하고, 작은 step을 한 번 적용하고, 데이터를 버린다는 점이다.

경험을 얼마든지 만들 수 있으면 문제가 되지 않는다. 그렇지 않으면 심각한 낭비다. 로봇의 경험에는 실제 시간과 하드웨어 마모라는 비용이 든다. 시뮬레이터가 아닌 실물에서는 그 비용이 그대로 발생한다.

그래서 batch method는 질문을 바꾼다. "지금까지 모은 경험 $\mathcal{D}$ 전체에 가장 잘 맞는 value function은 무엇인가?"

---

p.36–37 — SGD with Experience Replay

알고리즘 전체:

1. 저장된 경험에서 $\langle s, v^\pi\rangle$를 무작위로 하나 뽑는다
2. SGD 업데이트를 한다: $\Delta\mathbf{w}=\alpha(v^\pi-\hat v(s,\mathbf{w}))\nabla_\mathbf{w}\hat v(s,\mathbf{w})$
3. 반복

그러면 least squares 해로 수렴한다: $\mathbf{w}^\pi=\arg\min_\mathbf{w} LS(\mathbf{w})$.

얻는 것은 두 가지이고, 중요한 쪽은 두 번째다:

1. Sample efficiency — transition 하나를 여러 번 재사용한다. 이미 비용을 치른 데이터를 더 활용하는 것이다. 수렴할 때까지 반복하면 least squares 해에 정확히 도달한다
2. Decorrelation — 버퍼에서 균등 무작위로 추출하면 궤적의 순서가 사라진다. 이것이 p.9의 non-i.i.d. 문제에 대한 직접적인 답이고, replay가 단지 학습을 저렴하게 만드는 데 그치지 않고 신경망을 안정화시키는 이유다

---

§7 · DQN (slides p.38–41)

p.38 — Experience Replay in Deep Q-Networks

기법 1 — experience replay: 연속된 업데이트 사이의 상관을 제거한다 → non-i.i.d. 대응

기법 2 — fixed Q-targets: 예측과 그 예측이 추종하는 대상 사이의 결합을 끊는다 → non-stationarity 대응

$w^-$를 고정하면 각 구간이 stationary target에 대한 supervised learning과 정확히 같아진다. 수천 step마다 $w^-\leftarrow w$로 복사하고 다음 구간을 시작한다. 교체 주기는 튜닝된 hyperparameter이며 50개 게임 전부에 동일한 스케줄을 사용했다. 부드럽게 추종하는 변형도 가능하지만 논문 실험은 hard switching을 썼다.

Silver는 이 방식이 되살린 기존 아이디어의 이름을 언급한다. fitted Q-iteration이다.

---

p.39 — DQN in Atari

• 픽셀 $s$에서 $Q(s,a)$까지 end-to-end 학습
• 입력: 마지막 4 프레임의 raw pixel stack
• 출력: 조이스틱/버튼 18개 위치에 대한 $Q(s,a)$
• reward: 그 step의 점수 변화량
• 네트워크 구조와 hyperparameter를 모든 게임에 고정

구조는 p.7의 action-out 설계다. forward pass 한 번으로 Q값 18개를 출력하므로 매 프레임 $\arg\max_a$를 감당할 수 있다.

---

p.40–41 — Results and Ablation

$2\times 2$ ablation이다. 둘 다 효과가 있고 함께 쓰면 더 좋아지지만, 기여도는 크게 다르다. replay 쪽이 지배적이다.

Breakout에서 replay를 제거하면 316.81 → 10.16으로 약 31배 떨어진다. fixed-Q만 제거하면 약 24% 감소한다. 다섯 게임 모두 같은 순서다.

p.40에서는 게임들이 인간 전문가 대비 성능으로 정렬되어 있다. 그런데 상위보다 하위 쪽이 더 중요하다:

---

§8 · 닫힌 형태 최소제곱 (slides p.42–55)

p.42–43 — Linear Least Squares Prediction

출발점: experience replay는 least squares 해를 찾아주지만 반복이 많이 필요할 수 있다. linear approximation이면 직접 풀 수 있다.

유도는 아이디어 하나로 진행된다. least squares 최소점에서는 $\mathbf{w}$를 더 이상 바꿀 이유가 없다. 그러므로 전체 업데이트를 0으로 놓고 푼다.

이후는 전부 항 정리이며, $\mathbf{w}$를 포함하는 항이 하나뿐이라는 점이 핵심이다.

슬라이드가 언급하지 않고 넘어가는 두 가지:

(1) $\alpha$가 소거된다. 식 전체에 곱해져 있는데 그 전체를 0으로 놓으므로 step size가 답에 영향을 주지 않는다. 튜닝할 learning rate가 존재하지 않는다. 실무적으로 의미 있는 이점이다.

(2) $N$은 feature 개수이지 state 개수가 아니다. 직접 풀면 $O(N^3)$, Sherman-Morrison을 써서 incremental하게 하면 $O(N^2)$다.

replay와의 trade-off는 상황에 따라 갈린다. feature가 적고 경험이 길면 닫힌 형태가 유리하고, feature가 많으면 replay가 유리하다. 실무적으로는 데이터를 대여섯 번 반복하면 대부분의 정보를 이미 활용하게 된다.

---

p.44–46 — LSMC, LSTD, LSTD(λ)

p.35에서 남겨둔 oracle 가정을 p.16과 동일한 대입으로 해소한다 — $v_t^\pi\approx G_t$, 또는 $R_{t+1}+\gamma\hat v(S_{t+1},\mathbf{w})$, 또는 $G_t^\lambda$.

핵심은 이 행이다. LSTD는 off-policy에서 수렴한다. incremental TD는 linear feature로도 ✗인 자리다.

fixed point를 직접 풀면 incremental 버전을 불안정하게 만드는 메커니즘 자체를 거치지 않기 때문이다. (Non-Linear 열의 "–"는 해당 없음이라는 뜻이다. 이 방법들은 linear에서만 정의된다. 닫힌 형태는 linearity에서 나오는 성질이기 때문이다.)

---

p.47과 p.52 — Least Squares Policy Iteration

다시 GPI 구조이며, evaluation 자리에 LSTDQ가 들어간다. p.21과 한 가지가 다른데, 짚고 갈 만하다.

그럼에도 control은 여전히 수렴하지 않는다. p.52에서 LSPI는 Monte-Carlo control, Sarsa와 함께 **(✓)**로 분류된다. 동일하게 chatter한다.

evaluation을 정확히 푸는 것은 evaluation만 해결한다. p.32의 실제 진단이었던 **"근사 하에서는 improvement step을 신뢰할 수 없다"**는 문제는 그대로 남는다.

---

p.48–51 — 강의가 건너뛴 네 장

강의가 시간 부족으로 LSPI 다이어그램에서 chain walk로 바로 넘어가며 명시적으로 건너뛴 슬라이드들이다. 내용은 least-squares control이 왜 off-policy여야 하는지에 대한 논증과 LSTDQ 유도다.

논지는 p.49에 있고 짧다:

• evaluation에서는 모든 경험을 효율적으로 쓰고 싶다
• control에서는 policy도 개선하고 싶다
• 그 경험은 여러 policy에서 나왔다
• 따라서 $q_\pi(S,A)$를 평가하려면 off-policy로 배울 수밖에 없다
• 해법은 Q-learning과 같은 아이디어다: batch에서 $S_t,A_t,R_{t+1},S_{t+1}\sim\pi_\text{old}$를 가져오되, 새 policy가 취했을 action $A'=\pi_\text{new}(S_{t+1})$ 쪽으로 bootstrap한다

LSTD 식과 나란히 놓고 보면 차이는 하나뿐이다. $x(S_{t+1})$ 자리에 $x(S_{t+1},\pi(S_{t+1}))$가 들어갔다. "다음 state의 feature"에서 "다음 state에서 새 policy가 선택할 action의 feature"로 바뀐 것이다. off-policy 성질이 식 안에서 정확히 이 자리에 들어 있다.

p.51의 pseudocode가 요점을 분명히 한다. 매 iteration마다 같은 $\mathcal{D}$가 LSTDQ에 전달된다. 그것이 이 알고리즘의 핵심이다.

function LSPI-TD(D, π₀)
    π' ← π₀
    repeat
        π ← π'
        Q ← LSTDQ(π, D)              ← 같은 D를 매번 다시 쓴다
        for all s ∈ S do
            π'(s) ← argmax_a Q(s, a)
        end for
    until (π ≈ π')
    return π
end function

---

p.53–55 — Chain Walk

설정: 일렬로 늘어선 state 50개. reward는 state 10과 41에서만 $+1$, 나머지는 0. action마다 균등 간격 Gaussian 10개 ($\sigma=4$). 경험은 random walk policy로부터 10,000 step, 한 번만.

최적 policy는 슬라이드에 R(1–9), L(10–25), R(26–41), L(42–50)로 적혀 있는데, 이 형태로는 외우기 어렵다. **"둘 중 더 가까운 reward state 쪽으로 향한다"**로 읽으면 자명해진다.

실선이 LSPI 근사, 점선이 정확한 값. 파랑·빨강이 두 action.

봉우리가 뾰족하지 않고 넓은 데에는 서로 독립적인 두 가지 이유가 있고, 혼동하기 쉽다:

1. value가 discounting을 통해 사슬을 따라 실제로 퍼진다 — 실제 현상이다
2. RBF 근사기가 그 위에서 매끄럽게 만든다 — 근사에 의한 artifact다

둘째만 artifact이므로, 그림을 볼 때 이 둘을 구분해야 한다.

policy plot은 iteration 7쯤에 수렴한다. 그리고 value function이 수렴해 보이는 시점보다 결정이 먼저 정확해진다. $\arg\max$는 크기가 아니라 순서만 맞으면 되기 때문이다.

실무적으로 유용한 감각이다. value가 아직 거칠어 보여도 policy는 이미 옳을 수 있다.

---

다 읽고 남는 지도

L6 전체를 한 장으로 압축하면 다음과 같다.

1. 새로운 학습 원리는 없었다. MC, TD, TD(λ), Sarsa, Q-learning 전부 L4~L5와 동일하다. 표현만 바뀌었다.

2. 표현이 바뀌면서 깨진 것은 정확히 하나다. target이 $\mathbf{w}$에 의존하게 된 것이고, 나머지는 전부 여기서 파생된다:

target이 $\mathbf{w}$에 의존한다 → semi-gradient가 된다 → 내려갈 목적함수가 없다 → 발산이 가능하다.

3. MC는 이 연쇄의 첫 단계에서 빠진다. $G_t$는 $\mathbf{w}$를 사용하지 않으므로 모든 표에서 MC 행이 ✓다. 그러나 variance 때문에 실무에서는 밀린다(p.27). 이것이 L6의 중심 트레이드오프다.

4. deadly triad = bootstrapping + function approximation + off-policy. 둘까지는 안전하고 셋이 모이면 위험하다. 무엇을 포기할지 정하는 설계 도구로 쓸 것.

5. DQN은 셋을 모두 켠 채로 두 가지 보완책을 더한 것이다. replay(non-i.i.d.)와 fixed target(non-stationary)이다. 우아한 해법은 아니지만 동작한다.

6. control은 prediction보다 한 단계 더 어렵다. evaluation을 정확히 풀어도(LSPI) chatter가 남는다. 근사 하에서는 improvement step 자체가 보장을 잃기 때문이다.

스스로 채워야 할 구멍 (강의가 안 다룬 것)

• Gradient TD와 emphatic TD — 이름만 나오고 projected Bellman error나 보정항의 유도가 없다. off-policy + non-linear 환경에서 작업할 계획이라면 여기가 가장 큰 공백이다. Sutton & Barto 2e Ch. 11이 정식 처리이고, §11.3의 "triad 중 무엇을 포기할 것인가" 논증부터 읽는 편이 낫다
• Feature discovery — 명시적으로 범위 밖이다. 좋은 feature가 주어진다고 가정한다. 강의가 제시하는 방향은 "neural network를 쓰라"이고, 그래서 L6의 non-linear 열이 현대 연구가 실제로 다루는 영역이다
• DQN reward clipping — 슬라이드는 "reward는 그 step의 점수 변화"라고 하면서 동시에 "hyperparameter 하나로 50개 게임 전부"를 처리했다고 한다. 게임마다 점수 스케일이 자릿수로 다르므로 두 진술이 그대로 양립하기 어렵다. Nature 논문에서 reward가 어떻게 정규화되었는지 확인할 것. 이 강의에는 나오지 않는다

다음

• L7 Policy Gradient — L6에서 두 번 예고되었다. continuous action에서 $\max_a$가 optimization이 되는 문제(p.26)와, action-out이 discrete action set을 요구하는 제약(p.7)이다. 둘 다 policy를 직접 파라미터화하면 해소된다
• L9 Exploration and Exploitation — Montezuma's Revenge가 남긴 문제
• 본 노트 Study checklist의 12문항을 노트 없이 답해볼 것. 이 문서를 읽었다면 답할 수 있어야 한다

---

관련 페이지

Model-Free Prediction · Forward and Backward Views of TD Lambda · Importance Sampling in Off-Policy RL · Markov Decision Process (MDP) · Model-Free vs Model-Based RL · David Silver · Learning Log