ActorCritic 방법론 정책 최적화와 가치 함수 추정을 결합한 학습 안정화 기법

Actor-Critic 방법론: 정책 최적화와 가치 함수 추정을 결합한 학습 안정화 기법

---

Overview

Actor-Critic 방법론은 강화학습에서 정책 최적화와 가치 함수 추정을 결합하여 학습을 안정화하고 성능을 향상시키는 기법입니다. 이 방법론은 정책(policy)과 가치 함수(value function)를 동시에 학습하며, 이를 통해 더 나은 탐색과 수렴을 제공합니다. 이 글에서는 Actor-Critic 방법론의 기본 개념과 구조, 주요 알고리즘, 장점과 단점, 그리고 에러와 해결책에 대해 자세히 설명하겠습니다.

---

1. Actor-Critic의 기본 개념

Actor-Critic 방법론은 두 개의 주요 구성 요소로 이루어져 있습니다: Actor와 Critic입니다. 각각의 역할과 기능은 다음과 같습니다:

• Actor: 현재의 정책을 담당합니다. 이는 에이전트가 주어진 상태에서 어떤 행동을 취할지를 결정하는 함수입니다. Actor는 정책을 업데이트하는 역할을 합니다.

• Critic: 가치 함수를 담당합니다. 이는 특정 상태나 상태-행동 쌍의 가치를 평가하는 함수입니다. Critic은 현재 정책이 얼마나 잘 수행되고 있는지를 평가하고, 이를 바탕으로 Actor의 정책을 개선하는 데 도움을 줍니다.

이러한 구조는 정책 개선을 위한 안정적이고 효율적인 방법을 제공합니다. Actor와 Critic은 서로의 학습을 보완하며, 동시에 학습 과정에서의 변동성을 줄여줍니다.

---

2. Actor-Critic 알고리즘

2.1. 기본 Actor-Critic 알고리즘

기본 Actor-Critic 알고리즘은 다음과 같은 단계로 구성됩니다:

1. 정책 평가 (Critic의 역할): Critic은 상태-행동 가치 함수 ( Q(s, a) ) 또는 상태 가치 함수 ( V(s) )를 학습합니다. 이를 위해, TD(Temporal Difference) 방법을 사용하여 가치 함수를 업데이트합니다.

2. 정책 업데이트 (Actor의 역할): Actor는 Critic이 제공하는 가치 추정치를 바탕으로 정책을 업데이트합니다. 정책의 개선은 보상 신호와 Critic의 가치 평가를 기반으로 이루어집니다.

• Critic의 가치 함수 업데이트:
  [
  \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)
  ]
  [
  V(s_t) \leftarrow V(s_t) + \alpha \delta_t
  ]
  여기서, (\delta_t)는 TD 오차, (\alpha)는 학습률입니다.

• Actor의 정책 업데이트:
  [
  \theta \leftarrow \theta + \beta \delta_t \nabla_\theta \log \pi_\theta(a_t | s_t)
  ]
  여기서, (\beta)는 Actor의 학습률입니다.

2.2. A2C (Advantage Actor-Critic)

A2C는 Actor-Critic의 한 변형으로, Advantage 함수 ( A(s, a) )를 도입하여 정책의 효율성을 높입니다. Advantage 함수는 상태-행동 가치 함수에서 상태 가치 함수를 빼서 계산됩니다.

• Advantage 함수:
  [
  A(s, a) = Q(s, a) - V(s)
  ]

• Actor의 정책 업데이트:
  [
  \theta \leftarrow \theta + \beta A(s, a) \nabla_\theta \log \pi_\theta(a | s)
  ]

A2C는 높은 편향-분산 비율을 제공하며, 샘플 효율성을 높입니다.

2.3. A3C (Asynchronous Actor-Critic Agents)

A3C는 여러 개의 Actor-Critic 에이전트를 병렬로 실행하여 학습 속도를 개선합니다. 각 에이전트는 독립적으로 환경과 상호작용하며, 글로벌 네트워크의 파라미터를 업데이트합니다.

• 업데이트 절차:

1. 각 Actor-Critic 에이전트는 환경과 상호작용하여 경험을 수집합니다.
2. 각 에이전트는 수집된 경험을 기반으로 로컬 네트워크를 업데이트합니다.
3. 로컬 네트워크의 업데이트를 글로벌 네트워크에 반영합니다.

A3C는 비동기적으로 업데이트되므로, 전역 최적화와 지역 최적화의 균형을 맞추는 데 효과적입니다.

---

3. Actor-Critic의 장점과 단점

3.1. 장점

• 안정성: 가치 함수와 정책을 독립적으로 학습하므로 학습이 더 안정적입니다. Critic이 정책의 성능을 평가하며, Actor는 이를 바탕으로 정책을 개선합니다.
• 샘플 효율성: 가치 함수의 추정이 정책의 개선에 직접적으로 활용되므로, 샘플 효율성이 높습니다.
• 저렴한 계산 비용: Actor-Critic 방법론은 정책과 가치 함수를 동시에 학습하므로 계산 비용이 절감됩니다.

3.2. 단점

• 정책과 가치 함수의 불일치: Actor와 Critic이 독립적으로 학습되기 때문에, 때로는 두 함수 간의 불일치가 발생할 수 있습니다.
• 하이퍼파라미터 조정: 학습률 및 할인율 등 하이퍼파라미터의 조정이 필요하며, 이는 학습의 성능에 큰 영향을 미칠 수 있습니다.
• 수렴 속도: 비록 안정성이 높지만, 수렴 속도가 느릴 수 있습니다. 특히 복잡한 환경에서는 수렴이 더디게 진행될 수 있습니다.

---

4. 에러 및 해결책

4.1. 에러: 학습 불안정성

문제: Actor와 Critic의 업데이트가 불안정하여 학습이 제대로 이루어지지 않는 경우가 있습니다.

해결책:

• 하이퍼파라미터 조정: 학습률 ((\alpha) 및 (\beta))을 조정하여 안정성을 높입니다. 학습률이 너무 높으면 학습이 불안정해질 수 있습니다.
• 경험 리플레이: 경험 리플레이를 통해 에이전트가 다양한 경험을 학습하도록 유도합니다.

4.2. 에러: 수렴 속도 저하

문제: 학습이 너무 오래 걸리거나 수렴 속도가 느린 경우입니다.

해결책:

• Advantage 함수 사용: Advantage 함수를 사용하여 학습 속도를 개선합니다.
• A3C 적용: A3C와 같은 병렬 학습 기법을 적용하여 학습 속도를 높입니다.

---

참고문서

1. Sutton, Richard S., and Andrew G. Barto. "Reinforcement Learning: An Introduction."
   링크

2. Mnih, Volodymyr, et al. "Asynchronous Methods for Deep Reinforcement Learning."
   링크

3. Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning."
   링크

이 자료들은 Actor-Critic 방법론의 이해를 돕고, 각 알고리즘의 자세한 설명을 제공하는 데 유용합니다.