Deep Deterministic Policy Gradient DDPG 연속적인 행동 공간을 위한 ActorCritic 알고리즘

Deep Deterministic Policy Gradient (DDPG): 연속적인 행동 공간을 위한 Actor-Critic 알고리즘

Overview

Deep Deterministic Policy Gradient (DDPG)은 연속적인 행동 공간을 다루기 위해 설계된 강화 학습 알고리즘입니다. 이 알고리즘은 Actor-Critic 구조를 사용하며, 심층 신경망을 통해 정책과 가치 함수를 학습합니다. DDPG는 특히 복잡한 제어 문제를 해결하는 데 효과적입니다. 이 알고리즘의 주요 구성 요소와 작동 방식에 대해 자세히 설명하겠습니다.

DDPG의 구성 요소

DDPG는 다음과 같은 네 가지 주요 구성 요소로 이루어져 있습니다:

1. Actor 네트워크
2. Critic 네트워크
3. 타겟 네트워크
4. 리플레이 버퍼

각 구성 요소에 대해 구체적으로 살펴보겠습니다.

1. Actor 네트워크

Actor 네트워크는 에이전트의 정책을 학습합니다. 정책은 주어진 상태에서 어떤 행동을 취할지를 결정하는 함수입니다. Actor 네트워크는 상태를 입력으로 받아, 연속적인 행동 값을 출력합니다. 이 네트워크는 일반적으로 심층 신경망으로 구현됩니다.

예시:

• 만약 자율주행 자동차가 있다면, Actor 네트워크는 자동차의 현재 위치와 속도를 입력으로 받아서 스티어링 각도와 가속도를 출력합니다.

2. Critic 네트워크

Critic 네트워크는 상태-행동 쌍의 가치 함수를 학습합니다. 가치 함수는 주어진 상태와 행동 쌍에서 예상되는 장기 보상을 추정합니다. Critic 네트워크는 주어진 상태와 행동을 입력으로 받아서 Q값을 출력합니다. 이 네트워크 역시 심층 신경망으로 구현됩니다.

예시:

• 자율주행 자동차의 경우, Critic 네트워크는 자동차의 현재 상태와 선택한 행동 (예: 스티어링 각도와 가속도)을 입력으로 받아, 이 조합이 미래에 얼마나 좋은 결과를 가져올지를 예측합니다.

3. 타겟 네트워크

타겟 네트워크는 정책을 안정적으로 업데이트하는 데 도움을 줍니다. Actor 네트워크와 Critic 네트워크 각각에 대해 타겟 네트워크가 존재합니다. 타겟 네트워크는 원본 네트워크의 복사본으로, 일정 주기마다 업데이트됩니다. 이렇게 하면 학습이 안정적이고 수렴 속도가 개선됩니다.

예시:

• 만약 Actor 네트워크의 업데이트가 빠르게 이루어진다면, 타겟 네트워크는 업데이트 속도를 느리게 하여 네트워크가 급격히 변하지 않도록 합니다.

4. 리플레이 버퍼

리플레이 버퍼는 에이전트가 환경과 상호작용하면서 얻은 경험을 저장하는 메모리입니다. 경험은 상태, 행동, 보상, 다음 상태의 튜플로 구성됩니다. DDPG는 이 경험을 랜덤하게 샘플링하여 네트워크를 학습시키는 데 사용합니다. 이렇게 하면 데이터의 상관관계를 줄이고, 학습의 안정성을 높일 수 있습니다.

예시:

• 자율주행 자동차가 여러 가지 상황에서 얻은 경험 (예: 교차로에서의 정지, 신호등의 변화 등)을 저장하여, 학습 시 다양한 상황을 학습하도록 합니다.

DDPG의 학습 과정

DDPG의 학습 과정은 다음과 같은 단계로 이루어집니다:

1. 상태와 행동 선택: 현재 상태에서 Actor 네트워크를 통해 행동을 선택합니다.
2. 행동 수행 및 보상 수집: 선택된 행동을 환경에 적용하고, 보상을 받습니다.
3. 경험 저장: 상태, 행동, 보상, 다음 상태의 튜플을 리플레이 버퍼에 저장합니다.
4. 경험 샘플링: 리플레이 버퍼에서 랜덤 샘플을 추출하여 네트워크를 업데이트합니다.
5. Critic 네트워크 업데이트: 샘플된 경험을 사용하여 Critic 네트워크의 Q값을 학습합니다. 이 과정에서 Temporal Difference (TD) 오류를 최소화합니다.
6. Actor 네트워크 업데이트: Critic 네트워크에서 얻은 Q값을 기반으로 Actor 네트워크의 정책을 개선합니다.
7. 타겟 네트워크 업데이트: 일정 주기마다 타겟 네트워크를 원본 네트워크의 가중치로 업데이트합니다.

예시:

• 자율주행 자동차가 교차로에서의 행동을 학습할 때, 리플레이 버퍼에 저장된 다양한 교차로 경험을 사용하여 자동차가 교차로에서 최적의 행동을 학습하도록 합니다.

주요 하이퍼파라미터

DDPG의 성능은 여러 하이퍼파라미터에 따라 달라질 수 있습니다. 주요 하이퍼파라미터는 다음과 같습니다:

1. 배치 크기 (Batch Size): 리플레이 버퍼에서 샘플링할 경험의 수.
2. 타겟 네트워크 업데이트 주기 (Target Network Update Frequency): 타겟 네트워크를 업데이트하는 주기.
3. 탐사 노이즈 (Exploration Noise): 정책의 탐사 정도를 조절하는 노이즈 (예: Ornstein-Uhlenbeck 노이즈).
4. 학습률 (Learning Rate): 네트워크 가중치를 업데이트하는 비율.

예시:

• 배치 크기가 너무 작으면 학습이 불안정해질 수 있고, 너무 크면 학습 속도가 느려질 수 있습니다. 적절한 배치 크기를 설정하는 것이 중요합니다.

자주 발생하는 오류 및 해결 방법

1. 훈련 불안정성:

• 원인: 네트워크 가중치의 급격한 변화나 리플레이 버퍼의 데이터가 너무 적은 경우 발생할 수 있습니다.
• 해결 방법: 타겟 네트워크의 업데이트 주기를 늘리거나, 배치 크기를 조절하여 안정성을 높입니다.

2. 탐사 부족 (Insufficient Exploration):

• 원인: 탐사 노이즈가 너무 적거나, 정책이 너무 빠르게 수렴하여 탐사를 충분히 하지 못하는 경우 발생할 수 있습니다.
• 해결 방법: 탐사 노이즈를 증가시키거나, 탐사 전략을 개선합니다.

3. 리플레이 버퍼의 성능 저하:

• 원인: 리플레이 버퍼에 저장된 경험이 오래되어 최신 상황을 반영하지 못하는 경우 발생할 수 있습니다.
• 해결 방법: 리플레이 버퍼의 크기를 조절하거나, 최신 경험이 더 자주 반영되도록 버퍼를 업데이트합니다.

참고문서

• Continuous Control with Deep Reinforcement Learning (DDPG Paper): DDPG의 원래 논문으로, 알고리즘의 세부 사항과 실험 결과를 제공합니다.
• OpenAI Spinning Up - DDPG: DDPG 알고리즘의 개요와 코드 예제를 제공하는 OpenAI의 문서입니다.
• Deep Reinforcement Learning: DDPG - Towards Data Science: DDPG의 기본 개념과 구현 방법에 대한 설명을 제공합니다.

이 설명을 통해 DDPG의 구조와 작동 원리를 이해하는 데 도움이 되었기를 바랍니다. 추가로 궁금한 사항이 있으면 언제든지 질문해 주세요!