지구-달 환경에서 우주선의 근접 접근에 관한 자율 의사결정 문제를 해결하기 위해 개선된 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘 기반의 의사결정 방식을 제안하여, 지정된 시간 내에 목표 우주선과 도킹에 필요한 상태를 달성하도록 추적 우주선을 구현하였다. 먼저, PPO 알고리즘의 정책 네트워크 구조에 LSTM 네트워크를 도입하여 상태 입력을 처리함으로써 무작위 파라미터를 갖는 과제를 학습할 때 알고리즘의 강인성을 향상시켰다. 둘째, 알고리즘 기본 보상과 선형으로 중첩하여 탐색 능력을 향상시키는 상태 기반 내부 보상 탐색 메커니즘을 제안하였다. 또한, 중요도 샘플링 비율 제한 조건을 설계하여 정책 손실 함수에 도입함으로써 높은 분산의 목표 추정치가 목표 함수 최적화를 위협하는 것을 방지하였다. 마지막으로 다른 학습 알고리즘과 비교하여 학습 보상 및 임무 수행 결과를 통해 제안 방법의 유효성을 검증하였다. 시뮬레이션 결과, 개선된 PPO 알고리즘의 학습 보상 값이 15% 증가하고, 접촉 임무 수행 시 연료 소모가 57% 감소하며, 모델링되지 않은 간섭 존재 시 임무 성공률이 1% 향상되었다. 이 방법은 우주선의 근접 임무 수행 시 자율 의사결정 능력을 크게 향상시킬 수 있다.

우주선 근접 접근; 자율 의사결정; 심층 강화학습; 근접 정책 최적화