地球・月環境下における宇宙機の近接接近に関する自律的意思決定問題に対し、改良型近接方策最適化（Proximal Policy Optimization, PPO）アルゴリズムに基づく意思決定方法を提案し、指定された時間内に目標宇宙機とのドッキングに必要な状態を達成する追跡宇宙機を実現した。まず、PPOアルゴリズムの方策ネットワーク構造にLSTMネットワークを導入して状態入力を処理し、ランダムなパラメータを持つタスクの学習時にアルゴリズムのロバスト性を向上させた。次に、状態に基づく内部報酬探索メカニズムを提案し、アルゴリズムの基本報酬と線形に重畳することで探索能力を向上させた。さらに、重要度サンプリング比率制限条件を設計し、方策損失関数に導入して、高分散の目的推定が目的関数の最適化を脅かすのを防いだ。最後に、他の学習アルゴリズムと比較して学習報酬およびタスク実行結果を検証し、提案手法の有効性を確認した。シミュレーション結果は、改良型PPOアルゴリズムの学習報酬値が15％向上し、接近ミッションの燃料消費が57％削減され、モデリングされていない干渉が存在する場合でもミッション成功率が1％向上することを示した。本手法は、宇宙機の近接ミッション実行時の自律的意思決定能力を著しく向上させることができる。

宇宙機近接接近;自律意思決定;深層強化学習;近接方策最適化