Para o problema da tomada de decisão autônoma para a aproximação de espaçonaves em ambiente Terra-Lua, propõe-se um método de decisão baseado no algoritmo aprimorado Proximal Policy Optimization (PPO), que realiza o rastreamento da espaçonave para alcançar o estado necessário para o acoplamento com a espaçonave alvo dentro do tempo especificado. Primeiramente, a estrutura da rede de políticas do algoritmo PPO introduz uma rede LSTM para processar as entradas de estado, aumentando a robustez do algoritmo ao aprender tarefas com parâmetros aleatórios. Em segundo lugar, propõe-se um mecanismo de exploração de recompensas internas baseado no estado, que melhora a capacidade de exploração do algoritmo por meio da sobreposição linear com a recompensa base. Além disso, é projetada uma restrição na taxa de amostragem de importância e introduzida na função de perda da política para evitar que estimativas de alta variância comprometam a otimização da função objetivo. Por fim, a eficácia do método proposto é validada comparando recompensas de aprendizado e resultados de execução de tarefas com outros algoritmos de aprendizado. Os resultados da simulação mostram que o valor da recompensa de aprendizado do algoritmo PPO aprimorado aumentou 15%, o consumo de combustível na execução da tarefa de aproximação foi reduzido em 57% e a taxa de sucesso da tarefa melhorou 1% na presença de distúrbios não modelados. Este método pode melhorar significativamente a capacidade de tomada de decisão autônoma das espaçonaves ao executar tarefas de aproximação.

aproximação de espaçonaves; decisão autônoma; aprendizado por reforço profundo; otimização proximal de política