Quantum-Annealed Action Selection Policy for Reinforcement Learning

Abstract

De entre todos los tipos de machine learning, el aprendizaje por refuerzo es posiblemente el menos estudiado en t´erminos de computaci´on cu´antica, si bien tiene potencial para beneficiarse en gran medida del no-determinismo intr´ınseco de la cu´antica. Este trabajo explora el uso del Quantum Annealing en el ´ambito del aprendizaje por refuerzo y, concretamente, el Q-Learning, proponiendo una pol´ıtica de selecci´on de acciones basada en el annealing. Se proporciona una revisi´on de algunas de las pol´ıticas cl´asicas m´as utilizadas, para permitir una mejor comprensi´on de las mismas, y posteriormente se compara el rendimiento de la pol´ıtica cu´antica QAASP con ellas. Las pruebas se realizan en el entorno FrozenLake ofrecido por Gymnasium (anteriormente conocido como OpenAI Gym). Los resultados indican ventajas potenciales ligadas al uso de QAASP, si bien el rendimiento final es similar a las pol´ıticas cl´asicas en t´erminos de episodios hasta el fin del entrenamiento.