Este trabajo presenta el desarrollo de RLIC-FMU, una herramienta software en Python diseñada para entrenar y evaluar controladores inteligentes mediante aprendizaje por refuerzo profundo (DRL) sobre modelos de sistemas físicos exportados como FMU bajo el estándar FMI. El objetivo es integrar técnicas modernas de control basado en aprendizaje en entornos de simulación multidominio, cubriendo un vacío existente en el ecosistema Modelica. La metodología incluye el diseño de una arquitectura modular basada en TF-Agents y PyFMI, la implementación de entornos personalizados y el entrenamiento de agentes DRL (DQN y DDPG) sobre casos de estudio de complejidad creciente. Se ha demostrado la viabilidad del enfoque con resultados competitivos frente a controladores clásicos y la exportación de políticas entrenadas en TensorFlow Lite para su uso directo en OpenModelica mediante SMArtInt. La herramienta proporciona una base sólida para futuras investigaciones, incluyendo algoritmos más eficientes y aplicaciones industriales de control avanzado.