Clúster con hardware embebido, Kubernetes y paralelización de GPUs para Edge AI

Abstract

El presente trabajo de fin de Máster tiene como objetivo desarrollar una plataforma Edge de inteligencia artificial utilizando un clúster hardware de 2 placas nVidia Jetson Nano, sistemas operativos GNU/Linux Embebidos y tecnologías de Kubernetes y paralelización de GPUs para un caso de uso de visión computacional utilizando redes neuronales. Se realizarán diferentes comparativas de rendimiento del clúster respecto a los casos de uso de una única placa con GPU y otros equipos de referencia. El caso de uso de visión computacional elegido es utilizar redes neuronales de tipo CNN como solución para la predicción temprana de casos de COVID-19, iniciativa planteada por la Comisión Europea en su publicación “AI-ROBOTICS vs COVID-19” (Alliance, n.d.) ,que tuvo mucha repercusión al inicio de la pandemia, utilizando imágenes de placas de tórax obtenidas con máquinas de Rayos X. Este tipo de soluciones, al no depender de entidades externas, podrían ser utilizadas directamente en entornos hospitalarios sin más dependencias que la conexión con la propia máquina de Rayos X o un depósito de imágenes para interpretar y analizar las imágenes, lo que permitiría gestionar la privacidad de los datos de los pacientes y eliminar las dependencias con infraestructuras fuera del propio hospital o centro de salud. Como detalles del proyecto planteamos el empleo y optimización de tecnologías consideradas de bajo coste en este campo como pueden ser las placas nVidia Jetson Nano, así como del soporte de software proporcionado por el fabricante de cara a optimización de IA para este tipo de hardware en su BSP, pero lo ampliamos incrementado la capacidad de procesamiento montando en un clúster de dos unidades, aunque con el objetivo que sea totalmente escalable para más unidades con mínimos cambios posibles. Para realizar esto contamos además con la plataforma de gestión de clústeres de contenedores Kubernetes adaptada para sistemas embebidos de este tipo, lo que permitirá una administración del sistema fácil y de escalabilidad totalmente configurable adaptada a las cargas de trabajo necesarias. Concluyendo, el conjunto de tecnologías en Edge aplicadas en este trabajo servirá para facilitar y acelerar la detección de casos de COVID-19 in situ utilizando redes neuronales convolucionales, sin dependencias externas de ningún tipo, bajo coste y un alto rendimiento y escalabilidad.