Mario Cano Antolin

Cómo funciona

1. Whisper transcribe la voz en local, sin enviar audio a la nube.
2. Un LLM (GPT-3.5) interpreta la orden y devuelve un JSON con el objeto y la habitación.
3. Un planificador ordena las habitaciones por probabilidad con Llama 3 en local, con un modelo probabilístico (Naive Bayes + heurísticas) de respaldo si el LLM falla.
4. Nav2 navega de forma autónoma por los waypoints de cada habitación.
5. YOLOv8 detecta el objeto en tiempo real y un control visual proporcional aproxima el robot (parada por tamaño del bounding box o por láser).
6. Simula la recogida y vuelve al punto de origen.

Si la habitación indicada es incorrecta, no se bloquea: continúa por las siguientes más probables.

Arquitectura

• Centro de Mando como ROS 2 Action Server /tfg/dar_orden, con feedback en tiempo real al cliente CLI.
• Nodos: detector (YOLO), buscador (misión), centro_mando (orquestador) y cliente.
• Arquitectura híbrida edge + cloud: Whisper, YOLO y Llama 3 en local; API de OpenAI en la nube.
• Detector a 3–5 FPS en CPU.

Retos resueltos

• Integrar modelos de IA con latencias muy distintas en un sistema robótico en tiempo real.
• Tolerancia a fallos del LLM: validación de respuestas y fallback.
• Detección de objetos pequeños en movimiento: ajuste de velocidad, waypoints y umbrales.
• Rendimiento del simulador: optimización de Gazebo y contenerización con Docker.