Dorosee: CV/LLM 통합 멀티모달 UGV 플랫폼
2025 UWC 해커톤 대상 수상작. YOLOv8 파인튜닝과 LLM 음성 인터페이스를 결합한 상황 인지 멀티모달 UGV(무인 지상 차량) 플랫폼. Unity 3D 시뮬레이션 환경으로 하드웨어 제약을 극복하고 AI 모델 통합 테스트를 완수.
도심 응급상황에서 고령자·장애인이 스마트폰 조작 없이 AI 도움을 받을 수 있는 UGV(무인 이동체) 플랫폼입니다. 24시간 해커톤 제약으로 실제 UGV 하드웨어 없이 AI 모듈 개발·통합을 완료해야 했습니다. 또한 단일 트리거 방식(비전 또는 음성만)은 오작동 위험이 높아 소외 계층 UX에 치명적 신뢰도 문제를 유발할 수 있었습니다.
Unity 3D HAL(Hardware Abstraction Layer)을 시뮬레이션으로 구현해 실제 UGV 없이 AI 모듈 통합 테스트를 완료했습니다. 3중 트리거 설계로 비전(YOLOv8) + 모션(MediaPipe 인사 제스처) + 음성(STT Wakeword)을 독립 트리거로 구성하고, 3개 중 2개 이상 동시 감지 + 10초 지속 조건으로 오작동을 구조적으로 최소화했습니다.
YOLOv8 파인튜닝
3,000장 데이터셋으로 응급상황 탐지를 파인튜닝하고 10초 지속 감지 조건으로 순간 오탐을 구조적으로 최소화했습니다. Recall 92% / Precision 85%를 달성했으며 소외 계층 환경 데이터를 포함했습니다.
3중 트리거 융합 판단
비전+모션+음성 독립 트리거를 가중치 투표로 융합해 단일 트리거 대비 오작동을 대폭 감소시켰습니다. 디지털 소외 계층(고령자·장애인)의 다양한 표현 방식을 모두 커버합니다.
Unity 3D HAL 전략
Hardware Abstraction Layer를 Unity 3D 시뮬레이션으로 구현해 24시간 내 실제 UGV 없이 AI 전체 파이프라인 통합 테스트를 완료했습니다. 소프트웨어 완성 후 하드웨어 탑재 패러다임을 실증했습니다.
2025 UWC 해커톤 대상을 수상했습니다. YOLOv8 Recall 92% / Precision 85%를 확보하고, STT→LLM→TTS 완전 음성 루프로 소외 계층 UX를 실증했으며 AED 자동 신고 연동을 완성했습니다. Unity HAL로 "소프트웨어 먼저, 하드웨어 나중" 설계 철학을 실증했고, 실제 UGV 탑재 시 ROS 연동과 3중 트리거 가중치 최적화가 다음 과제입니다.