Prologue

• HW 가속기를 설계함에 있어 HW IP 개발 능력 외 리눅스 디바이스 드라이버 및 리눅스 Application 제작 등 다양한 기술이 요구된다.
• YOLO IP를 만들던 중 기술적 한계를 느껴 우선 간단한 프로젝트부터 시작해보고자 하였다.
• 결론적으로 IP에 DMA엔진을 통하여 데이터를 전송하는 부분에서 많이 고생하였고 현재 프로젝트를 완료하고 다른 개인 프로젝트를 진행중이다.

Concept

1. Realsense에서 YUYV 640*480 이미지 획득
2. 획득된 이미지를 FPGA영역으로 전송하여 하드웨어 영상 가속 처리
   • Resize (to 428*204)
   • Color space Conversion (to RGB)
   • Edge detection (Sobel filter)
3. 처리된 이미지를 ROS로 Publish

Result

• CPU 사용률 : A53 1core 15%
• 이미지 처리 시간(hw) : about 1ms