CEVA 새로운 AI 추론 프로세서 아키텍처 및 심층 신경망 컴파일러 기술 공개, 커스텀 신경망 엔진 코프로세싱 지원 에지 디바이스용

무선 커넥티비티 및 스마트 센싱 기술 라이선스 기업인 CEVA는 벨기에 브뤼셀에서 개최된 오토센스(AutoSens) 컨퍼런스에서 엣지단에서의 심층 신경망 추론(Inference)을 위한 2세대 AI 프로세서 아키텍처인 NeuPro-S와 업계 최초 커스텀 신경망 엔진을 지원하는 심층 신경망 컴파일러 기술인 CDNN-Invite API를 발표했다. 

CDNN-Invite API는 통합된 신경망에 최적화된 런타임 펌웨어에서 고객이 보유한 신경망 엔진과 NeuPro-S 코어의 이종 코프로세싱(co-processing)을 지원한다. CDNN-Invite API와 함께 NeuPro-S는 자율주행, 스마트폰, 감시/일반 카메라, AR/VR헤드셋, 로봇, 산업용 애플리케이션 등 엣지 AI 프로세싱이 필요한 비전 기반 디바이스에 적합하도록 개발되었다.

CEVA NeuPro-S 컨셉 다이어그램  

에지 디바이스(Edge Devices)에서 영상 및 이미지 안에 있는 목표 대상에 대한 분할(Segmentation), 탐지(Detection), 분류(Classification)를 위한 신경망을 최적으로 처리하도록 설계된 NeuPro-S는 시스템 인지 기능을 강화해 향상된 성능을 제공한다. 이러한 성능 향상은 외부 SDRAM과의 전송 비용을 절감하게 하는 멀티 레벨 메모리 시스템, 다중 웨이트 압축 옵션(multiple weight compression options), 단일 및 통합 아키텍처에 CEVA-XM6 비전 DSP, NeuPro-S 코어, 맞춤형 AI 엔진의 다양한 조합을 가능하게 하는 이종 확장성 등을 포함하고 있으며 이를 통해 NeuPro-S는 CEVA 1세대 AI 프로세서보다 평균 성능이 50% 상승했으며 40% 낮은 메모리 대역폭과 30% 낮은 전력 소비량을 달성했다. 

NeuPro-S 제품군은 NPS1000, NPS2000, NPS4000을 포함하고 이는 한 사이클당 각각 1000, 2000, 4000씩 8-bit MAC연산을 수행할 수 있도록 사전 구성(pre-configured)된 프로세서다. NPS4000은 1.5GHz 에서 최대 12.5TOPS(Tera Operations Per Second)로 코어당 가장 높은 합성곱 신경망(CNN, Convolutional Neural Network) 성능을 제공하고 최대 100TOPS까지 확장 가능하다. 

점점 증가하는 다양한 애플리케이션에 특화된 신경망 및 프로세서를 다루기 위해 CDNN-Invite API는 고객이 설계한 신경망 엔진을 CEVA의 심층신경망(CEVA Deep Neural Network, 이하 CDNN) 프레임워크에 완벽하게 통합할 수 있다. 그 다음 CDNN은 각각의 CEVA-XM6 비전 DSP, NeuPro-S 및 맞춤형 신경망 프로세서의 뛰어난 성능을 활용하기 위해 네트워크와 레이어를 전반적으로 최적화하고 개선한다. CEVA 엔지니어와 긴밀히 협력하고 있는 고객들은 이미 CDNN-Invite API를 채택해 자사 상업 제품에 적용하고 있다. 

CEVA 비전 사업부를 총괄하고 있는 일란 요나(Ilan Yona) 부사장은 “CEVA는 에지 디바이스를 위한 심층 신경망 프로세서와 최적화 기술 확산을 가속화하고 있다. NeuPro-S 아키텍처는 이러한 디바이스의 데이터 대역폭, 전력 소비 등에서 발생하는 문제의 근본적인 원인을 해결한다.”라며, “CDNN-Invite API는 폭 넓은 지원과 사용 편의성을 통해 증가하는 신경망 기술 도입을 원하는 고객들의 진입장벽을 낮추었고 이로써 CEVA는 신경망 컴파일러 기술 분야의 막강한 경쟁력을 확보해왔다”고 말했다.

CEVA NeuPro-S 시스템 다이어그램  

프로세싱, 엑셀러레이션, 소트웨어, 툴을 통합한 CEVA의 방대한 경험과 전체적인 전략은 딥 러닝을 위한 전력 효율성이 좋고 프로그래밍이 가능한 개방형 플랫폼을 제공한다. NeuPro-S 아키텍처에 통합된 완전 프로그래밍(fully programmable) 가능한 CEVA-XM6 비전 DSP는 AI 런타임 프로세싱 뿐만 아니라 이미징 및 컴퓨터 비전, 일반 DSP 작업들에 대한 동시 처리를 용이하게 한다. 이를 통해 고객 및 알고리즘 개발자는 CEVA의 광범위한 이미징, 비전 소프트웨어 및 라이브러리를 활용할 수 있게 된다. 3D 맵핑을 위한 CEVA-SLAM 소프트웨어 개발 키트나 컴퓨터 비전 개발용 CEVA-CV 및 CEVA-VX 소프트웨어 라이브러리, 그리고 최근 CEVA가 획득한 이미지 왜곡 보정(Dewarp)/ 비디오 스티칭(Video stitching)/ 데이터 인 픽처(Data-in-Picture) 센서 융합 기술을 포함한 광각 이미징 소프트웨어 제품군 등이 있다. 

NeuPro-S는 자동차 품질 경영시스템 IATF 16949 및 자동차 국제 표준인 ISO 26262, A-Spice 등 안전 요구사항을 충족하는 솔루션을 제공함으로써 CEVA의 자동차 분야 성공 사례를 구축해 나갈 것이다.

한편 CEVA NeuPro-S는 현재 자동차 및 일반 카메라 애플리케이션 분야의 고객을 위한 라이선스가 가능하다. CDNN-Invite API는 업계 선도 고객들을 대상으로 현재 이용 가능하며, 일반 라이선스는 2019년 말까지 이용할 수 있다.