BMW 인공지능 신경망 Hydra Net PlaidNet 라이더 포인트 클라우드 DRIVE) 자율주행 기업별 개발 현황 (3) (엔비디아 테슬라 다임러 벤츠
(1) 자율주행신경망 - 테슬라의 HydraNet은 객체를 큰 범주로 분류하는 백본신경망 위에 범주 내에서 더 세부적으로 객체를 구분하기 위한 38개의 작은 신경망으로 구성.이 작은 신경망은 약 1,000개의 결과치, 즉 38개의 대상이 갖는 1,000개의 형태를 인식할 수 있다.
- 이러한 HydraNet은 8개이며, 이 8개의 신경망이 실시간으로 전달하는 수천 개의 결과치를 통합시켜 하나의 의사결정을 이끌어내기 위한 또 하나의 신경망(RNN)이 존재함
-엔비 디어도 단 하나의 알고리즘만으로 자율 주행을 실현하는 것은 불가능하다면서 여러 DNN(Deep Neural Network)이용.자율 주행 연구 기업이 공개하고 있는 신경망은 주로 인지적 영역인 인식 분야별로 각 신경망을 만들고 그 결과값을 통합하는 게 현재 가장 일반적인 방법
-그러나 상술한 것처럼 테슬라의 오토 파일럿 라이트는 PlaidNet이라는 새로운 신경망을 통해서 단계를 구분 없이 대상을 인식한 뒤 의사 결정까지 한꺼번에 이끌어 내는 구조라 추측.공식이 아니라 사실이라면 테슬라는 경합 기업에 대비~ 하고 여전히 앞선 상황이다.
1) 장애물 인식 (Obstacle Perception) - DriveNet : 차량, 보행자, 자전거 등의 객체를 감지하여 분류. 오브젝트의 움직임을 예측하기 위한 임시 모델도 포함한다.
- Open Road Net : 객체 주위에 운전 가능한 여유 공간 감지. 장애물이 점유하는 공간과 점유하지 않는 주행가능 공간을 구분하는 경계를 예측
2) 경로인식 (Path Perception)- Pilot Net: 인간의 운전행동에 따라 차선유지, 차선변경, 차선분할 및 병합시 주행궤적 예측
- PathNet : 차선표시 여부와 관계없이 모든 주행 가능한 경로 및 차선 구분 구간 예측
- MapNet : 차선, 횡단보도, 표지판 글자, 노면 화살표 표시 등 시각적 랜드마크 탐지. 경로 인식뿐만 아니라 지도 생성과 로컬화에도 유용한 특성을 추출할 수 있다.
3) 대기 상태 인식 (Wait Conditions Perception) - WaitNet : 교차로와 교차로 유형, 교차로까지의 거리, 신호등, 표지판 등 차량이 정지하고 기다려야 할 장소의 상태 탐색
- Light Net : 신호의 색상 및 방향을 분류
- SignNet : 교통표지판 유형(정지, 제한속도 등) 분류
4) 고급 기능 인식 (Advanced Functions Perception) - ClearSightNet : 카메라 뷰가 차단된 위치를 확인하고 그 결과값을 깨끗, 흐림, 차단 세 가지 중 하나로 분류
- Auto High Beam Net : 상향등 자동 제어를 위한 신호 생성
5) Multi-View LidarNet & Lidarobject tracker - 먼저 라이더로 스캔한 데이터(포인트 클라우드)를 통해 차량 주변 환경을 의미에 따라 구분(Semantic Segmentation). 그리고 라이더 데이터에 BEV(버드 아이뷰, 위에서 내려다봄)도 적용하여 물체 파악)도 하고, 라이더 데이터에 BEV(버드 아이뷰, 위에서 내려다봄).
- 이 둘을 합쳐서 신경망에 입력. 그러면 신경망은 의미적 정보와 높낮이 정보를 바탕으로 물체의 인스턴스(Instance)를 추출. 간단히 말하면 2D 라벨링 정보와 라이더 포인트 기하학 정보를 합쳐 신경망은 3차원을 이해
- 엔비디아는 이러한 신경망 처리, 특히 3차원을 인식하는 데 엄청난 컴퓨팅이 필요하기 때문에 클라우드 방식으로는 한계가 있다고 설명. 따라서차량내에서대부분의작업을처리할수있는엣지컴퓨팅을강조
- 엣지 컴퓨팅에 초점을 맞추면서 아래 설명드리는 엔비디아의 자동차 내장형 자율주행 칩만 보더라도 컴퓨팅 성능은 테슬라의 FSD를 압도했고 앞으로 나올 신제품은 몇 배 이상. 그만큼 가격은 수백~수 천만원대로 고가.
- 반면 테슬라는 라이더를 사용하지 않고 2D 데이터를 통해 3차원을 이해하는 방법을 시도하고 있어 지금의 FSD 컴퓨터로도 충분할 것으로 보인다. 따라서 테슬라가 라이더를 쓰지 않는 건 라이더인 비용뿐만 아니라 반도체 칩이나 컴퓨팅 비용까지 줄여 범용적인 저가 자율주행차를 만들기 위해서가 아닐까 생각합니다
(2) 소프트웨어
1) DRIVE AV - DRIVE AV 소프트웨어 스택은 인식, 플래닝(의사 결정), 매핑(맵) 기능 및 실제 고품질 주행 데이터로 훈련된 다양한 DNN(Deep Neural Network)을 제공
2) DRIVE IX-DRIVE IX는 혁신적인 AI 콕피트 솔루션을 위한 인테리어 센싱을 제공하는 개방형 소프트웨어 플랫폼
- 운전자 및 탑승자 모니터링, ARVR 시각화, 자동차와 탑승자 간의 자연언어 상호작용을 위한 기능, DNN에 접속하는 인식 어플리케이션 제공
3) DriveWorks SDK-NVIDIA DriveWorks SDK는, DRIVE OS에 가세해 미들웨어 기능을 제공하는 개발자 키트
- 이러한 기능은 센서 추상화 레이어(SAL)와 센서 플러그인, 데이터 레코더, 자동차 I 지원, 딥 뉴럴 네트워크(DNN) 프레임워크로 구성
4) DRIVE OS-DRIVE OS는 엔비디아 DRIVE 소프트웨어 스택의 기반으로서 최초의 가속 컴퓨팅용 운영체제
- 센서 입력 처리를 위한 Nv Media, 효율적인 병렬 컴퓨팅 실현을 위한 NVIDI A CUDA 라이브러리, 실시간 AI 추론을 위한 NVIDIA Tensor RT, 하드웨어 엔진에 액세스하기 위한 기타 개발자 도구 및 모듈로 구성
5) NVIDIA DRIVE 하이퍼리온(하이페리온)은 자율주행 자동차 데이터 수집 및 인식 평가 플랫폼이다. 센서, 인공지능, 자율주행, 운전자 모니터링, 시각화용 전체 소프트웨어 스택으로 구성
-The DRIVE Hyperion개발자 키트를 통해서 개발자는 DRIVE AV소프트웨어를 평가하고 자동 주행 자동차 제품 군의 데이터를 수집할 수 있다. 소프트웨어는 NVIDIA DRIVE OTA 무선 업데이트 인프라 및 서비스를 통해 DRIVE Hyperion으로 업데이트된다.
(3) 데이터센터 인프라
1) NVIDIA DGX Systems-자율주행 자동차 구축에는 방대한 데이터가 필요. 이런 데이터 관리와 큐레이팅에는 고성능 컴퓨팅뿐만 아니라 지능형 훈련방법도 요구된다.
- 엔비디아 DGX 시스템 및 고급 트레이닝 도구는 대규모 신경망 훈련 간소화와 최적화 지원
2) DRIVE Constellation 시뮬레이션 플랫폼 - 자율주행자동차가 대중교통에서 테스트하여 가능한 모든 교통상황을 접할 수 없다.시뮬레이션 내부에는 많은 가상자동차가 일상적인 주행에서 코너케이스, 나아가 위험한 상황까지 포함하여 다양한 범위의 시나리오에 걸쳐 실제세계보다 효율적이고 경제적이며 안전하게 수백만 마일을 주행할 수 있다.
DRIVE Constellation™ 시뮬레이션 플랫폼은 가상 자동차의 센서 출력을 생성하는 2개의 병렬 서버로 구성. 데이터는 AV스택을 실행하는 DRIVE AGX AI 자동차 컴퓨터로 스트리밍 되어 리얼타임에 의사결정. 그 후 자동차 제어 명령이 시뮬레이터에 의해 반환
(4) 내장 팁
1) NVIDIA DRIVE AGX XAVIER-Xavier(자비에)는 레벨 2이상 및 레벨 3의 자동주행을 위해 30TOPS(초당 조단위 연산)를 처리
- Xavier SoC는 다른 6종류의 프로세서 CPU, GPU, DLA(딥러닝 가속기), PVA(프로그래밍 가능한 비전 가속기), ISP(이미지 신호 프로세서), 스테레오 광학 흐름 가속기 통합
2) NVIDIA DRIVE AGX PEGASUS-Pegasus(페가수스)는 2개의 Xavier SoC와 2개의 NVIDIA Turing GPU를 활용하여 320TOPS라는 엄청난 슈퍼컴퓨팅을 발휘 (테슬라 FSD 컴퓨터 144TOPS, 모빌아이 Ey Ey
- 이 플랫폼은 로보택시와 동일한 레벨 4 및 레벨 5의 완전 자율주행 시스템용
3) NVIDIA DRIVE AGX Orin-Orin(오린)은 자비에의 업그레이드 버전이라 할 수 있는 제품으로 170억 개의 트랜지스터로 구성된 새로운 SoC를 기반으로 하는 플랫폼
- 엠비디아의 차세대 GPU 아키텍처 암페어(Ampere), ARM 헤라클레스(Hercules) CPU 코어, 200TOPS 연산을 제공하는 새로운 딥러닝과 컴퓨터 비전 액셀러레이터 통합, 이전 세대인 자비 대비 7배 향상된 성능 구현
-즉, ADAS수준의 컴퓨팅 제품이 자비에, 자비에을 활용한 완전 자동 주행 수준의 제품이 페가수스, 그리고 자비에의 업그레이드 버전이 올림. 이는 다시 올림을 활용해 완전 자율주행용 플랫폼을 만들면 현재 페가수스 이상의 성능을 발휘하는 제품이 나올 수 있음을 의미하며, 벤츠와 파트너십을 맺고 준비 중인 올림 기반의 완전 자율주행용 제품은 무려 2000TOPS
(5) 주요 사업 상황 - 볼보 : DRIVE AGX Pegasus, DRIVE AV 소프트웨어 스택, DRIVE hardware-in-the-loop 시뮬레이션 플랫폼, DRIVE Constellation 제공
- 도요타 : DRIVE AGX Xavier 또는 DRIVE AGX Pegasus , DRIVE Constellation 제공
- 메르세데스 - 벤츠 : DRIVE AGX Orin, DRIVE 인프라, DRIVE AV 소프트웨어 스택
- 폭스바겐(아우디 포함): Drive IX, DRIVE PX 2, Drive Work, Pilot Net
- ZF: DRIVE AGX Xavier, DRIVE AV 소프트웨어 스택
- 기타 우버, 소니, 니오, 비오니아, 현대차 등에 주요 제품 공급
8. 다임러 벤츠 & BMW (Daimler & BMW)
- 2019년 2월 다임러와 BMW는 ADAS 및 자율주행 공동개발을 통해 미래 모빌리티 서비스 업체에 약 1조3천억원 이상 공동투자 발표
-그러나 2020년 6월 이 파트너십을 중지. 공유기술 플랫폼을 만드는 데 드는 비용뿐 아니라 현재 상황을 고려할 때 성공적인 협력 이행을 위한 시기가 적절하지 않다고 설명한다.
- 하지만 며칠 뒤 다임러는 엔비디아와 자율주행 협력을 발표했다. 2024년 상용화될 엔비디아 드라이브 AGX 올린(Nvidia Drive AGX Orin) 플랫폼이 기존 ECU를 대신해 다임러 차량의 모든 제어와 정보처리를 담당할 계획이며 자동 주차 기능을 포함한 모바일 앱도 함께 만들 예정이다.
- 또한 2020년 10월에는 웨이모와 자율주행트럭 파트너십 체결. 다임러 프레이너 카스카디아(Freightliner Cascadia) 트럭에 웨이모 자율주행기술 적용, 수년 후 출시 예정
- 이를 보면 다임러는 BMW와의 협력 및 독자 개발은 비전이 없으며 여러 자율주행 전문업체의 솔루션을 사용한다고 판단한 것 같다. BMW도 독자 개발보다는 결국 모빌아이에 의존하는 쪽으로 가고 있다.
- 참고로 2021년 하반기 유럽 자율주행 규제 도입에 맞춰 다임러는 2021년형 S클래스를 시작으로 신제품 차량에 탑재할 예정인 뉴 드라이브 파일럿 기능에 활용될 스테레오 카메라 모듈을 LG전자로부터 공급받았다. 이는 자율주행 3단계 카메라 모듈로 이미 2014년부터 LG전자와 스테레오 카메라 공동개발 양해각서(MOU)를 체결한 것으로 알려졌다.
