자율주행 데이터 폐쇄 루프의 이상과 현실

최근 자율주행 업계에서는 데이터 폐루프가 화두가 되었고, 많은 자율주행 기업들이 자체 데이터 폐루프 시스템을 구축하려고 노력하고 있습니다.

사실 데이터 폐쇄 루프는 새로운 개념이 아닙니다. 전통적인 소프트웨어 엔지니어링 분야에서는 데이터 폐쇄가 사용자 경험을 향상시키는 중요한 방법으로 사용됩니다. 다들 이런 경험을 해보셨을 텐데요, 소프트웨어를 사용하다 보면 화면에 '이 소프트웨어가 데이터를 수집하도록 허용하시겠습니까?'라는 팝업창이 뜹니다. 관련 규정에 동의하면 데이터가 수집됩니다. 사용자 경험을 개선하는 데 사용됩니다.

클라이언트 소프트웨어가 문제를 포착하면 백그라운드에서 해당 데이터를 포착할 수 있으며, 개발팀이 문제를 분석하고 소프트웨어를 수정 및 개선한 후 테스트팀에서 새 버전의 소프트웨어를 테스트합니다. 새 버전이 출시됩니다. 버전 소프트웨어는 클라우드에 배치되고 사용자에 의해 터미널에 업데이트됩니다. 이는 소프트웨어 엔지니어링의 데이터 폐쇄 루프 프로세스입니다.

자율주행 시나리오에서 문제 데이터는 주로 테스트 차량에서 수집되며, 양산 차량에서는 수집할 수 있는 차량이 거의 없습니다. 수집 후 데이터에 주석을 추가해야 하며, 엔지니어는 새 데이터를 사용하여 클라우드에서 신경망 모델을 교육합니다. 재교육된 모델은 일반적으로 OTA를 통해 차량에 배포됩니다.

완전한 데이터 폐쇄 루프에는 일반적으로 데이터 수집, 데이터 리플로우, 데이터 처리, 데이터 주석, 모델 교육, 테스트 및 검증이 포함됩니다.

Momenta 데이터 폐쇄 루프 프로세스 다이어그램

Tesla를 예로 들면, 자율 주행 하드웨어가 장착된 차량은 섀도우 모드에서 규칙 및 트리거에 따라 필터링된 데이터를 수집하고 의미 체계를 거칩니다. 필터링된 데이터는 클라우드로 다시 전송됩니다. 그런 다음 엔지니어는 클라우드의 도구를 사용하여 데이터에 대한 일부 처리를 수행한 다음 처리된 데이터를 데이터 클러스터에 넣은 다음 이러한 효과적인 데이터를 사용하여 모델을 교육합니다. 모델이 훈련된 후 엔지니어는 일련의 표시기 테스트를 위해 훈련된 모델을 차량 터미널에 배포합니다. 검증된 새 모델은 운전자가 사용할 수 있도록 차량 터미널에 배포됩니다.

이 모델에서는 새로운 데이터가 지속적으로 반환되어 순환을 형성합니다. 이 시점에서 완전한 데이터 중심의 반복 개발 주기가 형성됩니다.

현재 데이터 폐쇄 루프를 사용하여 알고리즘 반복을 구동하는 것은 자율 주행 기능을 향상시키는 유일한 방법으로 거의 인식되어 왔습니다. 많은 OEM과 자율주행 Tier 1은 자체 데이터 폐쇄 루프 시스템을 구축하고 있으며 데이터 폐쇄 루프 설계자라는 전담 직책을 맡기도 합니다.

데이터 폐쇄 루프의 의미는 무엇인가요? 양산차에 데이터 폐루프가 구현되는 배경은 무엇인가? 양산 차량에서 데이터 폐쇄 루프를 구현할 때 문제점은 무엇이며 이를 처리하는 방법은 무엇입니까?

다음으로 이 글에서는 이러한 주제를 하나씩 논의하겠습니다.

01 데이터 폐쇄 루프의 중요성

스마트 드라이빙 기술인 MAXIEYE의 도입에 따르면, “데이터 폐쇄 루프는 특정 기능의 성능을 향상시키는 것뿐만 아니라, 동시에 데이터 트리거 유형에 따라 레이더/카메라 막힘 감지와 같은 시스템의 다른 측면을 최적화하는 데 도움이 될 수 있으며 반환 데이터를 기반으로 임계값을 최적화할 수 있습니다. 성능 수준에 따라 데이터 반환은 기본적으로 AEB, LKA, ELK, ACC, TJA, NOA 등과 같은 모든 성능을 최적화할 수 있습니다. MAXIEYE는 데이터 반환 OTA를 통해 AEB, ACC, TJA 및 기타 시스템 기능을 지속적으로 업그레이드했으며 사전 설정을 갖추고 있습니다. -새로운 기능의 섀도우 모드를 내장했습니다. "

요즘에는 다양한 회사에서 자체 데이터 폐쇄 루프 시스템을 구축했습니다. 그들이 달성하고자 하는 주요 효과는 코너 케이스 데이터 수집의 효율성 향상, 일반화 개선입니다. 모델의 능력과 알고리즘의 반복을 주도합니다.

1.1 코너케이스 데이터 수집

제품이 L2 이상인 이상 계속해서 진화할 수 있는 능력을 갖춰야 합니다. 자율주행 시스템이 계속해서 진화하기 위해서는 코너케이스 데이터를 지속적으로 확보해야 한다. 점점 더 많은 코너 케이스가 "알 수 없음"에서 "알림"으로 전환됨에 따라 제한된 형태의 경로와 제한된 수의 테스트 차량을 통해 새로운 코너 케이스를 발굴하는 것이 점점 더 어려워지고 있습니다.

씬 커버리지가 넓은 양산 차량에 데이터 수집 시스템을 배치함으로써, 현재의 자율 주행 시스템이 충분히 처리할 수 없는 상황에 직면했을 때 데이터 백홀을 트리거하는 더 좋은 방법입니다. 사례.

예를 들어, AEB 시스템은 L2 보조 운전이 장착된 양산 차량에 배포한 후 운전자가 브레이크를 밟고, 가속 페달을 밟고, 스티어링 휠을 밟고, 꽝 닫는 등의 데이터를 수집할 수 있습니다. 운전자가 왜 이런 행동을 하는지 분석하기 위해 스티어링 휠 등에서 AEB 시스템은 아무런 응답도 하지 않습니다. AEB 시스템이 AEB 시스템의 성능을 향상시킬 만큼 충분히 반응하지 않는 문제를 해결하기 위해 상응하는 개선이 이루어져야 합니다.

1.2 모델의 일반화 능력 향상

현재 고급 보조 운전은 고속도로에서 도시로 이동하고 있습니다. 고속과 같은 비교적 간단한 시나리오를 해결하려면 기본적으로 생산 차량의 데이터를 반환하는 대신 테스트 차량에서 수집한 데이터만으로 모델을 학습하는 것으로 충분하지만 도시 장면의 복잡성은 매우 큽니다. 도시마다 도로 상황에도 많은 차이가 있습니다. 예를 들어, 광저우에서는 어디에서나 물건을 끄는 세발자전거가 도로 위를 질주하는 모습을 볼 수 있지만, 상하이에서는 이런 모습을 거의 볼 수 없습니다.

따라서 많은 자율 주행 Tier 1 및 자동차 회사는 장면 통합에 대한 강한 요구를 가지고 있습니다. 즉, 차량의 운전 보조 시스템이 주류 도시의 다양한 도로 조건을 적절하게 처리할 수 있습니다. 자동차 회사는 사용자의 주행 범위를 제한할 수 없기 때문에 운전 보조 기능이 좁은 영역에만 제공된다면 사용자 기반의 범위가 크게 줄어들 것입니다. 이는 분명히 자동차 회사가 원하는 것이 아닙니다.

시나리오 개방이라는 목표를 달성하려면 모델의 일반화 능력을 크게 향상시켜야 합니다. 모델의 일반화 능력을 크게 향상시키기 위해서는 다양한 시나리오에 대응하는 데이터를 최대한 수집하는 것이 필요하다. 대규모의 실제 인간 운전 데이터를 기반으로 한 승용차 보조 운전만이 충분한 규모와 다양성의 데이터를 축적할 수 있는 능력을 갖추고 있습니다.

1.3 알고리즘 반복 구동

앞서 언급한 것처럼 딥러닝 기반의 인공지능 알고리즘 개발이 10년을 넘었습니다. 이 기간 동안 모델의 진화와 컴퓨팅 파워의 발달로 자율주행 시스템이 빅데이터를 소화하는 것이 가능해졌다. 또한, 자율주행 시스템을 업그레이드해야 한다면 이에 맞춰 인식, 계획 및 기타 측면의 역량도 향상되어야 합니다. 다른 측면.

Urban NOA - 즉, 도심 내 지점 간 내비게이션 보조 기능은 많은 OEM 및 자율주행 Tier1의 다음 초점입니다. 지점 간 내비게이션 보조 운전 기능을 구현해야 합니다. 인지 시스템의 의미 인식, 장애물 인식 등 주행 가능한 영역을 식별하려면 어느 정도의 정확도가 필요하지만 아직 이 표준이 달성되지 않았습니다.

현재 주류 인식 시스템 네트워크 아키텍처는 최적화를 위해 소프트웨어 엔지니어나 알고리즘 설계자에게만 의존하는 BEV+Transformer 모델을 기반으로 합니다. 모델 개선의 여지가 많지 않으며 BEV+Transformer 아키텍처는 가능합니다. 이를 통해 많은 양의 데이터를 수용할 수 있어 모델 성능이 향상될 것으로 예상됩니다.

계획 수준에서는 데이터 드라이브도 중요한 역할을 할 수 있습니다. Tesla는 이전에 부분 제약 조건 하의 최적 솔루션을 초기 값으로 사용한 다음 증분 방식을 사용하여 지속적으로 새로운 제약 조건을 추가하고 제약 조건을 추가한 후 최적화 문제를 해결하여 최종적으로 계획 문제에 대한 최적 솔루션을 얻었습니다. Tesla 엔지니어들은 이 방법에 대해 오프라인 사전 생성을 많이 하고 온라인으로 병렬 최적화를 수행했기 때문에 각 후보 경로의 계산 시간은 여전히 ​​1~5ms에 달합니다. Tesla가 2022년 9월 30일 AI 데이에서 공개한 내용에 따르면 Tesla 엔지니어는 이제 데이터 기반 의사 결정 트리 생성 모델 세트를 사용하여 자율 주행 시스템이 계획된 경로를 신속하게 생성하도록 돕습니다. 이 데이터 기반 의사결정 트리 생성 모델은 Tesla 차량에 탑승한 인간 운전자의 주행 데이터와 시간 제약이 없는 최적의 경로를 교육의 진정한 가치로 사용하여 100us 이내에 후보 계획 경로를 생성할 수 있으므로 생성 시간이 크게 단축됩니다. 후보 계획.

위에서 볼 수 있듯이 좋은 데이터 폐쇄 루프 시스템을 구축하는 것은 자율 주행 시스템의 기능을 향상시키는 중요한 방법입니다.

02 데이터 폐쇄 루프의 배경

현재 많은 양산 차량에는 보조 운전 시스템이 장착되어 있습니다. 자율 주행 시스템의 도로 테스트 주행 거리는 1억이 넘습니다. 킬로미터. 어려운 문제. 또한, 칩 컴퓨팅 파워도 한층 강화됐다. 예를 들어 엔비디아의 오린X(OrinX) 칩은 최대 254TOPS의 컴퓨팅 파워를 갖췄기 때문에 대형 모델이 인지 시스템에 적용되기 시작하면서 자율주행 시스템이 빅데이터를 소화하는 것이 가능해졌다. 반면, 클라우드 기술은 상대적으로 성숙해졌고, 자율주행은 서서히 데이터 중심 시대로 진입하기 시작했습니다.

MAXIEYE 회사의 설명은 다음과 같습니다. “정확히 말하면 단순히 데이터 중심이 아니라 AI 알고리즘과 데이터가 함께 구동됩니다. AI 알고리즘은 학습 효율성의 문제를 해결하고, 데이터는 학습 콘텐츠의 문제를 해결합니다. "

" 딥러닝 기반 인공지능 알고리즘의 개발이 10년을 넘었습니다. 2010년대 초에는 학계와 산업계에서는 지도학습이 주류였습니다. 학계와 산업계에서는 수동 주석이 많이 필요하다는 치명적인 단점이 있어 AI 발전의 여지가 크게 제한됩니다. 그러나 최근에는 비지도 학습과 반지도 학습 알고리즘이 서서히 등장하기 시작했습니다. 컴퓨터는 자가 학습을 통해 지속적으로 학습할 수 있으므로 데이터 기반 접근 방식을 통해 자율주행 기술을 개발할 수 있는 여건이 무르익었습니다." 만리장성 살롱 인텔리전트 센터 소장인 Yang Jifeng은 연설에서 다음과 같이 말했습니다. 전체 차량의 관점에서 보면 폐쇄 루프 아키텍처와 L2에서 L4까지의 데이터 폐쇄 루프가 2022년에 완료되고 차량 측 아키텍처와 클라우드 아키텍처가 더욱 통합될 것입니다. 다음 경쟁은 데이터 마이닝, 효과적인 사용입니다. 그리고 전체 기술 스택의 데이터 이해와 대규모 인프라에서 전체 컴퓨팅 효율성의 균형을 맞추는 방법.”

03 데이터 폐쇄 루프 구현에 대한 문제점 및 대책

에서 현재, 자율주행 시스템을 위한 데이터 폐쇄 루프의 중요성에 대해 모두가 합의에 도달했습니다. 기본적으로 대량 생산 차량에 구현할 시기가 무르익었습니다. 그렇다면 각 기업의 데이터 Closed Loop의 실제 구현은 어떻게 이루어지고 있을까요? 회사의 데이터 폐쇄 루프 시스템의 효율성을 어떻게 판단합니까?

저자는 스마트 주행 기술인 MAXIEYE를 통해 자율주행 Tier 1의 경우 기술적으로 데이터 폐쇄 루프를 달성하는 것이 문제가 되지 않는다는 사실을 배웠습니다. 본질적으로 중요한 것은 Tier 1의 제품력, 즉 이를 통해 자동차 제조업체에 힘을 실어줄 수 있는지 여부입니다. 데이터 폐쇄 루프. 둘째, 데이터 폐루프의 효과는 제품의 반복이 데이터 폐루프에 의해 구동되는지, 소프트웨어와 알고리즘이 반환된 데이터를 기반으로 최적화되고 OTA를 통해 정기적으로 단말기에 배포될 수 있는지 여부에 따라 달라집니다.

현재 데이터 폐쇄 루프 역량 수준에 따라 자율주행 Tier 1은 세 가지 범주로 나눌 수 있습니다. 첫 번째는 대규모 대량 생산을 달성한 데이터 폐쇄 루프, 두 번째는 폐쇄 루프입니다. 수집 차량을 통해, 세 번째는 아직 데이터 루프를 닫는 능력을 달성하지 못했기 때문입니다. 현재 첫 번째 유형은 여전히 ​​​​소수에 속합니다.

저자와 업계 관계자가 주고받은 정보에 따르면 현재 대부분의 기업에서는 수집 수단을 데이터 소스로 활용하고 있습니다. 사용자 개인 정보 보호, 인프라, 비용 등 다양한 요인으로 인해 자율주행 시스템의 반복적인 업그레이드를 위한 양산 차량에 대한 대규모 데이터 수집은 아직 구현되지 않았습니다. 일부 기업에서는 폐쇄 루프 데이터 활용을 위해 양산 차량에 대한 데이터를 수집하는 프로세스를 아직 설정하지 않았습니다. 일부 기업에서는 프로세스를 설정하고 일부 데이터를 수집했지만 아직 데이터를 효과적으로 활용하지 못했습니다.

몇몇 회사에서 양산차로부터 일부 데이터를 수집할 것으로 알려졌는데, 업계 관계자는 현재 수집된 데이터가 심층적인 반복보다는 현재 자율주행 시스템의 결함을 진단하는 데 주로 사용된다고 보고합니다. 학습 모델.

즉, 대규모 양산 차량에서 수집한 데이터를 활용하여 자율주행 시스템의 성능을 향상시키는 대규모 대량 생산의 데이터 폐쇄 루프를 실제로 구현한 기업은 거의 없습니다. 그렇다면 데이터 폐쇄 루프 대량 생산의 문제점은 무엇입니까? 이러한 문제점을 해결하기 위한 전략은 무엇입니까?

대량 생산 실무에서 고려해야 할 문제에는 데이터 수집 및 사용의 준수를 보장하는 방법, 데이터 검증 문제를 해결하는 방법, 데이터 수집 기능이 데이터와 공존하는 방법 등이 포함되지만 이에 국한되지는 않습니다. 자율주행 시스템, 데이터 처리의 어려움 대형 데이터 기반 소프트웨어 시스템은 복잡성이 높고 모델 훈련이 어렵습니다.

3.1 데이터 수집 및 사용 시 규정 준수 문제

규정 준수는 측량 및 매핑 규정 준수와 개인 정보 보호 규정 준수로 구분됩니다. 측량 및 매핑 규정 준수는 주로 규정 준수와 국가 지리 정보 수집 시 개인 정보 보호와 관련됩니다. 규정 준수는 주로 다음과 관련됩니다. 사용자 개인정보 관련 데이터 수집 준수.

조사 및 매핑 규정 준수 측면에서 최근 몇 년 동안 국가에서는 데이터 보안 관리를 강화하고 관련 법률 및 규정을 도입하여 반환되는 데이터 범위를 제한했습니다. 2022년 '830개 새로운 규정' 이후 도로에서 차량이 수집한 데이터는 측량 및 매핑 데이터에 속합니다. 기업이 측량 및 매핑 데이터를 사용하려는 경우 후속 데이터 암호화 및 데이터 규정 준수가 필수적입니다.

우선, 도로에서 데이터를 수집할 때 기업은 국가 측량 및 매핑 자격을 갖추고 해당 서류를 제출해야 합니다. 그렇지 않으면 국가 보안 및 기타 부서에 의해 수집 프로세스가 차단됩니다. 현재 중국에는 관련 자격을 갖춘 약 30개 기관이 있으며, 일부 회사는 국가 전자 항법 A등급 자격을 보유하고 있으며, 이는 광범위한 적용이 가능하며 전국 여러 도시에서 취득할 수 있습니다. 다양한 적용 범위가 있는 자격은 규모가 더 작으며 특정 도시에서만 수집할 수 있습니다.

측량 및 매핑 자격을 얻기가 어렵기 때문에 장기적인 사업 축적이 필요합니다. 또한 측량 및 매핑 자격을 유지하려면 기업이 이에 상응하는 측량 및 매핑 서비스를 보유해야 합니다. 따라서 OEM 및 자율 주행 Tier 1은 일반적으로 자격을 갖춘 공급업체 또는 단위를 위탁합니다. 예를 들어 일부 클라우드 공급업체는 이제 고객이 데이터 획득, 처리 및 사용에 대한 규정 준수 계획을 설계하도록 돕습니다.

데이터가 수집된 후에는 자동차 측에서 민감도를 낮추고 암호화해야 합니다. 클라우드(일반적으로 프라이빗 클라우드)에 업로드한 후 일부 규정 준수 작업을 수행해야 합니다. 자격을 갖춘 공급업체 또는 부서에서 수행할 것입니다. 측량 및 매핑 준수에 대한 도움을 받으십시오. 일부 매우 민감한 데이터의 경우 이미지 딜러가 수집해야 하며 데이터의 민감도를 낮추어 이미지 딜러가 감독하는 서버에 저장해야 합니다.

또한 측량 및 지도 작성 데이터가 유출되어서는 안 되며, 특히 해당 데이터가 해외로 이전되어서는 안 됩니다. 중국인이 아닌 사람은 측량 및 지도 작성 데이터를 얻을 수 없으며 회사 내에서 측량 및 지도 작성 데이터를 운영할 수도 없습니다.

일반적으로 OEM 및 자율주행 Tier1은 보안상의 이유로 자체 데이터 센터를 구축합니다. OEM 및 자율 주행 Tier 1이 이러한 데이터 센터에 저장된 데이터를 사용하여 규정 준수 요구 사항에 따라 일부 교육, 시뮬레이션 등을 수행해야 하는 경우 관련 모델을 데이터 센터에 배포하여 사용해야 합니다.

일부 업계 전문가들은 "측량과 지도 작성에 대한 규정 준수 절차가 너무 복잡하고 자격 취득도 어렵다. 모두가 고정밀 지도에 대한 의존도를 최대한 줄이고 싶어한다. 이것이 인기의 한 부분"이라고 말했다. 업계에서는 '지각 및 라이트맵' 솔루션을 강조하고 있습니다." 이유. 하지만 사실 라이트맵이 반드시 '더 나은' 것은 아닙니다. 맵 데이터가 있는 것이 없는 것보다 확실히 더 나은 효과가 있기 때문입니다. 현재의 추세는 반드시 '더 나은' 것은 아닙니다. 최종 형태이거나 반드시 최고는 아니며 모두가 원하는 것입니다.”

개인 정보 보호 규정 준수 측면에서 기업은 대량 생산 차량에서 데이터를 수집하려면 사용자 승인이 필요합니다. WeChat을 사용할 때와 마찬가지로 회사는 사용자에게 처음에 승인 계약에 서명하도록 요구하고 어떤 데이터가 수집되고 어떤 사용 행위가 기록되는지 사용자에게 알려줍니다.

현재 개인 정보 보호 규정 준수와 관련하여 국가에서는 아직 수집할 수 있는 데이터와 수집할 수 없는 데이터를 규정하는 구체적인 계획을 발표하지 않았습니다. 사용자 개인 정보를 유출합니다."

실제 운영에서는 차량번호를 숨겨야 하는 등 사용자 정보와 관련된 데이터를 둔감하게 처리해야 합니다.

3.2 데이터 권리 문제

자율주행 산업에서 요구하는 카메라, 레이저, 밀리미터파 등의 데이터를 자동차에서도 수집할 수 있나요?

Moshi 지능형 제품 관리자인 Su Linfei는 다음과 같이 말했습니다. "중국의 '개인정보 보호법' 관련 조항에 따라 법에서 허용하지 않는 데이터 수집은 개인정보 보호 대상이 됩니다. 독일에서는 이전 독일 연방 정보 보호원에는 그런 규정이 있는데, 운전자가 피해자가 아닌 경우 동의 없이 다른 운전자의 얼굴과 차량을 녹화하는 것은 개인정보 보호법 위반이다. 자율주행 산업은 매우 새롭고, 법적 규제가 아직 부족하기 때문에, 양산차에서 수집한 데이터는 자동차 소유자의 소유가 되어야 한다고 기본적인 법적 개념을 바탕으로 추론합니다. 자동차 소유자가 자신의 차량을 사용하여 수집한 데이터를 사용하는 다른 장치는 어떻게 되나요?

현재 관련 법규나 제한사항은 없습니다. 하지만 휴대폰이나 인터넷 등 다른 산업에서는 널리 허용됩니다.

자동차 소유자가 업로드한 데이터는 누가 얻을 수 있나요?

자동차 산업 체인의 분업 관점에서 볼 때 두 가지 유형의 주체가 이를 얻을 수 있습니다. 첫 번째는 바이두의 무인 택시와 같은 무인 차량 운영 회사이고 두 번째는 OEM입니다. 그러나 전자의 규모가 상대적으로 작기 때문에 우리는 후자에 중점을 둡니다.

OEM은 사용자와 가장 가깝기 때문에 사용자가 업로드한 데이터를 얻는 것이 가장 쉽습니다. 전 세계적으로 Tesla는 이 점에서 최고의 OEM입니다.

현재 OEM이 외부 세계에 데이터를 공개하는 경우가 거의 없습니다. 따라서 자율 주행 Tier1이 OEM이 OEM 맞춤형 기능을 구현하는 데 도움을 준 후에는 Tier1 자체에 많은 테스트 차량이 없는 한 이러한 기능을 사용할 때 사용자로부터 피드백 데이터를 수집하기가 어렵습니다. . 그러면 자율주행 Tier 1이 사용자 피드백 데이터를 기반으로 관련 기능의 후속 최적화를 수행하기 어렵고 데이터 폐쇄 루프를 달성하기 어려울 것입니다.

Moshi 지능형 제품 관리자 Su Linfei는 작성자에게 다음과 같이 말했습니다. "OEM을 위한 프로젝트를 완료한 후 OEM이 데이터 인터페이스를 열지 않으면 사용자 피드백 데이터를 얻고 이를 추가로 반복하는 것이 어려울 것입니다. 결국 대부분의 자율주행 시스템 공급업체는 프로젝트 운영에 주력하는 기업이 되었고, 제품 성능이 뒤처지면서 서서히 퇴출됐다. 더욱 안타까운 점은 자율주행 시스템의 소스코드가 오픈소스라는 점이다. 일부 OEM은 자율주행 기능을 구현하기 위해 자체 데이터 폐쇄 루프 시스템을 구축하기를 원할 것이므로 공급업체와 데이터를 공유하는 것을 꺼릴 것입니다. 그러나 OEM이 이렇게 하는 것은 무리라고 생각합니다. 전체적으로 자율주행의 관점에서 볼 때, 모두가 각자의 임무를 수행하고 전문적인 사람이 전문적인 일을 하는 것이 가장 좋습니다. 그러나 업계는 아직 상대적으로 발전 초기 단계에 있으며, 모두가 더 큰 주도권을 잡기 위해 시도하고 싶을 수도 있습니다.”

신에너지 OEM의 한 전문가는 다음과 같이 말했습니다. 어쩌면 상대방이 데이터를 제공한 후 어떻게 사용하는지 몰랐을 수도 있습니다. 그러나 이제 OEM에 자율주행 솔루션을 제공하는 협력 공급업체의 경우 OEM이 데이터 사용 권한을 공개할 수 있습니다. 데이터 공개 사용 권한의 전제 조건은 규정 준수입니다. 데이터를 사용할 때 전체 프로세스가 규정을 준수하는지 확인해야 합니다. "

OEM의 경우 데이터를 공급업체에 공개하지 않는 경우 데이터의 가치를 탐색해야 합니다. 데이터 자체. 초기에는 이 데이터의 구체적인 가치를 아는 사람이 없었습니다. 이를 사용해야만 가치가 천천히 발견될 수 있었습니다. OEM은 먼저 데이터를 공급업체에 제공하고 자체적으로 사본을 보관할 수 있으며, 그런 다음 데이터의 가치를 발견한 후 OEM에 다시 제공할 수 있습니다.

이제 일부 OEM은 공급업체에게 SOP 이후 소프트웨어 반복을 계속 지원하도록 요구할 것이며, 공급업체도 이를 데이터 획득 기회로 활용하여 OEM과 공급업체가 윈윈(win-win) 상황을 달성할 수 있습니다. 물론 OEM의 관점에서 볼 때 이 방법에는 여전히 몇 가지 결함이 있습니다. 공급업체가 반복 후 효과가 더 좋아질 것이라고 보장하기 어렵기 때문입니다. OEM이 반복의 효과를 검증하는 것도 어렵기 때문에 OEM은 중간 결과에 대한 통계 지표를 통해 공급업체의 반복을 확인할 수 있도록 중간 결과(인식 대상 인식 결과 등)에 대한 데이터에 대한 인터페이스를 공급업체에 공개하도록 요구하는 경우가 많습니다. . 효과.

현재는 주로 양 당사자가 상호 신뢰와 성실한 협력의 사고방식을 가져야 합니다. OEM은 데이터 사용 권한을 공급업체에 공개하며 공급업체는 정기적으로 소프트웨어를 업데이트하고 해당 효과를 확인합니다. 협력이 계속될 수 있도록. 모든 사람이 뚜렷한 효과를 보지 못했기 때문에 이 모델이 아직 널리 받아들여지지 않았을 뿐입니다.

3.3 데이터 수집은 시스템 리소스를 차지합니다.

대량 생산 차량에 대한 데이터 수집은 컴퓨팅, 스토리지 등 일부 시스템 리소스를 차지합니다. 이론적으로는 컴퓨팅 리소스, 네트워크 대역폭 등이 제한되지 않는다고 가정할 수 있지만, 실제 구현 과정에서는 수집된 데이터가 양산 시 자율주행 시스템의 정상적인 작동에 영향을 미치지 않도록 어떻게 보장할 수 있을지 고민된다. 예를 들어 차량이 자율주행 시스템의 지연에 영향을 미치지 않는 방법은 해결해야 할 문제입니다.

물론 일부 회사에서는 자원 점유 문제가 없도록 자율주행 시스템이 실행되지 않을 때 데이터를 업로드하기도 합니다. 하지만 업계 일각에서는 자율주행 시스템이 구동되지 않는 상태에서만 데이터를 업로드하면 수집되는 데이터의 양이 제한될 것이라고 생각한다. 현 단계에서는 아직은 최대한 많은 데이터를 수집해야 한다. 그리고 설계 시 데이터 수집이 자율주행 시스템의 작동에 미치는 영향을 고려할 필요가 있다.

3.4 데이터 주석 및 후속 처리가 어렵습니다

양산 차량에서 데이터를 다시 전송한 후 매일 자전거를 통해 다시 전송되는 데이터의 양은 약 100MB에 달하는 것으로 추정됩니다. 연구 개발 단계에서는 총 차량 수가 수십 대 또는 수백 대에 불과할 수 있습니다. 그러나 대량 생산 단계에서는 차량 수가 수만 대, 수십만 대 또는 그 이상에 이를 수 있습니다. 그러면 대량 생산 단계에서는 매일 전체 차량에서 생성되는 데이터의 양이 엄청납니다.

데이터 양이 급격히 증가하면서 저장 공간과 데이터 처리 속도 모두에 문제가 생겼습니다. 대량 생산 이후에는 데이터 처리 지연 시간을 R&D 단계와 동일한 수준으로 유지해야 합니다. 그러나 기본 인프라가 이를 따라잡지 못하면 데이터 양이 증가함에 따라 데이터 처리 지연도 늘어나서 연구 개발 프로세스의 진행 속도가 크게 느려지게 됩니다. 시스템 반복의 경우 이러한 효율성 감소는 용납될 수 없습니다.

업계 전문가는 글쓴이에게 "현재 양산차에서 전송되는 대용량 데이터를 처리할 수 있는 기업을 본 적이 없다"고 말했다. 데이터 폐쇄 루프 수준 신차 제조 세력은 대량 생산 차량이 매일 5분의 데이터만 전송하더라도 현재의 저장 장치, 파일 판독 시스템, 컴퓨팅으로 인해 이러한 양의 데이터를 처리하기가 어려울 것입니다. 툴 등은 아직 엄청난 양의 데이터를 감당할 수 없습니다.”

증가하는 데이터 양에 대처하려면 이에 맞춰 기반 인프라와 플랫폼 설계도 업그레이드되어야 합니다.

엔지니어링 팀은 완전한 데이터 액세스 SDK를 개발해야 합니다. 시각적 데이터와 레이더 데이터의 파일 크기가 매우 크기 때문에 데이터 액세스, 쿼리, 점프 및 디코딩 프로세스가 충분히 효율적이어야 합니다. 그렇지 않으면 연구 개발 진행 속도가 크게 느려집니다.

차량 측 데이터가 클라우드로 다시 전송된 후 엔지니어링 팀은 적시에 대량의 데이터에 라벨을 지정해야 합니다. 현재 업계에서는 보조 주석을 위해 사전 학습된 모델을 사용하고 있지만, 데이터 양이 많을 경우 주석을 작성하는 데 여전히 많은 작업이 필요합니다.

데이터에 라벨을 붙일 때 라벨 결과의 일관성도 보장해야 합니다. 현재 업계에서는 아직 완전 자동 데이터 주석을 구현하지 않았으며 워크로드의 일부를 완료하려면 여전히 수동 작업이 필요합니다. 수동 작업에서는 데이터 양이 많을 때 라벨링 결과의 일관성을 어떻게 보장할 것인지도 큰 과제입니다.

또한, 자율주행과 관련된 데이터는 그 양이 클 뿐만 아니라 종류도 다양하여 데이터 처리가 더욱 어렵습니다. 데이터 유형은 차량 데이터, 위치 데이터, 환경 센싱 데이터, 애플리케이션 데이터, 개인 데이터 등 소스에 따라 구분되고, 정형 데이터, 비정형 데이터 등 형식에 따라 구분되며, 데이터 서비스 유형에는 파일, 객체, 등. 표준을 통합하는 방법과 다양한 유형의 스토리지 및 액세스 인터페이스를 조정하는 방법도 큰 문제입니다.

3.5 데이터 기반 소프트웨어 시스템은 매우 복잡합니다

기존 V자형 개발 모델은 데이터 폐쇄 루프에 적용하기 어렵습니다. 더욱이 현재 업계에는 높은 수준의 자율주행을 위한 통합 소프트웨어 개발 플랫폼과 미들웨어가 없습니다.

한 기업의 자율주행 부서 기술 전문가는 저자에게 “데이터와 딥러닝 모델을 기반으로 하는 자율주행 기능 반복 시스템은 소프트웨어 2.0이라고 할 수 있다. R&D 프로세스, 테스트 방법 및 도구 체인은 모두 데이터를 중심으로 구축됩니다. "

소프트웨어 1.0 시대에는 모든 사람이 제출하는 코드와 예상 효과를 쉽게 평가할 수 있습니다. 그러나 소프트웨어 2.0 시대에는 각 개인의 기여가 전체 효과에 미치는 영향을 측정하는 것이 더욱 어려워졌고, 모든 사람이 서로 소통하는 내용이 더 이상 명확하게 눈에 보이는 코드가 아니기 때문에 사전 예측도 어렵습니다. 그러나 데이터 및 데이터 기반 통신이 업데이트되었습니다.

예를 들어 모바일 인터넷 애플리케이션용 AI 비전 알고리즘을 작업할 때와 같이 데이터 양이 매우 적을 때는 데이터 양이 적기 때문에 기본적으로 관련 비주얼 모델 엔지니어가 자체 폴더를 관리했습니다. Windows나 Ubuntu에서는 팀원들이 이름이 변경된 다양한 폴더를 직접 사용하여 서로 간에 전송을 수행하므로 데이터 교환이나 협력에 매우 비효율적입니다.

그러나 자율 주행 작업의 경우 수십만 장의 사진을 접하고 수백 명의 사람들이 공동으로 시스템을 개발합니다. 각 변경에는 수백 또는 수천 개의 모듈이 포함됩니다. 각 모듈의 코드 품질을 평가하는 방법과 모듈 간 충돌 여부를 확인하는 방법은 비교적 복잡한 작업입니다. 아직까지는 이 시스템이 아직 열악하고 엔지니어링 부분이 충분히 성숙되지 않았다고 생각합니다.

소프트웨어 2.0 단계에서 여전히 해결해야 할 문제는 특정 시나리오 및 전체 상황에 대한 새로운 데이터의 영향을 측정하는 방법, 새로운 데이터를 기반으로 한 모델 재교육이 일부 실패를 방지하는 방법입니다. 특정 작업의 경우 효과가 좋아지지만 전체적으로 효과가 감소합니다. 이러한 문제를 해결하려면 일부 데이터를 추가하는 것이 우리가 해결하려는 분할된 시나리오에 도움이 되는지, 전체 상황에 도움이 되는지 확인하기 위해 단위 테스트를 수행해야 합니다.

예를 들어 특정 작업에 대해 원본 데이터 세트에 2천만 개의 이미지가 있고 500개의 추가 이미지가 추가되면 이 특정 작업을 해결하는 능력이 향상되었지만 때로는 이는 처리 시 모델 점수가 감소했음을 의미하기도 합니다. 글로벌 작업으로.

또한 시각적 작업의 경우 지표를 기반으로 모델에 대한 새로운 데이터의 영향을 판단하는 것 외에도 최적화가 기대치를 충족하는지 확인하기 위해 구체적인 영향이 무엇인지 실제로 확인해야 합니다. 지표만 보면 지표가 개선되었음에도 불구하고 실제 결과가 여전히 기대에 미치지 못하는 상황이 발생할 수 있습니다.

또한 각 업데이트가 전 세계적으로 최적이 되도록 보장하기 위한 일련의 인프라도 필요합니다. 이 인프라에는 데이터 관리, 교육 평가 등이 포함됩니다. Tesla는 이 점에서 업계 선두에 있습니다. 전체 데이터 기반 링크는 처음부터 업계를 선도하도록 설계되었으며 2019년부터 2022년까지는 Iterate 제품을 지원하기 위해 많은 변화가 필요하지 않습니다.

3.6 모델 학습 난이도 증가

데이터 수집, 저장, 라벨링 등의 문제를 해결한 후에도 후속 모델 학습 및 기능 반복은 여전히 ​​과제입니다.

생산 차량에서 반환된 대량의 데이터를 교육하려면 교육이 I/O로 인해 "멈추지" 않도록 보장하는 효율적인 파일 전송 시스템이 필요합니다.

동시에 충분한 컴퓨팅 성능이 있어야 합니다. 컴퓨팅 성능을 향상시키는 방법은 일반적으로 다중 카드 병렬 클러스터를 구축하는 것입니다. 그리고 데이터 전송 지연을 줄이고 각 카드의 컴퓨팅 성능을 완전하고 효과적으로 활용하기 위해 훈련 중에 효율적인 카드 간 통신을 유지하는 방법도 문제입니다. 고려해야합니다.

모델 교육에서 컴퓨팅 성능에 대한 수요에 대처하기 위해 일부 OEM은 특별히 자체 지능형 컴퓨팅 센터를 구축했습니다. 그러나 지능형 컴퓨팅 센터를 구축하는 데는 비용이 매우 높으며 중소기업의 경우 이는 거의 불가능합니다.

아직도 문제점이 많지만, 시간이 지나면 현재의 문제가 하나씩 해결될 것이라고 예상할 수 있습니다. 그때쯤이면 데이터 폐루프가 양산차에 본격적으로 구현될 수 있고, 양산차에 구현된 뒤 수집된 데이터는 데이터 폐루프 시스템으로 피드백돼 자율주행 시스템을 더 높은 수준으로 끌어올릴 것이다.

위 내용은 자율주행 데이터 폐쇄 루프의 이상과 현실의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!