|
시장보고서
상품코드
2129077
자동차용 AI 대규모 모델 기술 조사 보고서(2026년)Automotive AI Large Model Technology Research Report, 2026 |
||||||
자동차용 AI 대규모 모델 관련 조사 : “더 강력한 모델을 보유하고 있는가”에서 “더 높은 연결 효율을 자랑하는가”로 경쟁의 초점이 이동
ResearchInChina는 ‘자동차용 AI 대규모 모델 기술 조사 보고서, 2026년’을 발표했습니다. 본 보고서에서는 2026년 자동차 업계의 주류가 될 AI 대규모 모델 기술을 정리하고, 자동차 AI의 기술적 초점 전환 및 그 동향에 대한 인사이트력을 제공합니다.
2026년, 자동차 AI 대규모 모델 기술은 주로 다음 분야에서 도입되고 있습니다.
전반적으로, 지난 2년간 대규모 모델 개발에서 벌어졌던 매개변수 규모 경쟁과 비교할 때, 2026년의 대규모 모델 기술은 보다 실용적인 방향으로 진화하고 있습니다. 기술 혁신을 충분히 고려하면서, 서비스 시나리오에서 요구되는 기술 경로에 수직적으로 초점을 맞추어 지속적인 최적화를 도모하고 있습니다. 한편, 궤적 계획이나 디스틸레이션(지식 증류)에 기반한 전개 등 특정 시나리오에 특화된 기술은 수렴의 조짐을 보이기 시작했습니다. 그렇긴 하지만, 엔지니어링 구현의 세부 사항에서는 여전히 독자적인 솔루션과 혁신이 탄생하고 있습니다. 즉, 2026년의 대규모 모델 경쟁은 ‘누가 더 강력한 모델을 가지고 있는가’에서 ‘누가 더 높은 링크 레벨 효율을 자랑하는가’로 전환되고 있습니다.
게다가 이러한 기술들이 용도 시나리오에서 단독으로 도입되는 경우는 거의 없습니다. 대부분의 경우, 이들은 결합되어 솔루션이 구축됩니다. 대표적인 조합으로는 멀티모달 + 지식 그래프, 강화 학습 + 확산 모델 + 특징 표현 및 모델링 최적화, 멀티에이전트 시스템 + AI 오케스트레이션, 그리고 훈련 + 배포 등을 들 수 있습니다.
다음에서는 몇 가지 선정된 기술 분야에 대해 자세히 설명하겠습니다.
계산 오버헤드를 줄이기 위한 3가지 기술적 접근 방식
차량용 칩의 연산 능력은 지속적으로 향상되고 있지만, 콕핏이나 자율주행 분야의 복잡한 작업을 병렬로 실행함에 따라 여전히 연산 능력이 한계에 부딪힐 가능성이 있습니다. 이 문제를 해결하기 위해, 리소스를 변경하지 않는다는 전제 하에 계산 오버헤드를 줄이기 위한 세 가지 기술적 접근 방식이 존재합니다.
모델 측면 : 파라미터 규모 조정(예 : 증류, 전정, 파라미터 공유, 저순위 분해), 모델 정확도 조정(예 : 양자화), 모델 아키텍처의 반복적 개선(예 : 어텐션 메커니즘의 변형, MoE).
추론 프레임워크 측면 : 추측적 디코딩, KV 캐시 최적화, 캐시 재사용, 조기 종료 등.
연산자 및 컴파일러 측면 : 연산자 융합, 양자화 커널, 명시적 오케스트레이션 등.
모델 파라미터와 정확도 조정은 오버헤드 최적화에서 가장 일반적인 기법입니다. 지난 2년과 비교하여, 2026년에는 각 OEM 업체들이 MoE나 KV 캐시 최적화 등 모델 아키텍처 및 추론 프레임워크 분야에서 더욱 풍부한 기술을 개발할 수 있게 되었습니다.
1. 어텐션 메커니즘의 변형
2026년의 어텐션 메커니즘 변형은 차량용/엣지 디바이스의 연산 능력 제약이라는 과제를 해결하는 것을 목표로 합니다. 이는 시퀀싱 길이가 증가함에 따라 표준 소프트맥스 어텐션으로 인해 발생하는 연산량 및 비디오 메모리 오버헤드의 제곱적 증가를 해결합니다. 아키텍처 설계에서는 ‘경량 어텐션 변형 + 표준 어텐션’의 조합을 채택하고 있습니다.
샤오미의 MiMo V2.5 시리즈에서 추론 최적화의 경우, 하이브리드 SWA(슬라이딩 윈도우 어텐션)를 통해 KVCache의 저장 용량이 풀 어텐션 시의 약 1/7로 감소합니다. MoE는 스파스 활성화(sparse activation)를 활용하여 모델 용량을 유지하면서 토큰당 계산 비용을 절감합니다. KV 캐시의 축소는 계산 오버헤드를 줄일 뿐만 아니라, SWA 최적화로 인해 확보된 비디오 메모리 여유 공간을 활용하여 전문가 병렬 처리를 원래 규모의 1/2로 축소하고, 머신 간 통신을 줄이며, 엔드투엔드 프리필 성능을 약 40% 향상시켜,훈련 시 GPU 활용도를 높이고 있습니다.
2. MoE 아키텍처
MoE 아키텍처는 풀 스케일 파라미터를 유지하면서 스파스화를 통해 추론 단계의 오버헤드를 제어합니다. 2026년, 각 OEM 업체의 MoE 기술은 부하 분산, 훈련과 추론의 라우팅 불일치, 그리고 시각 토큰의 중복성에 초점을 맞추었습니다.
동일한 MoE 아키텍처라 하더라도 시나리오마다 라우터의 처리 방식은 다릅니다.
입력 지향형 활성화(기존 MoE) : 기존 MoE는 ‘입력 지향형 활성화’를 채택하고 있으며, 활성화되는 전문가(expert)는 현재 입력 토큰에 의해 직접 결정됩니다. 이 접근 방식은 멀티태스크나 멀티모달 입력에서 우수하지만, 복잡한 다단계 추론(GUI 에이전트)에는 적합하지 않습니다.
출력 지향 활성화(CoME) : 샤오미의 CoME 아키텍처는 ‘출력 지향 활성화’를 구현하고 있으며, 전문가의 활성화를 특정 추론 단계(예 : 화면 요약, 하위 작업 계획, 행동 의사 결정)와 연동시키고 있습니다.
시나리오 특징량 라우팅(EMoE) : BYD의 자율 주행 솔루션은 EMoE를 채택하고 있습니다. 이 라우터에는 독립적인 시나리오 라우터가 내장되어 있어, 시나리오 특징(예: 좌회전, 우회전, 직진)을 직접 반영하고 모든 레이어에 걸쳐 일관된 라우팅 선택을 유지함으로써 모델의 수렴을 가속화합니다.
작업/모달리티 인식형 라우팅: 지리(Geely)의 솔루션에서는 MoE 전문가 스케줄링 유닛이 게팅 네트워크를 통해 가중치를 할당하고, 현재 작업 유형(예 : 기억 저장,기억 검색) 및 모달리티 특징의 가중치에 따라 Top 1 라우팅 전략을 사용하여 주요 전문가를 선택합니다.
3. 프루닝과 양자화
프루닝과 양자화는 계산 능력이 제한되고 지연 시간이 증가하는 상황, 특히 디바이스 상에서의 모델 배포 시 모델을 배포하기 위한 일반적인 기법입니다.
NAR의 가능성이 점차 드러나고 있습니다.
현재, 자기회귀(AR) 아키텍처 기반 모델은 성숙한 생태계와 명시적인 시퀀싱 감독 기능을 통해 음성 대화, 자율 주행 계획, 조종석 에이전트 및 기타 시나리오(예 : MoonCast, Transfuser 및 수많은 AR 기반 세계 모델)에서 널리 적용되고 있습니다. 반면, 토큰 단위/프레임 단위로 순차적 생성을 수행하기 때문에 AR 모델은 일반적으로 추론 지연이 크고 안정성 위험(예 : 단어 생략, 이해할 수 없는 긴 부문, 노출 편향 등)을 안고 있습니다.
대조적으로, 비자기회귀(NAR) 모델은 최근 단일 언어 TTS, 음성 대화, 주행 계획 등 다양한 시나리오에서 적응 시 안정성 향상, 효율성 향상, 비용 대비 성능 향상 등 폭넓은 이점을 보여주고 있습니다. 대표적인 예로는 Xiaomi ZipVoice-Dialog, OmniVoice, Changan FlowR2A, Li Auto TrajHF 등을 들 수 있습니다. 복잡한 작업에 대한 실용화에서는 데이터나 전개 패러다임과 같은 근본적인 지원에 여전히 제약이 있어, 그 결과,적용 시나리오의 범위는 제한적이지만, NAR 모델은 병렬 생성 및 플로우 매칭/확산 패러다임을 활용함으로써 여러 벤치마크에서 속도와 품질 양면 모두에서 AR 기준선을 능가하는 성능을 발휘하고 있어, 유망한 기술적 접근 방식 중 하나로 자리 잡고 있습니다.
NAR 모델은 생성 속도, 사후 적응의 안정성, 그리고 계산 리소스에 대한 친화성 면에서 뛰어나며, AI를 통한 생성 및 의사결정을 위한 새로운 패러다임으로 자리매김하고 있습니다. 고유한 적응의 어려움, 데이터 지원, 그리고 엔지니어링상의 경로 의존성과 같은 제약이 있음에도 불구하고, 기술적 진화의 과정에서 NAR 모델과 AR 모델은 장기적으로 공존해 나갈 것으로 예측됩니다.
다중 에이전트 기술 : 통합 스케줄링 코어 + 다양한 정보 공유 메커니즘
2026년부터 2027년에 걸쳐 모델 제공업체는 기반 모델의 기능 강화를 지속하는 한편, 하드웨어 벤더는 토큰 비용을 연평균 60-70%의 속도로 절감해 나갈 것입니다. 대규모 모델 기술을 최대한 활용하여 현재의 과제를 해결하는 방법이 최우선 과제가 되고 있습니다. 차량 분야에서의 중요한 구체적 사례 중 하나가 ‘Always on Agent’이며, 그 주류 구축 방식은 멀티 에이전트 기술로 분류됩니다.
2026년, 멀티 에이전트 기술은 기술 경로의 수렴과 응용 시나리오의 수평적 확장을 동시에 달성했습니다. 이들은 주류인 ‘허브+전문가’ 패러다임을 채택하여, 고립된 조종석이나 자율주행 시나리오에서 운영·유지보수, 마케팅, 제조를 포함하는 시스템 횡단적·영역 횡단적 협업 시나리오로 그 범위를 확대되고 있습니다.
각 OEM은 멀티 에이전트 시스템을 위해 독자적인 에이전트 연계 메커니즘을 구현하고 있습니다. 집중형 스타형 토폴로지에 의한 스케줄링이 가장 널리 채택되고 있지만, 특정 시나리오에서는 다른 아키텍처가 더 우수한 성과를 가져오는 경우도 있습니다.
2026년의 멀티 에이전트 시스템 :
기능이 중복되는 에이전트를 생성하는 대신, 기능, 역할, 인지 유형(계획, 탐색, 실행, 방어, 분석, 학습 에이전트 등)별로 전용 서브 에이전트를 정의하여 각각의 하위 작업을 수행하게 합니다.
에이전트는 효율적인 정보 흐름과 일관된 상태를 보장하기 위해 다양한 협력 메커니즘(A2A 프로토콜 등의 표준화된 통신 및 상태 공유 경로, 세계 상태 공유, 데이터 상호작용 인터페이스, 코어 간 명령 프레임, 메모리 읽기/쓰기 작업, 스트리밍 캐시 등)에 의존합니다.
각 하위 에이전트가 작업을 완료한 후, 중앙 모듈은 모든 하위 작업의 결과를 집계하고 통합하여 최적의 해를 출력함과 동시에, 실행을 위해 피드백합니다. 이를 통해 병렬 비즈니스 처리가 가능해져 실시간 성능이 향상될 뿐만 아니라, 작업 분할과 중복성을 통한 백업을 통해 안전성과 견고성이 향상됩니다.
FAW의 에이전트 기반 엔진 ECU를 예로 들면:
이 솔루션은 이기종 멀티코어 SoC 상에 물리적으로 분리된 3개의 컴퓨팅 도메인을 구축하여, 리액션 에이전트, 플래닝 에이전트, 러닝 에이전트 등 3유형의 에이전트를 호스팅합니다.
반응 에이전트는 ASIL-D를 준수하는 락스텝 코어에서 작동하며, 1ms 이하의 사이클로 센서 신호를 수집하고, 노킹 및 기타 긴급 주행 상태를 밀리초 수준의 지연 시간으로 처리하는 동시에 긴급 상황 시 제어 권한을 보유하고 있습니다.
플래닝 에이전트는 ASIL-B를 준수하는 고성능 코어에서 작동합니다. 로컬 공유 디지털 트윈 엔진(물리 메커니즘 모델과 신경망을 결합한 것)을 호출하여 여러 제어 전략 후보를 시뮬레이션하고, 다목적 최적화를 통해 최적의 제어 매개변수를 생성하며, 신뢰도, 유효 기간, CRC 체크섬을 포함한 구조화된 데이터 프레임을 통해 출력을 제공합니다.
학습 에이전트는 QM 코프로세서에서 작동합니다. 백그라운드에서 제어 편차 데이터를 수집하고, 디지털 트윈 모델의 증분 업데이트만 수행합니다.
이 세 가지 에이전트는 MPU로 보호된 공유 메모리 파티션 및 코어 간 인터럽트를 통해 안전하게 통신하며, 장애로 인한 성능 저하에 대한 대응 및 모델 검증 업데이트 메커니즘을 통해 보완됩니다. 이러한 구성을 통해 ISO 26262의 기능 안전 요구 사항을 준수하면서, ‘실시간 긴급 대응-미래 지향적 계획-온라인 보정’을 특징으로 하는 완전한 폐쇄 루프의 자기 최적화 제어 워크플로우를 실현합니다.
다중 에이전트 기술에 더해, ‘Claw’ 기반 기술을 통해 능동 서비스 시나리오의 구현이 가속화되고 있습니다.
Li Auto의 ‘StreamingClaw’는 구현된 에이전트의 한 예입니다.
이는 증분 스트리밍 추론과 마스터-슬레이브형 프록시를 활용합니다. 차량은 동영상을 오프라인 파일로 처리하는 것이 아니라, 인간의 인지 방식과 마찬가지로 실시간으로 상황을 인식하고 상태를 업데이트합니다.
‘StreamingReasoning’은 실시간 지각 및 계획 처리를 담당하고, ‘StreamingMemory’는 계층적 기억의 진화를 통해 멀티모달 경험을 축적이며, ‘StreamingProactivity’는 위험을 지속적으로 모니터링하고 선제적인 조치를 유발합니다.
이를 통해 운전 중 운전자가 하품을 하거나 휴대전화를 조작할 때 선제적인 경고, 차량 탑승 시 선제적인 인사, 승객이 손에 들고 있는 물체를 실시간으로 인식하는 등의 기능이 실현됩니다.
차량의 관점에서 보면, 에이전트 간의 경쟁은 ‘단일 기능 경쟁’에서 ‘시나리오 전체를 아우르는 생태계 경험 경쟁’으로 진화하고 있습니다. 에이전트 서비스는 사양서에 명시된 개별 기능 항목에서 벗어나, 사용자와 능동적으로 상호작용하면서도 인간 운전자에게 운전의 주도권을 계속 맡기는 파트너로 변모하고 있습니다.
목차
제1장 AI대규모 모델 용도 기술 유형 및 동향
제2장 다른 접근에 의한 대규모 모델 기술 사례
제3장 다양한 시나리오 대규모 모델 기술 사례
제4장 미래지향적인 AI기술 용도
AJY 26.09.17Automotive AI Large Model Research: Competition Shifts from "Who Has the Stronger Model" to "Who Boasts Higher Link Efficiency"
ResearchInChina released the Automotive AI Large Model Technology Research Report, 2026. This report sorts out mainstream AI large model technologies in the automotive industry in 2026, and provides insights into shifts in technical focus of automotive AI and its trend evolution.
In 2026, automotive AI large model technologies are mainly deployed in the following fields:
Overall, compared with the race for parameter scale in large model development over the past two years, large model technologies in 2026 have grown more pragmatic. They focus vertically on the technical routes required by service scenarios for continuous optimization, while giving due consideration to innovation. Meanwhile, technologies tailored for specific scenarios, such as trajectory planning and distillation-based deployment, have begun to show signs of convergence. Nevertheless, distinctive solutions and innovations still emerge in the details of engineering implementation. In other words, the large model competition in 2026 is shifting from "Who has the stronger model" to "Who boasts higher link level efficiency".
Furthermore, these technologies are rarely deployed independently in application scenarios. They are frequently combined to build solutions. Typical combinations include multimodal + knowledge graph, reinforcement learning + diffusion model + feature representation & modeling optimization, multi agent system + AI orchestration, and training + deployment.
Several selected technical domains are elaborated below:
Three Technical Paths for Reducing Computational Overhead
Although in-vehicle chip computing power keeps growing, parallel execution of complex tasks in the cockpit and intelligent driving domains may still make computing power stretched. To address this problem, on the premise of unchanged resources, three technical paths exist for cutting computational overhead:
Model side: parameter scale adjustment (e.g., distillation, pruning, parameter sharing, low-rank decomposition), model precision adjustment (e.g., quantization), and model architecture iteration (e.g., attention mechanism variants, MoE).
Reasoning framework side: speculative decoding, KV cache optimization, cache reuse, early exiting, etc.
Operator and compiler side: operator fusion, quantized kernel, explicit orchestration, etc.
Adjusting model parameters and precision represents the most common overhead optimization route. Compared with prior two years, OEMs have richer technologies to develop in the model architecture and reasoning framework routes in 2026, including MoE and KV cache optimization.
1.Attention Mechanism Variants
In 2026 attention mechanism variants target sore points of constrained computing power on vehicle / edge devices. They tackle quadratic growth in computation and video memory overhead incurred by standard softmax attention as sequence length increases. Architecture design adopts a combination of "lightweight attention variants + standard attention".
In the case of reasoning optimization for Xiaomi's MiMo V2.5 series, Hybrid SWA (Sliding Window Attention) cuts KVCache storage to approximately 1/7 of that under Full Attention. MoE leverages sparse activation to hold model capacity while lowering per token computational cost. Reduced KV Cache not only cuts computation overhead but also makes use of video memory headroom from SWA optimization, trimming Expert Parallelism to 1/2 of its original scale, decreasing cross machine communication, lifting end to end Prefill performance by roughly 40%, and boosting training GPU utilization.
2.MoE Architecture
MoE architectures retain full scale parameters and control reasoning phase overhead via sparsification. In 2026, OEMs' MoE technologies focus on load balancing, training reasoning routing discrepancies, and visual token redundancy.
Even with the same MoE architecture, routers are handled differently for distinct scenarios:
Input-oriented activation (traditional MoE): Conventional MoE adopts "input-oriented activation", meaning activated experts are determined directly by current input tokens. This approach excels in multi task or multimodal input yet is suboptimal for complex multi-step reasoning (GUI Agents).
Output-oriented activation (CoME): Xiaomi's CoME architecture implements "output-oriented activation", aligning expert activation with specific reasoning phases (e.g., screen summarization, subtask planning, action decision making).
Scenario feature routing (EMoE): BYD's intelligent driving solution uses EMoE. Its router incorporates an independent scenario router that directly ingests scenario features (e.g., left turn, right turn, going straight), maintaining consistent routing selections across all layers to accelerate model convergence.
Task/modality aware routing: In Geely's solution, the MoE expert scheduling unit allocates weights via gating networks and selects leading experts with a Top 1 routing strategy, based on current task types (e.g., memory storage, memory retrieval) and modal feature weights.
3.Pruning & Quantization
Pruning and quantization are common techniques for model deployment under conditions of constrained computing power and increased latency, especially for on-device model deployment.
The potential of NAR begins to emerge.
At present, autoregressive (AR) architecture models, by virtue of mature ecosystems and explicit sequence supervision capabilities, are widely applied in voice dialogue, autonomous driving planning, cockpit agents and other scenarios (e.g., MoonCast, Transfuser and numerous AR based world models). Meanwhile, due to token by token/frame by frame sequential generation, AR models generally suffer from high reasoning latency and stability risks (e.g., word skipping, unintelligible long segments, and exposure bias).
In contrast, non-autoregressive (NAR) models have demonstrated a range of merits in recent years across scenarios including monolingual TTS, voice dialogue and driving planning: improved stability upon adaptation, higher efficiency and better cost performance. Typical examples include Xiaomi ZipVoice-Dialog, OmniVoice, Changan FlowR2A, and Li Auto TrajHF. Although their engineering deployment for complex tasks is still constrained by fundamental supports such as data and deployment paradigms, resulting in a limited scope of application scenarios, NAR models leverage parallel generation or flow-matching/diffusion paradigms to outperform AR baselines in both speed and quality on multiple benchmarks, making them one of the promising technical routes.
NAR models deliver advantages in generation speed, post adaptation stability and computing power friendliness, qualifying them as a new paradigm for AI generation and decision making. Restricted by native adaptation difficulty, data support and engineering path dependency, NAR and AR models are expected to co exist long term in technical evolution.
Multi-Agent Technology: Unified Scheduling Core + Diverse Information Sharing Mechanisms
During 2026 2027, model providers keep enhancing foundation model capabilities, while hardware vendors drag down token costs at an annual rate of 60-70%. How to fully leverage large model technologies to solve current challenges has become a top priority. On vehicles, one key embodiment is the "Always on Agent", whose mainstream construction modes falls under multi agent technology.
In 2026, multi agent technologies witness converging technical routes alongside horizontally expanded application scenarios. They adopt the mainstream "hub + expert" paradigm, extending from isolated cockpit and intelligent driving scenarios to cross system, cross domain collaborative scenarios including operation & maintenance, marketing and manufacturing.
Different OEMs implement distinct Agent collaboration mechanisms for multi agent systems. Centralized star topology scheduling sees the highest adoption frequency, yet alternative architectures yield superior outcomes for specific scenarios.
Multi-agent system in 2026:
Instead of creating agents with overlapping capabilities, dedicated sub-agents of function, role and cognition types (including planning, searching, execution, defense, analysis and learning agents) are defined to perform respective subtasks.
Agents rely on diverse collaboration mechanisms (standardized communication and state sharing paths such as A2A protocol, global state sharing, data interaction interfaces, inter-core instruction frames, Memory read-write operations, and streaming cache) to ensure efficient information flow and consistent states.
After each sub-agent completes its task, the central module aggregates all subtask outcomes, integrates and outputs the optimal solution, and feeds it back for execution. This enables parallel business processing to improve real-time performance, and enhances safety and robustness through task division and redundancy backup.
Take FAW's Agent based engine ECU as an example:
This solution deploys three physically isolated computing domains on the heterogeneous multi-core SoC to host three types of Agents: Reaction Agent, Planning Agent and Learning Agent.
The Reaction Agent runs on ASIL-D lock-step cores, collecting sensor signals with <=1ms cycles, handling knock and other emergency operating conditions at millisecond-level latency and holding emergency takeover privileges.
The Planning Agent runs on ASIL-B high-performance cores. It invokes a local shared digital twin engine (combining physical mechanism models + neural networks) to simulate multiple candidate control strategies, generates optimal control parameters through multi-objective optimization, and delivers outputs via structured data frames carrying confidence levels, validity periods and CRC checksums.
The Learning Agent runs on QM coprocessors. It collects control deviation data in the background and only performs incremental updates for digital twin models.
These three agents communicate securely through MPU protected shared memory partitions and inter core interrupts, complemented by fault degradation and model verification update mechanisms. This setup delivers a full closed loop self-optimizing control workflow featuring "real time emergency response - forward looking planning - online correction" while complying with ISO 26262 functional safety requirements.
Beyond multi-agent technologies, active service scenarios see accelerated implementation with "Claw"-based technologies.
Li Auto's StreamingClaw serves as an example of an embodied agent:
It leverages incremental streaming reasoning plus master-slave proxies. Instead of processing video as offline files, vehicles perceive and update states in real time similar to human cognition.
StreamingReasoning handles real-time perception and planning; StreamingMemory stores multimodal experience through hierarchical memory evolution; StreamingProactivity continuously monitors risks and triggers proactive actions.
It enables functions such as proactive alerts when drivers yawn or operate mobile phones while driving, proactive greetings upon vehicle access, and real-time recognition of objects held by passengers.
From the vehicle perspective, agent competition evolves from "standalone feature battles" toward "full scenario ecosystem experience battles". Agent services transform from discrete feature items on specification sheets into partners who proactively interact with users yet retain driving authority for human drivers.
Table of Contents
Definitions
1 Application Technology Types and Trends of AI Large Models
- 1.1 Classification of AI Large Models
- Definition and Characteristics of AI Large Models
- Classification of AI Large Models by Architecture
- Classification of AI Large Models by Task Type and Training Mode Classification of AI Large Models by Supervision Mode
- Classification of AI Large Models by Modality
- 1.2 Application Scenarios of AI Large Models
- Classification of Foundation Models
- Status Quo of Foundation Models in Automotive Industry
- Application Scenarios of Foundation Models in Automobiles
- Application Scenarios of AI Large Models in Cockpits
- Classification of Cockpit Agent Application Scenarios (1)
- Classification of Cockpit Agent Application Scenarios (2)
- Application Scenarios of AI Large Models in Intelligent Driving
- Application Scenarios of AI Large Models in Chassis Domain
- Application Scenarios of AI Large Models in Powertrain Domain
- Application Scenarios of AI Large Models in Research and Design
- Application Scenarios of AI Large Models in Manufacturing
- Application Scenarios of AI Large Models in Operation and Marketing
- 1.3 Status Quo of AI Large Model Technologies
- Perception Technology: Typical Classification
- Voice/Multimodal Interaction Technology: Typical Classification
- Perception Technology (Including Voice/Multimodal): Technical Path
- Reasoning Technology: Typical Classification
- Reasoning Technology: Technical Path
- Training and Deployment Technology
- Training/Distillation Technology: Technical Path
- Reinforcement Learning Technology
- Reinforcement Learning Technology: Technical Path
- 1.4 Trends of AI Large Model Technologies
- Current Layout of AI Large Model Technologies
- Perception Technology Trends Including Voice/Multimodal (1): Vision Route
- Perception Technology Trends Including Voice/Multimodal (2): Auditory Sense Route
- Perception Technology Trends Including Voice/Multimodal (3): Implementation Solution and Supporting Technology
- Reasoning Technology Trend (1): Intelligent Driving Scenarios
- Reasoning Technology Trend (2): Cockpit Scenarios
- Training and Distillation Technology Trend (1): Pre Training
- Training and Distillation Technology Trend (2): Knowledge Distillation Evolves Toward Intra Policy Distillation
- Reinforcement Learning Technology Trend: Implementation Solution and Grouped Technology
2 Large Model Technology Cases of Different Routes
- 2.1 Training and Optimization Technology
- Neural Architecture Search Driven by Large Language Model
- Lightweight Knowledge Distillation for Text to Image Large Model
- Knowledge Distillation for Lightweight Vision-Language Model (VLM)
- Case: Classification Model Training
- Case: Trajectory Model Training
- Case: Training-Decision-Planning Model for Reinforcement Learning
- Case: AI Generation Model Training (Text to Image)
- Case: Model Optimization and Testing
- Case: Perception Model Iteration
- Case: Training Optimization for Emotional Q&A Generation Model
- Large Model Tool Invocation
- 2.2 Reasoning Technology
- Reasoning Case: Xiaomi Auto's Latent Space Reasoning Improves Accuracy
- Efficient Reasoning of VLA Model
- Reasoning Acceleration for Multimodal Vision Large Model with MoE Architecture
- Cross Calendar Time Reasoning of Large Language Model
- Case: Model Reasoning Acceleration
- Case: Edge-Cloud Collaborative Reasoning
- Case: Reasoning Model Optimization
- 2.3 Edge-side Deployment Technology
- Case: Edge-side Model Reasoning Optimization
- 2.4 Perception Technology
- High Fidelity Virtual Simulation Supporting End-to-end Autonomous Driving
- Forward-looking Predictive World Modeling
- Case: Xpeng Realizes Forward-looking Reasoning
- Reasoning Acceleration for Few-Step Autoregressive Video World Model for Autonomous Driving
- Case: Visual Capability Supplement of Xpeng Auto's Physical AI System -TuringViT
- 4D Three-Dimensional Scene Occupancy Prediction
- Monocular Depth Estimation
- Image-Text Fine-grained Cross-modal Alignment and Image-Text Retrieval
- Multimodal Alignment
- Voice Synthesis for Two-Person Natural Dialogue
- Post-Training Optimization of Multimodal Model for Temporal Video Localization
- Time Extension Optimization for Visual Reasoning Testing of Multimodal Large Model
- In-vehicle and External Voice Interaction Modes
- Case: Multimodal Technology Optimizes Cockpit Function Operation
- Case: Multimodal Interaction Optimization
- Case: Emotion Recognition and Soothing
- Case: Multimodal Technology for Sentiment Analysis
- Case: Lip Reading Combined with Voice Interaction
- Case: Multimodal Technology for Child Monitoring
- Case: Imaging in Rainy Conditions
- Case: Multimodal Perception for Internet of Vehicles
- 2.5 Agent Interaction Technology
- Case: Multi-Agent Collaboration in Rescue Scenarios
- Case: Multi-Agent Collaboration for Automaker Operation
- Case: Establish Mechanism for Agent Task Execution
- 2.6 Reinforcement Learning Technology
- Reinforcement Learning Fine Tuning for Mixture of Experts (MoE) Large Model
- Exploration Capability Collapse of Large Reasoning Model (LRM)
- Case: Reinforcement Learning (PPO) Training System
- Case: Data Generation via Reinforcement Learning
- 2.7 Knowledge Graph Technology
- Knowledge Graph Case: Xiaomi Auto Improves RAG Accuracy
- 2.8 End-to-end Voice
- Case: Voice Model Optimization by Xiaomi Auto
- Case: Xiaomi Auto Launches ASR/TTS Single Model
- Case: Xiaomi Auto Launches Reasoning Voice Model for External Voice Scenarios
- Case: Xiaomi Auto's Voice Model Improves TTS Accuracy
- Intelligent Cockpit User Voice Command Reasoning Method
- Case: Voice Optimization via Reinforcement Learning
- Case: Voice Accuracy Improvement
- Case: Edge-Cloud Collaborative Voice Recognition
3 Large Model Technology Cases in Different Scenarios
- 3.1 World Model
- MiLA Multi-view Intensive-fidelity Long-term Video Generation World Model
- Safety Reinforcement Learning Optimization for Autonomous Driving Planning Model
- UniDrive WM Unified Autonomous Driving World Model
- Basic World Rendering Model for Autonomous Driving
- 3.2 3D Reconstruction
- Automatic Vehicle 3D Asset Reconstruction
- 3D Gaussian Splatting Reconstruction
- Vehicle High Precision 3D Reconstruction
- 3.3 Scene Generation
- Diffusion Model for Autonomous Driving Scene Generation
- Collision Scene Generation
- Pose-Driven Multi-Character Animation Generation
- 3.4 End-to-end Autonomous Driving
- Vision-only End-to-end Autonomous Driving Planning
- VLA End-to-end Autonomous Driving Model
- VLA Temporal Causal Reasoning and Interpretable Decision
- End-to-end Autonomous Driving
- Vision-only End-to-end Autonomous Driving
- Motion Risk Prediction
- End-to-end Vision-Action Autonomous Driving Model
- 3.5 Trajectory Prediction
- Automatic Parking Trajectory Prediction
- TPK Trusted Trajectory Prediction Model
- Autonomous Driving Trajectory Prediction
- Multimodal Future Trajectory Prediction of Surrounding Vehicles
- 3.6 Trajectory Planning
- Multimodal Trajectory Planning for Autonomous Driving
- Motion Trajectory Planning for Autonomous Driving
- Autonomous Driving Trajectory Planning in Complex Urban Environment
- Vehicle Path Planning
- Natural Language Communication and Collaboration between Autonomous Vehicles
- Autonomous Driving Trajectory Planning
- Case: Multi-Dimension Scoring Strategy for Path Planning
- Case: Multi-Agent Path Planning with Time Window
- Case: Parking Trajectory Optimization
- 3.7 Benchmark Test and Evaluation
- Evaluation on Traffic Rule Logical Reasoning Capability of Autonomous Driving Multimodal Large Model
- Autonomous Driving Multimodal Large Model Traffic
- Chain of Thought Credibility Evaluation
- Multi-Candidate Trajectory Evaluation for Autonomous Driving
- Personalized Adaptation of Explainable AI (xAI)
- 3.8 GUI Agent
- Standardized Evaluation for Omnimodal GUI Agent
- GUI Vision-Language Agent
- Multi-Stage Hybrid Reasoning for GUI Autonomous Agent
- 3.9 Proactive Interaction
- Agent Proactive Service-Oriented Vehicle Control
- Passenger Intelligent Decision Service
- Two-Way Cultivation between Vehicle AI and Users
- In/Out-cabin Proactive Perception Interaction
- HMI Based on Human-like Memory Architecture
- Case: Cockpit Proactive Service
- 3.10 Emotional Interaction
- Robot Emotional Interaction
- Intelligent Emotion Recognition
- Intelligent Cockpit Control Method Based on Emotion Recognition
- Self-Evolution Solution for Driver Emotion Recognition
- 3.11 Cross-Module Control
- Cockpit Control
- Multi-End Agent Collaborative Control
- Personalized Vehicle Control
- Voice Control Response of Intelligent Cockpit
- Vehicle Control
- Intelligent Vehicle Usage Suggestion Generation Method
- Fully Automatic Intelligent Adjustment Solution for Rearview Mirror
- Personalized Visual Intention Recognition Solution
- Case: Light Adjustment via Agent
- Case: Seat Adjustment by AI
- Case: Adaptive Seat Adjustment Optimized by AI
- Case: Seat Pressure Distribution Adjustment by AI
- Case: Adaptive Adjustment for Zero Gravity Seat
- Case: AI Applied to Audio Processing
- Case: Canopy Control by AI
- 3.12 Mobility Service
- Cockpit-Driving Integrated Multi-Agent Collaboration
- Multi-Agent Cooperation
- Refueling Recommendation Solution
- Intelligent Recommendation Method for Offline Performance
- Case: Cockpit Content Recommendation
- Case: Map Construction Optimization
- Case: Living Creature Repellent
- 3.13 Content Creation
- Voice-Driven Image Generation
- Automatic Picture Book Generation Method
- Case: Travel AI Vlog Generation
- 3.14 Personalized Customization
- Automatic Generation of Automotive HMI Theme
- Adaptive Automotive Center Console Interface Generation Solution
- Automotive Virtual Avatar Generation
- Case: Driving Style Adaptation
- 3.15 Research and Design
- Vehicle Function Development
- Vehicle Model Deployment Framework
- Case: Visual Inspection in Production
- 3.16 Marketing and Operation
- User Tag Generation
- Vehicle Computing Power Scheduling
- Customized Vehicle Upgrade Method Driven by User Portrait
- Case: Cloud Diagnosis
- 3.17 Powertrain Control and Optimization
- Case: Large Model Multi-Parameter Fusion Technology for Battery Thermal Runaway Warning
- Case: AI-enabled Dynamic Energy Management (1)
- Case: AI-enabled Dynamic Energy Management (2)
- Case: Engine Control via Agent Technology
- Case: Charging Strategy Decision
4 Application of Forward-looking AI Technologies
- Case: Large Model Technology for Marketing Evaluation Scoring
- Case: Driving Style Adaptation
- Case: Agent Technology for Complex Diagnostic Working Condition
- Case: AI Adaptive Multi-Source Power Coordination Technology
- Case: Intention Recognition Based on Knowledge Graph
- Case: Multi-Model Scheduling of Cockpit Services
- Case: Hallucination Handling
