DJI Automotiveの自動運転事業の分析（2024年）

DJI Automotiveの調査：独自の技術ルートでNOA市場をリードする。

2016年、DJI Automotiveの社内技術者は、ステレオセンサー+ビジョンフュージョン測位システム一式を自動車に搭載し、走行に成功しました。DJI Automotiveがドローン分野で蓄積してきた知覚、測位、判断、計画などの技術は、インテリジェントドライビング分野への移転に成功しました。

DJI Automotiveの創業者と経営陣のほぼ全員が、DJIのドローンプロジェクト出身です。DJI Automotiveの設立当初のメンバーは10人程度で、主に当時のDJIのFlight Control DepartmentとVision Departmentから一時的に移籍した代表者で構成されていました。

DJIはインテリジェントロボットの研究に特化した企業であり、ドローンと自動運転車はインテリジェントロボットの異なる形態であると主張しています。DJIは独自の技術ルートにより、NOAの量産と利用でリードしています。DJI Automotiveの予測では、2025年に約200万台の乗用車がDJI Automotiveのインテリジェントドライビングシステムを搭載して走行します。

ステレオビジョンセンサーの継続的な最適化

DJI Automotiveのコア技術の1つはステレオビジョンです。GPSなどの他のセンサーが故障しても、ステレオカメラの視覚認識に基づいて、ドローンはホバリング、障害物回避、速度測定などができます。

ステレオビジョン技術を自動運転車に応用した後、DJI Automotiveは、異なる自動運転レベルの要件に応じてステレオビジョンセンサーを最適化し続けています。

2023年、NOAのニーズを満たすため、DJI Automotiveは第2世代の慣性ナビゲーションステレオビジョンシステムを発売しました。このシステムは、カスタマイズされた光学偏光板を追加することで全体的なレンズフードをなくし、より優れた自己較正アルゴリズムを使用してリジッドコネクティングロッドをキャンセルします。これにより、センサーの取り付けが容易になり、2台のカメラ間の距離は180mmから400mmまでフレキシブルに設定できます。リジッドコネクティングロッドの廃止は、ステレオビジョンセンサーの大きな進歩であり、ステレオカメラをより多くのシナリオに利用することを可能にします。

L3自動運転のニーズに基づき、DJI Automotiveは2024年、LiDAR、ステレオセンサー、長焦点モノカメラ、慣性ナビゲーションを組み合わせたLiDARビジョンシステムを発表しました。現在の市場で一般的な「LiDAR+フロントカメラ」ソリューションと比較すると、このシステムは100％の性能を可能にし、すべての機能を置き換える一方で、コストを30％～40％削減することができます。統合されたデザインのおかげで、「LiDAR-vision」ソリューションはキャビン全体に組み込むこともでき、全体的な搭載コストを削減することができます。

「LiDAR-vision」ソリューションは、車両の縦方向制御の安全性をさらに高めることができます。LiDARの正確な測距能力と照明に対する堅牢性により、「LiDAR-vision」ソリューションは、近距離でのカットイン、都市部での複雑な交通流、交通弱者（VRU）への対応、任意の障害物回避、迂回、夜間のVRUなどのシナリオにおいて、インテリジェントドライビングシステムの安全性と快適性をさらに向上させることができます。

データ取得とシミュレーションにドローン技術を使用

3つの自動運転データ取得方法のうち、車両による取得がもっとも一般的ですが、有効データの割合が低く、周辺車両の実挙動に干渉しやすく、センサーの死角にあるデータを記録できません。もう1つの方法はフィールドでの取得ですが、柔軟性が低く、信頼性が不十分です。

RWTHアーヘン大学の自動車技術研究機関であるfkaの綿密な調査と、DJI Automotiveの過去2年間の実践によると、ドローンによる航空測量データ取得には明らかな利点があります。ドローンは、より豊富で完全なシナリオデータを収集することができ、対象車両の死角にある全車両の空撮客観写真を障害物なしで直接収集することができ、より現実的で干渉のない人間の運転行動を反映し、特定の道路区間や特殊な運転シナリオ、例えばオン/オフランプや頻繁なカットインなどにおいて、より効率的にデータを収集することができます。

当レポートでは、DJI Automotiveの自動運転事業について調査分析し、同社のコア技術やソリューション、開発動向などの情報を提供しています。

目次

第1章 概要

• プロファイル
• チーム
• 開発の歴史
• オールシナリオインテリジェントドライビングユーザージャーニーマップ
• 製品レイアウト（1）
• 製品レイアウト（2）
• 製品レイアウト（3）
• 高度インテリジェントドライビングの進化動向に関するDJIの判断

第2章 コア技術

• 慣性航法ステレオビジョン：第2世代まで開発
• 立体視認識技術（1）
• 立体視認識技術（2）
• ビジョンセンサー間パラメーター比較
• LiDAR-visionシステムと仕様
• インテリジェントドライビングドメインコントローラー
• ドメインコントローラーミドルウェア
• Lingxi Intelligent Driving System 2.0
• BEV認識技術

第3章 インテリジェントドライビングソリューション

• インテリジェントドライビングソリューション
• ソリューション1
• ソリューション2
• ソリューション3
• ソリューション4
• ソリューション5
• ソリューション6
• ソリューションの比較：パーキング機能とセンサー構成
• ソリューションの比較：ドライビング機能とセンサー構成
• Lingxi Intelligent Drivingの技術ルート

第4章 DJI Automotiveのインテリジェントドライビングソリューションの量産と応用

• 応用事例1
• 応用事例2
• 応用事例3
• Baojun Yunduo向けLingxi Intelligent Driving 2.0
• 応用事例4
• 応用事例5

第5章 DJI AutomotiveがNOAシステムを開発する方法

• DJI AutomotiveのNOAソリューションのイントロダクション
• グローバルビジョンの認識ルートを選択する方法
• 環境認識と予測能力を確立する方法
• 高精度ローカル姿勢推定機能を確立する方法
• DJI AutomotiveのNOAを実現するアルゴリズムとモデル
• DJI AutomotiveがNOAを実現する方法（1）
• DJI AutomotiveがNOAを実現する方法（2）
• DJI AutomotiveがNOAを実現する方法（3）
• DJI AutomotiveがNOAを実現する方法（4）
• DJI AutomotiveがNOAを実現する方法（5）
• DJI AutomotiveがNOAを実現する方法（6）
• DJI AutomotiveがNOAを実現する方法（7）
• DJI AutomotiveがNOAを実現する方法（8）
• DJI AutomotiveがNOAを実現する方法（9）
• DJI AutomotiveがNOAを実現する方法（10）
• DJI AutomotiveがNOAを実現する方法（11）
• 信頼性を確保する方法

Research on DJI Automotive: lead the NOA market by virtue of unique technology route.

In 2016, DJI Automotive's internal technicians installed a set of stereo sensors + vision fusion positioning system into a car and made it run successfully. DJI Automotive's technologies such as perception, positioning, decision and planning accumulated in the drone field have been successfully transferred to intelligent driving field.

Almost all founding and management team members of DJI Automotive came from DJI's drone projects. DJI Automotive had only about 10 members at the beginning, mainly composed of representatives temporarily transferred from the Flight Control Department and Vision Department of DJI at that time.

DJI claims that it is a company specializing in the research of intelligent robots, and drones and autonomous vehicles are different forms of intelligent robots. Relying on its unique technology route, DJI holds lead in the mass production and application of NOA. By DJI Automotive's estimates, around 2 million passenger cars taking to road will be equipped with DJI Automotive's intelligent driving systems in 2025.

Continuously optimize stereo vision sensors

One of the core technologies of DJI Automotive is stereo vision. Even when other sensors like GPS fail, based on visual perception of the stereo camera, drones can still enable hovering, obstacle avoidance, and speed measurement among others.

After applying stereo vision technology to autonomous vehicles, DJI Automotive continues to optimize stereo vision sensors according to requirements of different autonomous driving levels.

In 2023, to meet the needs of NOA, DJI Automotive launched the second-generation inertial navigation stereo vision system, which eliminates the overall lens hood by adding a customized optical polarizer and cancels the rigid connecting rod using a better self-calibration algorithm. This makes it easier to install the sensor, and the distance between two cameras can be flexibly configured from 180 mm to 400 mm. Elimination of the rigid connecting rod is a huge progress in stereo vision sensors, allowing stereo cameras to be applied in much more scenarios.

Based on the needs of L3 autonomous driving, in 2024 DJI Automotive introduced a LiDAR-vision system, which combines LiDAR, stereo sensor, long-focus mono camera and inertial navigation. Compared with the currently common "LiDAR + front camera" solution on the market, the system can reduce the costs by 30% to 40%, while enabling 100% performance and replacing all the functions. Thanks to the integrated design, the "LiDAR-vision" solution can also be built into the cabin as a whole, reducing the overall installation costs.

The "LiDAR-vision" solution can further enhance safety in vehicle longitudinal control. Thanks to LiDAR's precise ranging capabilities and robustness to illumination, the "LiDAR-vision" solution can further improve safety and comfort of intelligent driving system in such scenarios as cut-in at close range, complex traffic flow in urban areas, response to vulnerable road users (VRU), arbitrary obstacle avoidance, detour, and VRU at night.

Use drone technologies for data acquisition and simulation

Among the three autonomous driving data acquisition methods, acquisition by vehicles is the most common, but the proportion of effective data is low, and it is easy to interfere with real behaviors of surrounding vehicles, and it is unable to record data in blind spots of sensors. Another method is acquisition in field, with low flexibility and insufficient reliability, a result of angle skew and low image accuracy.

According to the in-depth research by fka, the automotive technology research institute of RWTH Aachen University, and DJI Automotive's own practices in the past two years, aerial survey data acquisition by drones has obvious advantages. Drones can collect richer and more complete scenario data, and can directly collect aerial objective shots of all vehicles in blind spots of the target vehicle without obstruction, reflecting more realistic and interference-free human driving behaviors, and more efficiently collecting data in specific road sections and special driving scenarios, for example, on/off-ramps and frequent cut-ins.

Why does the implementation of vision-only autonomous driving suddenly accelerate?

Why has the pace of implementing vision-only technology solutions suddenly quicken since 2024? The answer is foundation models. The research shows that a truly autonomous driving system needs at least about 17 billion kilometers of road verification before being production-ready. The reason is that even if the existing technology can handle more than 95% of common driving scenarios, problems may still occur in the remaining 5% corner cases.

Generally, learning a new corner case requires collecting more than 10,000 samples, and the entire cycle is more than 2 weeks. Even if a team has 100 autonomous vehicles conducting road tests 24 hours a day, the time required to accumulate data is measured in "hundred years" - which is obviously unrealistic.

Foundation models are used to quickly restore real scenarios and generate corner cases in various complex scenarios for model training. Foundation models (such as Pangu model) can shorten the closed-loop cycle of autonomous driving corner cases from more than two weeks to two days.

Currently, DJI Automotive, Baidu, PhiGent Robotics, GAC, Tesla and Megvii among others have launched their vision-only autonomous driving solutions. This weekly report summarizes and analyzes vision-only autonomous driving routes.

Table of Contents

1 Overview

• 1.1 Profile
• 1.2 Team
• 1.3 Development History
• 1.4 All-scenario Intelligent Driving User Journey Map
• 1.5 Products Layout (1)
• 1.6 Products Layout (2)
• 1.7 Products Layout (3)
• 1.8 DJI's Judgment on Evolution Trends of High-level Intelligent Driving

2 Core Technologies

• 2.1 Inertial Navigation Stereo Vision: Developed to the 2nd Generation
• 2.2 Stereo Vision Perception Technology (1)
• 2.3 Stereo Vision Perception Technology (2)
• 2.4 Parameter Comparison between Vision Sensors
• 2.5 LiDAR-vision System and Specifications
• 2.6 Intelligent Driving Domain Controller
• 2.7 Domain Controller Middleware
• 2.8 Lingxi Intelligent Driving System 2.0
• 2.9 BEV Perception Technology

3 Intelligent Driving Solutions

• 3.1 Intelligent Driving Solutions
• 3.2 Solution 1
• 3.3 Solution 2
• 3.4 Solution 3
• 3.5 Solution 4
• 3.6 Solution 5
• 3.7 Solution 6
• 3.8 Solution Comparison: Parking Functions and Sensor Configurations
• 3.9 Solution Comparison: Driving Functions and Sensor Configurations
• 3.10 Lingxi Intelligent Driving Technology Route

4 Mass Production and Application of DJI Automotive's Intelligent Driving Solutions

• 4.1 Application Case 1
• 4.2 Application Case 2
• 4.3 Application Case 3
• 4.4 Lingxi Intelligent Driving 2.0 for Baojun Yunduo
• 4.5 Application Case 4
• 4.6 Application Case 5

5 How Dose DJI Automotive Develop NOA System?

• 5.1 Introduction to DJI Automotive's NOA Solution
• 5.2 How to Choose Perception Routes for Global Vision
• 5.3 How to Establish Environment Perception and Prediction Capabilities
• 5.4 How to Establish High-precision Local Pose Estimation Capabilities
• 5.5 DJI Automotive's Algorithms and Models to Enable NOA
• 5.6 How DJI Automotive Realizes NOA (1)
• 5.7 How DJI Automotive Realizes NOA (2)
• 5.8 How DJI Automotive Realizes NOA (3)
• 5.9 How DJI Automotive Realizes NOA (4)
• 5.10 How DJI Automotive Realizes NOA (5)
• 5.11 How DJI Automotive Realizes NOA (6)
• 5.12 How DJI Automotive Realizes NOA (7)
• 5.13 How DJI Automotive Realizes NOA (8)
• 5.14 How DJI Automotive Realizes NOA (9)
• 5.15 How DJI Automotive Realizes NOA (10)
• 5.16 How DJI Automotive Realizes NOA (11)
• 5.17 How to Ensure Reliability