数据是自动驾驶技术的基石。一个高质量的数据集往往能决定一个算法项目的成败。本文系统梳理了智能驾驶领域最具影响力的开源数据集，涵盖感知、预测、规划三大核心任务，帮助研究者和开发者快速找到适合自己的数据资源。
一、综合感知数据集
1. Waymo Open Dataset
Waymo 于 2019 年开源的数据集，至今仍是自动驾驶感知领域的标杆。2025 年最新版本包含超过 2000 段驾驶场景，每段 20 秒，覆盖白天/夜晚/雨天/雪天等多种条件。标注涵盖 3D 边界框、2D 边界框、车道线和行人关键点。数据量约 1.5 TB，提供 TensorFlow 和 PyTorch 两种数据加载器。推荐指数：★★★★★
2. nuScenes
由 Aptiv（现 Motional）提供的 nuScenes 以其多模态传感器配置闻名——6 个摄像头、5 个毫米波雷达、1 个激光雷达和 IMU/GPS 同时采集。共 1000 个驾驶场景，每个 20 秒，标注了 23 类物体的 3D 边界框。其独特优势在于同时提供波士顿和新加坡两个城市的道路数据，涵盖不同的交通文化。推荐指数：★★★★★
3. KITTI
尽管发布已有十余年，KITTI 仍然是自动驾驶研究中使用最广泛的数据集之一。由卡尔斯鲁厄理工学院和丰田研究院联合发布，包含立体图像、光流、视觉里程计、3D 目标检测和语义分割等多个 benchmark。数据量适中（约 180 GB），非常适合快速验证算法思路。推荐指数：★★★★☆
二、语义分割与全景分割
4. Cityscapes
专注于城市街景语义分割的经典数据集。包含 5000 张精细标注图像（30 类）和 20000 张粗糙标注图像。图像分辨率为 2048×1024，采集自德国 50 个城市的春夏秋三季。Cityscapes 的评估服务器至今仍是语义分割算法比拼的重要战场。推荐指数：★★★★★
5. BDD100K
伯克利大学发布的 BDD100K 是目前规模最大的自动驾驶视频数据集之一。包含 100K 段视频，每段约 40 秒，覆盖纽约、旧金山等地的多样化驾驶场景。标注了图像级别的天气/时间/场景属性，以及 10 类目标的 2D 边界框。对于域适应和多任务学习研究极为有价值。推荐指数：★★★★☆
三、路径规划与决策
6. nuPlan
nuScenes 团队的后续力作，专为自动驾驶规划任务设计。包含超过 1500 小时的驾驶数据，覆盖 4 个大陆、17 个城市。提供完整的规划评估框架，支持基于规则的规划器和学习型规划器之间的公平对比。2025 年新增了交互式模拟功能，支持多智能体规划场景。推荐指数：★★★★★
7. Lyft Level 5 Prediction Dataset
Lyft 开源的预测数据集专注于交通参与者轨迹预测。包含超 1000 小时的原始驾驶数据，标注了车辆、自行车、行人等动目标的精确轨迹。其独特的"场景"数据结构将每个预测样本组织为包含地图、交通灯状态和邻居轨迹的完整上下文，极大方便了研究者的使用。推荐指数：★★★★☆
四、多模态与语言驱动
8. NuScenes-QA
将 VQA（视觉问答）引入自动驾驶领域的创新数据集。基于 nuScenes 的图像和点云数据，构建了超过 4 万个问答对，涵盖场景理解、物体属性、空间关系和计数推理。对于探索 LLM 与自动驾驶结合的研究方向极具参考价值。推荐指数：★★★☆☆
9. DriveLM
DriveLM 是大语言模型驱动自动驾驶的前沿数据集，提供了"感知-预测-规划"链式推理的标注。每个驾驶场景包含多轮推理问答，涵盖"我看到什么→下一步会发生什么→我该怎么做"的完整认知链路。2025 年开源后迅速成为自动驾驶+LLM 交叉研究的热门基线。推荐指数：★★★★☆
10. H3D (Honda 3D Dataset)
本田汽车发布的 3D 目标检测数据集，其独特之处在于标注了 3D 朝向角（yaw/pitch/roll），对于需要精确姿态估计的应用场景不可或缺。包含 160 个密集交通场景，在 4 个美国城市采集。虽然在规模上不占优势，但标注质量极高。推荐指数：★★★☆☆
使用建议
对于刚进入自动驾驶领域的研究者，建议从 KITTI 入门（数据量小、社区成熟），然后过渡到 Waymo 或 nuScenes 做深度实验。如果关注规划任务，nuPlan 是当前的不二之选。而探索 LLM 方向可以重点关注 DriveLM 和 NuScenes-QA。注意，部分数据集（如 Waymo）需要申请下载许可，请遵守各自的使用协议。