从L2/ADAS到L4/L5等级的自动驾驶,虚拟模拟已经成为其中的关键一环。特别是对于「端对端」智驾(端到端自动驾驶)模型的训练、验证和安全测试,高置信度、高保真的模拟平台至关重要。 Keymotek(康谋科技)的aiSim就是一款前瞻性、技术领先的智驾模拟软件。aiSim的核心优势1. 对于端到端训练来说,可重复性更为关键,因为你可以在相同场景中重复训练/测试模型。3. 多传感器融合模拟aiSim支持复杂的传感器配置:20+摄像头、10+雷达、10+ LiDAR(激光雷达)。 最终自动驾驶仿真测试解决方案除了aiSim本身,Keymotek还构建了完整的端到端智驾模拟测试方案,涵盖从软件验证到硬件闭环、从场景重建到神经渲染的全流程。 在SiL模式下,可以把端对端自动驾驶模型(感知+决策+控制)直接接入模拟环境进行验证。
部署云端轻地图与双端POI融合架构 依托 WeRide One 通用技术平台(涵盖硬件、软件与云控平台),文远知行与腾讯深化战略合作,构建了智驾与地图的深度融合方案: L2+/L3轻地图技术集成: 腾讯地图以 SDK形式直接集成至文远自驾域,提供包含在线数据服务与离线数据的智驾地图数据。 一段式端到端辅助驾驶: 部署 WePilot AiDrive 解决方案,实现“感知-决策”一步到位,在复杂场景下兼顾安全、舒适与高效的拟人化体验。 输出全场景地图数据与底层云服务底座 在智驾系统的研发与运营全生命周期中,腾讯地图与云控技术提供了关键的底层确定性支撑: 开发与运维降本: 腾讯提供标准化的智驾地图数据包及云端版本差分服务,通过 SDK 集成方式大幅降低了智驾系统的跨模块对接成本,提升了地图数据查询与更新的开发效率。
开启高阶智驾全域覆盖新纪元智能驾驶行业面临核心战略困境:传统模块化模型在感知、规划与控制环节易产生信息偏差(类比于人传话造成失真),阻碍高性能驾驶系统高效落地。 元戎启行作为国内少数具备量产能力的厂商(材料来源:文本提及),强调端到端+无图组合才能加速全域覆盖(理想差距)。这一痛点表现为车企如何克服技术瓶颈以在全国范围内部署可靠方案。 构建端到端与无图的融合方案针对痛点,腾讯地图提供开放API平台,支持元戎启行根据需求训练模型。 合作推出的智能驾驶方案(源于文本)创新性地整合端到端模型(消除模块分隔)和无图技术(仅依赖导航地图的基础信息),形成高效解决方案(材料来源:腾讯云与元戎启行的联合服务)。 通过平台,腾讯降低系统开发成本(聚焦效率指标),巩固高阶智驾加速落地的行业领先地位(完整溯源合作方:腾讯智慧出行、腾讯云与元戎启行)。ds
追求全域智驾覆盖与“端到端”模型落地元戎启行致力于实现“全国都能开”的高阶智能驾驶,其核心战略在于构建“端到端”模型与“无图”方案。 技术整合需求:传统模块化模型存在“传话”般的信息损耗,元戎启行通过“端到端”模型将感知、规划与控制三大模块整合,消除了模块间界限,直接处理问题。 实现城市NOA首发与多车型量产通过双方合作,元戎启行成功将技术转化为可落地的商业价值,具体表现为:行业首发:共同推出首个不依赖高精度地图、应用端到端模型的智能驾驶方案。 通过提供离线API等底层能力,腾讯允许合作伙伴利用基础数据深度训练自有模型,从而打破了高阶智驾对高昂高精地图的依赖,助力车企快速实现低成本、广覆盖的量产智驾。ge
突破高阶智驾「模块化」与「高精地图」依赖瓶颈 行业向高阶智驾演进过程中,传统模块化模型存在信息传递误差(如同“传话游戏”),且过度依赖高精地图,导致落地范围受限。 为实现“全国都能开”的高阶智驾全域覆盖目标,智驾系统需要向将感知、规划与控制三大模块整合的“端到端”模型转变,并摆脱高精地图依赖,仅使用导航地图实现“无图”驾驶。 首发端到端无图方案并实现城区NOA量产 基于腾讯地图的系统训练,双方联合推出了业内首个不依赖高精度地图、应用端到端模型的智能驾驶方案。 依托开放平台与全国覆盖率构建智驾底层支撑 元戎启行作为国内少数具备高阶智驾量产能力的企业,其技术路线的成功落地验证了腾讯地图在自动驾驶产业链中的核心价值。 腾讯通过提供高覆盖率的全国地图数据与高度开放的平台架构,为智驾企业从“高精地图”向“无图端到端”转型提供了必要的数据质量和接口权限,有效降低了系统的开发阻力,加速了高阶智能驾驶从研发测试向终端消费市场的转化
但是随着AI大模型的迅速铺开,自动驾驶的技术路径开始飞速,从CNN、RNN、GAN到Transformer大模型转变,曾经主流的轻高精地图城区智驾,逐渐被“端对端”所取代。 从抢先吃螃蟹的特斯拉,到跟随而至的问界、理想、小鹏,端对端智驾正在像雨后春笋一般,迅速在智能车江湖迅速展开。 端对端成智驾新风口据公开信息透露,小米端到端全场景智能驾驶,于不久前开启定向内测;零跑B系列和C系列将于2025年实现自研端到端大模型智驾系统上车;蔚来计划明年1月推送用于智能驾驶的端到端大模型架构。 比如,小鹏汽车董事长何小鹏认为,端到端大模型将让自动辅助驾驶过渡,到完全自动驾驶的时间大幅缩短,2025年小鹏汽车就能在中国实现类L4智驾体验。 华为、小鹏们较量的新战场事实上,与前几年消费者普遍对国内智驾方案存疑不同,随着近两年国内智驾水平的上升,特别是端到端带来的新的算法和模型的应用,正在给消费者带来前所未有的全新体验,这就使得市面上汽车是否标配智驾
消除模块隔阂与高精地图依赖,实现高阶智驾全域覆盖 传统模块化智驾模型存在信息传递损耗问题,类比“人传话”机制,在感知、规划与控制多模块传递过程中易出现偏差。 为实现高阶智驾全域覆盖落地(“全国都能开”),行业需突破两大瓶颈:一是消除模块间的界限,整合感知、规划与控制流程;二是摆脱对高精地图的依赖,解决高精地图在数据质量、全国覆盖率及开放性上的限制。 元戎启行作为国内少数具备高阶智驾量产能力的企业,明确将“端到端+无图”视为达成这一目标的核心路径。 开放地图接口与端到端模型整合 双方合作推出首个不依赖高精度地图、应用端到端模型的智能驾驶方案。 功能落地: 依托“端到端”与“无图”技术组合,率先实现城区NOA(导航辅助驾驶)的落地。 “只有端到端+‘无图’,才能更快实现高阶智驾全域覆盖落地,全国都能开。 技术整合能力: 通过云端能力支持“端到端”模型的训练与迭代,助力合作伙伴在多款热销车型上实现量产,加速高阶智驾的商业闭环。
实验表明,KnowVal 兼容现有的端到端和 VLA 方法,在 nuScenes 数据集上实现了最低碰撞率,并在 Bench2Drive 基准测试中取得了最先进的性能表现。 KnowVal 系统框架: 开放三维感知与知识检索 相互引导的视觉 - 语言推理 相比于当前主流的端到端自动驾驶系统和视觉 - 语言 - 动作(VLA)系统,KnowVal 将视觉 - 语言范式升级为开放三维感知 该系统的各个模块之间保持了显式结果和隐式特征的共同传递,是可端到端微调的 3D 视觉 - 语言 - 动作框架。 实验结果 作者团队将 KnowVal 框架应用至 GenAD、HENet++ 与 SimLingo 三个基线模型,并在 nuScenes 开环端到端驾驶基准和 Bench2Drive 闭环端到端驾驶基准上进行了测试 实验结果说明,原本无法正确处理这些情况的端到端智驾模型,增加了 KnowVal 的知识检索与价值评估后,能够正确应对这些情形。
在国内,小鹏于去年 7 月就宣布了量产端到端大模型上车,并构建了从算力、算法到数据的全面体系,在端到端方向上一直保持着领先的身位。 小鹏汽车自动驾驶负责人李力耘表示,小鹏早在去年就开始布局 AI 基础设施,建成了国内汽车行业首个万卡智算集群,用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务,小鹏将这套从云到端的生产流程称为 端到端大模型虽然是各家车企的共识,但仍然面临着算力等瓶颈。当前主流的智驾系统,如运行在 2× 英伟达 Orin 芯片上的系统,大部分只能支持 0.5-1 亿参数,在部署时必须对学习到的知识进行取舍。 小鹏希望通过基座模型的能力让智驾系统从「模仿人类」进化到「超越人类」,最终能够处理全场景的自动驾驶问题,包括一些模型从未在训练数据中遇到的问题。 尽管只是非常早期的实车测试,全新基模已经展现出令人惊讶的智驾能力。例如模型在未训练的情况下就能适应香港的右舵驾驶环境。
突破传统规则束缚,自动驾驶向端到端AI通才系统演进 在智能驾驶行业的发展进程中,传统的辅助驾驶系统长期依赖“规则”驱动的弱专家系统(弱AI)。 基于该架构,元戎启行推出了两代端到端智驾系统: DeepRoute IO 1.0:实现真“无图”与端到端架构,支持全域自主决策规划,信息处理无减损。 联合多家主机厂,构建全球化研发布局 在商业落地与合作生态方面,元戎启行已与多家主机厂开展AI汽车量产合作,其智驾方案的适配车型矩阵已广泛涵盖SUV、MPV、越野等多款主力车型。 依托腾讯地图生态基建,演进物理世界通用人工智能(AGI) 在端到端系统的实际道路泛化中,元戎启行结合底层地图生态,其DeepRoute IO 1.0系统实现在腾讯地图覆盖范围内“到哪都能开”,达成高快、 基于技术领先性,元戎启行明确了“打造物理世界通用人工智能”的终极演进路线:通过2024年的车端端到端量产,到2025年实现RoadAGI,最终迈向AGI in Robotics——让AI系统从道路场景走向机器人领域
高阶智驾落地的核心瓶颈:模块冗余与高精地图依赖 传统模块化智能驾驶方案将感知、规划与控制割裂,信息传递存在偏差,导致决策效率低下。 整合端到端模型与无图技术构建新方案 腾讯云与元戎启行合作,推出整合“端到端”模型与“无图”技术的智能驾驶解决方案。 该方案将感知、规划与控制三大模块整合,消除信息传递偏差;并基于腾讯地图的导航地图实现高阶智驾,摆脱了对高精地图的依赖。 实现高阶智驾系统快速部署与全域覆盖 通过采用腾讯地图开放平台提供的离线API,元戎启行能够自主训练模型,仅利用导航地图提供的基础道路信息(如道路方向、基本形状)即可实现点到点全域驾驶。 这种开放性使元戎启行能够快速迭代并优化智驾算法,显著降低了因高精地图局限性带来的开发与部署成本,共同推动了高阶智驾技术的规模化应用。
康谋科技推出的aiSim端到端智驾仿真平台,凭借全球首个ISO 26262 ASIL-D认证和独创的aiSim AIR引擎,为自动驾驶安全落地提供数字化解决方案。 一、端到端智驾仿真平台技术标杆 全球认证标杆 aiSim是全球首个通过功能安全最高等级ISO 26262 ASIL-D认证的仿真平台,其确定性仿真引擎和物理级传感器模型已通过国际权威认证,为自动驾驶软件验证提供可信基准 神经辐射场生成逼真静态场景 •极端天气仿真:基于物理的光线追踪技术精准还原暴雨/暴雪/浓雾等20+种复杂气象条件 •动态场景重构:通过领域随机化技术生成无限接近真实的交通流数据,覆盖ODD全域测试需求 二、主流端到端仿真平台对比优势 引擎三大创新 确定性仿真内核:保证测试结果100%可复现,满足功能安全验证要求 混合渲染技术:融合光栅化与AI渲染,实现120fps实时帧率 数字资产工厂:内置百万级3D资产库,支持从OpenDRIVE到Unity
深度学习基础理论-CNN篇 “端到端”思想 深度学习的一个重要思想即“端到端”的学习方式(end-to-end manner),属表示学习(representation learning)的一种。 对此,深度学习则为我们提供了另一种范式(paradigm)即“端到端”学习方式,整个学习流程并不进行人为的子问题划分,而是完全交给深度学习模型直接学习从原始输入到期望输出的映射。 相比分治策略,“端到端”的学习方式具有协同增效的优势,有更大可能获得全局最优解。
今天凌晨,谷歌一年一度的TensorFlow开发者大会在加州举行。明明应该是一场软件盛会,却被生生开出了硬件发布会的味道。
从我的角度来看,所谓端到端测试,通俗理解就是从一端到另一端完整串联起来的测试方法。当然,由于是漫谈,我会尝试通过对几个与端到端测试有关的问题思考,来聊这个话题。什么是端到端测试? 至于端到端测试的步骤,与常规的测试流程并无太大区别,都是从需求分析开始,到线上交付结束。当然,端到端测试并非是特别新颖和独特的测试方法,早在16、17年,业内就有了类似的测试思路,如业务流、数据流。 测试难度:端到端测试的难度更大,需要考虑系统的复杂性和多变性。测试价值:端到端测试的价值更高,能够提高系统的质量和用户满意度。 端到端测试的优势与不足上面提到了端到端测试的难度相比于传统的测试方法更大,主要体现在业务和系统的复杂性会让端到端测试的实施成本随之水涨船高。 要设计测试用例,就要提前梳理对应的端到端业务流程和数据模型;要执行端到端测试用例,就需要确保该链路的通畅性;同时还要完善端到端的监控覆盖,以及保障测试执行环境的稳定性(这是最大的影响测试结果的因素)。
端到端语音识别 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? • Espnet: https://github.com/espnet/espnet • 实现了主流的端到端语音识别方法 • Speech-Transformer、LAS、CTC、RNN-T • 一个小缺点
一直以来,作为研发人员,我们关注的都是研发任务的端到端交付(从需求澄清到需求交付),很少有人会去关注需求本身是否给产品或者企业带来多少真正的价值(如激活了多少存量用户、吸引了多少新用户等等)。 今天我们跳出研发的角色,聊一聊需求的端到端交付管理。 上图直观的反映了当下交付需求的不确定性。往常,我们只需要根据合同或者行业成熟的解决方案,定期交付我们的产品,然后按合同收款即可。 敏捷中有一个名词叫MVP(Minimum Viable Product最小可行产品),如上图,用户的需求是需要一辆车,图一呢,就是从车轮子到车底盘到车架到完整的汽车的过程,在这个交付过程中呢我们的车都是不可用的 ,再来看第二幅图,从一个滑板到滑板车到自行车到摩托车再到汽车,在这个交付过程中的每个阶段,我们都有车可用。 因为客户的需求可能并不是一辆车,他也许只是想从A地到B地转一圈。下图其实就是一个经典的需求不对称。是不是很熟悉。
机器学习在端到端测试中的核心优势是能够利用高度复杂的产品分析数据来识别和预测用户需求。
1 初步认识 首先我们看下MBA智库里对端到端的解释: “端到端流程是从客户需求端出发,到满足客户需求端去,提供端到端服务,端到端的输入端是市场,输出端也是市场。 为了打通端到端交付流程,最大程度满足客户需求,公司正在全球范围内推行端到端,一时之间端到端成为当年华为热门词汇。 ? 还是任总讲话通俗易懂,端到端就是解决流程断头的问题,简单一句话点出了端到端要解决的问题关键。 3 如何解决 我们还是回到前面端到端的定义的第一句话,“端到端流程是从客户需求端出发,到满足客户需求端去”,这句话怎么理解? 有的小伙伴会问,端到端的流程建立起来了,但是大家都是平行部门,谁来负责整个端到端流程的推动?
端到端的深度学习 有些数据处理系统,或者机器学习系统需要多个阶段的处理。端到端的深度学习,做的是用单个深度神经网络(一般情况下)去替代多个阶段的处理过程。 ? 如上图,传统的语音识别大致包括四个步骤,而端到端的深度学习直接接收声音输入,然后完成听译过程。 它目前面临的其中一个挑战是,你可能需要大量的数据才能使它运行得很好。 而关于直接从图片映射到人的身份这个数据集可能只有很小的一部分数据,在该情况下端到端的深度学习不能取得更好的效果。 下面是2个正面的例子。 ? 端对端学习的优缺点 ? 优点: 让数据说话 不需要手动设计组件 缺点: 可能需要大量的数据 排除了可能是有用的手动设计组件 什么时候使用端到端的深度网络 ? 如图:一个正例,一个反例。 而人脸识别这个例子,人脸位置识别和身份识别两个组件就十分恰当,所以才能得到优于端到端学习的效果。 所以组件的合理性和完备性及其适用性也是我们去考虑要不要舍弃去进行端到端学习的一个考量。