当前所在位置:首页 > 十大正规实盘配资平台

联想车计算发布智驾平台大模型中间件 Ultra Boost

6911

2024-06-07 【 字体:

(原标题:联想车计算发布智驾平台大模型中间件 Ultra Boost)

日前,在NVIDIA GTC 2024上,联想车计算发布了全新的支持包括NVIDIA DRIVE等平台的大模型中间件Ultra Boost,包括AI模型引擎及AI编译器等工具链,旨在助力大模型在车端部署,结合多模态的人机交互技术,赋能车内智能拓展更多应用场景。在CES 2024上联想首次展示了基于汽车场景大模型的座舱智能助理,在此次GTC2024上,车计算团队利用大模型中间件 Ultra Boost快速地将该智能助理应用部署至NVIDIA DRIVE平台。

联想车计算智驾平台大模型中间件 Ultra Boost架构图

大模型生态快速崛起,AI应用需求日益复杂,模型部署面临巨大机遇与挑战。与此同时汽车AI芯片的迭代也需要兼顾不同应用需求。芯片架构需要适配AI算法模型以及增加算法模型引擎。为了提高 AI 计算效率,特别是针对基于 transformer 的算法,下一代 NVIDIA DRIVE Thor 平台采用 Blackwell 架构,可实现生成式 AI 功能,该系统在 NVIDIA 最先进的数据中心 AI 解决方案上进行了训练。

与此同时,为了进一步发挥AI芯片平台的性能,加速客户的AI开发和部署效率,联想推出了AI模型引擎Ultra Boost:针对NVIDIA DRIVE平台,该引擎将提供一套软硬一体的端到端AI性能优化方案。在应用层,提供场景自适应的建模优化工具、硬件感知的模型压缩工具,可在极低的精度损失范围内大幅降低模型计算量;在调度层,提供专用于自动驾驶的调度中间件,该中间件基于自研的静态+动态调度算法打造,在保证实时性的同时提升了系统的执行效率;在执行层,该引擎提供多种算法加速库,涵盖AI大模型加速、多媒体任务流加速、激光雷达点云加速,应用场景可覆盖智能座舱和自动驾驶;在编译层,联想车计算自研的AI编译器SpeedWise,可针对普通模型和大模型,以及不同目标硬件完成编译和优化。

在此基础上,联想车计算推出的AI模型引擎,基于英伟达AI芯片的多项技术,包括Continuous Batching来提升推理吞吐率,降低推理时延;面向硬件Graphic Rewriting技术来优化大模型网络结构的同时,还基于联想车计算自研的大模型低比特量化技术来加速大模型推理,并且建立了面向NVIDIA DRIVE平台的自动调优机制实现了全自动的模型优化,快速且成功的将联想自己的智能助手应用部署。

联想车计算此次发布的面向智能驾驶的AI中间件 Ultra Boost,支持业界多个主要大模型的自动化部署和加速,将助力客户缩短开发周期,打造性能卓越,成本更优的智能驾驶解决方案。

在NVIDIA GTC 2024上,联想车计算展示了多款自动驾驶域控平台。

阅读全文
相关推荐

中航西飞:7月24日接受机构调研,长江证券、招商证券等多家机构参与

中航西飞:7月24日接受机构调研,长江证券、招商证券等多家机构参与
证券之星消息,2024年7月24日中航西飞(000768)发布公告称公司于202...

九源基因IPO招股书失效:公司专注于四大快速增长中的治疗领域

九源基因IPO招股书失效:公司专注于四大快速增长中的治疗领域
杭州九源基因工程股份有限公司于1月22日递交的港股招股书满6个月,于7月22日失...

全固态电池,再等500天?

全固态电池,再等500天?
上汽集团再次为全固态电池投产按下倒计时。在7月29日召开的2024年第一次临时股...

重视资源整合、不求注册只要返投,政府引导基金再谋变!

重视资源整合、不求注册只要返投,政府引导基金再谋变!
政府引导基金再谋变。近期,浙江省专精特新(温州)母基金发布了公开遴选首批子基金管...

丰巢回应骨灰盒放一年只要55块钱:每周都会清理滞留件

丰巢回应骨灰盒放一年只要55块钱:每周都会清理滞留件
丰巢客服在接受采访时表示,每个星期都会有快递员去清理快递柜里的滞留件。快科技7月...

港股异动 华南职业教育(06913)涨近15% 政策推动职业教育提质增效 行业基本面向上驱动

港股异动  华南职业教育(06913)涨近15% 政策推动职业教育提质增效 行业基本面向上驱动
华南职业教育(06913)涨近15%,截至发稿,涨14.75%,报0.35港元。...

大和:予百济神州(06160)“买入”评级 目标价升至162港元

大和:予百济神州(06160)“买入”评级 目标价升至162港元
大和发布研究报告称,受惠于Brukinsa的强劲销售,百济神州(06160)第二...

美媒评2024最值得购买的手机!小米拿下最佳拍照手机

美媒评2024最值得购买的手机!小米拿下最佳拍照手机
2024年,现在最值得购买的手机是哪款?你应该购买最新的iPhone 15 Pr...

比亚迪秦L DM-i上市首月销量突破2万辆 将加速提升产能

比亚迪秦L DM-i上市首月销量突破2万辆 将加速提升产能
易车讯 7月3日,比亚迪王朝网销售事业部总经理路天在设计媒体上宣布,比亚迪秦L上...

德恩精工(300780)9月3日主力资金净买入160127万元

德恩精工(300780)9月3日主力资金净买入160127万元
证券之星消息,截至2024年9月3日收盘,德恩精工(300780)报收于13.8...