取消
搜索历史
热搜词
原创
活动
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
原生多模态大模型车端部署首发:80 亿参数、每秒 40 Tokens
来源:IT之家  作者: 佚名 2024-07-19 11:37:44
7月19日消息,商汤科技联合创始人、首席科学家王晓刚17日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧8B模型首包延迟在300毫秒以内,推理速度40Tokens/秒,覆盖主流算力平台。

7月19日消息,商汤科技联合创始人、首席科学家王晓刚17日宣布,商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧8B模型首包延迟在300毫秒以内,推理速度40Tokens/秒,覆盖主流算力平台。

商汤绝影为多模态大模型打造计算引擎“HyperPPL”,目前扩展并支持主流车载计算硬件,兼容多种主流操作系统,适配多个车载芯片的部署平台。

商汤绝影称HyperPPL针对车载多人场景进行优化,使得车内多人并发情况下,车端多模态大模型的模型推理效率相比单人没有明显降低。

商汤绝影此前表示,深圳首条自动驾驶公交线路采用其车辆与技术,所有驾驶操作都无需人员介入。

明年上千TOPS算力的车载芯片(英伟达Thor)就会问世。基于更高算力的计算平台,商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低,推理速度进一步提高。

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:乔帅臣
关键词:   大模型  算力  自动驾驶 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

Baidu
map