当前位置：首页 >文章发布 > 正文
原生多模态大模型车端部署首发：80 亿参数、每秒 40 Tokens
来源：IT之家 作者：
佚名
2024-07-19 11:37:44
7月19日消息，商汤科技联合创始人、首席科学家王晓刚17日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧8B模型首包延迟在300毫秒以内，推理速度40Tokens/秒，覆盖主流算力平台。
7月19日消息，商汤科技联合创始人、首席科学家王晓刚17日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧8B模型首包延迟在300毫秒以内，推理速度40Tokens/秒，覆盖主流算力平台。
商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。
商汤绝影称HyperPPL针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。
商汤绝影此前表示，深圳首条自动驾驶公交线路采用其车辆与技术，所有驾驶操作都无需人员介入。
明年上千TOPS算力的车载芯片(英伟达Thor)就会问世。基于更高算力的计算平台，商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。
免责声明：本文系网络转载，版权归原作者所有。本文所用图片、文字如涉及作品版权问题，请联系删除！本文内容为原作者观点，并不代表本网站观点。
编辑：乔帅臣
施工企业的数字化是怎么被玩废的
