取消
搜索历史
热搜词
原创
活动
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
AMD推出自家首款小语言AI模型“Llama-135m”,可减少RAM占用
来源:IT之家  作者: 佚名 2024-09-30 08:25:31
9月29日消息,AMD在Huggingface平台公布了自家首款“小语言模型”AMD-Llama-135m,该模型具有推测解码功能,拥有6700亿个token,采用Apache2.0开源许可。

9月29日消息,AMD在Huggingface平台公布了自家首款“小语言模型”AMD-Llama-135m,该模型具有推测解码功能,拥有6700亿个token,采用Apache2.0开源许可。

据介绍,这款模型主打“推测解码”能力,其基本原理是使用小型草稿模型生成一组候选token,然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个token,而不会影响性能,从而显著减少RAM占用,实现效率提升。

AMD表示,这款模型在四个AMDInstinctMI250节点训练了六天,其“编程专用版本”变体AMD-Llama-135m-code则额外耗费了四天时间进行微调。

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:乔帅臣
关键词:   大模型  AI  AMD 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

Baidu
map