推广 热搜: 京东  联通  iphone11  摄像头  企业存储  iPhone  XSKY  京东智能采购  网络安全  自动驾驶 

Falcon 40B:阿联酋首个开源大型语言模型引领潮流

   日期:2023-06-10     作者:itcg    浏览:581    我要评论    

IT采购网6月9日消息,亚马逊云科技近日宣布,阿布扎比技术创新研究所(TII)开源的大型语言模型Falcon 40B和Falcon7B已于6月7日起在其机器学习中心Amazon SageMaker JumpStart中可使用。

Amazon SageMakerJumpStart是一个提供预训练模型、内置算法和解决方案模板的平台,旨在帮助用户快速进行机器学习,实现文章总结、图片生成等任务。

据IT采购网了解,用户只需在SageMaker Studio中简单操作,即可轻松部署和使用Falcon模型,或者通过SageMakerPython SDK进行编程方式的应用。

此次发布意味着,不论是何行业、何规模的企业或开发者,都可以快速、轻松地部署Falcon40B模型,并进行个性化定制以满足特定需求,如翻译、问答、信息总结、图像识别等应用程序。对于生成式AI行业的发展来说,这无疑具有重要意义。

Falcon40B是阿联酋的首个大型人工智能模型,由阿布扎比技术创新研究所(TII)开发并推出。该模型拥有400亿参数,在高质量token上进行了1万亿次的训练,性能超越了扎克伯格旗下的650亿参数LLaMA模型以及其他知名开源模型,成为HuggingFace开源大语言模型全球榜的领军者。

Falcon 40B不仅在性能上表现出色,而且在训练资源的利用效率上也非常高。相较于GPT-3模型,Falcon40B只使用了75%的训练预算,却能显著超越GPT-3的性能。此外,在推理阶段的计算量仅需GPT-3的1/5。

值得一提的是,Falcon 40B采用开源Apache2.0许可证,广泛允许免费使用(商业化开源收入超过100万美元时,需缴纳10%的授权费用),为广大AI应用开发者提供了便利。开发者可在任何地方下载、检查和部署模型权重,构建满足用户需求的定制化AI工具。

根据了解,TII利用亚马逊云科技的SageMaker进行Falcon大语言模型的训练工作。SageMaker是一个托管API集合,为开发、训练、优化和托管机器学习模型提供支持,包括大型语言模型。TII使用SageMaker TrainingAPI提供的瞬态集群来训练Falcon大语言模型,最多支持48个ml.p4d.24xlarge实例(384个英伟达A100 GPU)。

目前,TII正在训练下一代Falcon大语言模型,并计划将训练扩展到3136个A100 GPU(392个ml.p4d实例)。

除了Falcon,其他知名大型语言模型如Stability AI、AI21 Labs和LGAI也使用了亚马逊云科技的SageMaker来处理其大语言模型工作负载。

通过Amazon SageMaker JumpStart,开发者现在可以快速轻松地部署自己的Falcon40B模型,并进行个性化定制,加速生成式AI应用产品的落地。

总而言之,亚马逊云科技推出的Amazon SageMaker JumpStart为开发者提供了便利,使各行业客户都能够快速应用Falcon40B模型,并根据自身需求进行定制化开发。随着各种大型语言模型的不断涌现,生成式AI的发展前景将更加广阔。

 
反对 0举报 0 收藏 0 打赏 0评论 0
 
更多>同类资讯
0相关评论

头条阅读
推荐图文
相关资讯
网站首页  |  物流配送  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报  |  京ICP备14047533号-2
Processed in 0.140 second(s), 11 queries, Memory 1.49 M