AI大模型驱动高算力需求
数据、算力及模型是人工智能发展的三要素。以GPT系列为例:(1)数据端:自OpenAI于2018年发布GPT-1,到2020年的GPT-3,GPT模型参数数量和训练数据量实现指数型增长。参数数量从GPT-1的1.17亿增长到GPT-3的 1750亿,训练数据量从5GB增长到的45TB;(2)模型端:ChatGPT在以往模型的基础上,在语料库、计算能力、预训练、自我学习能力等方面有了明显提升,Transformer架构突破了人工标注数据集的不足, 实现与人类更顺畅的交流;(3)算力端:根据OpenAl发布的《Language Models are Few-Shot Learners》,训练13亿参数的GPT-3 XL模型训练一次消耗的算力约为27.5 PFlop/s-dav,训练1750亿参数的完整GPT-3模型则会消耗算力3640 PFlop/s-dav(以一万亿次每秒速度计算,需要3640天完成)。
艾猫星球IMT算力系统开发,艾猫星球IMT算力分销模式系统开发,艾猫星球IMT算力下单app系统开发,艾猫星球IMT算力返佣模式开发,艾猫星球IMT算力分销系统平台开发,艾猫星球IMT算力平台定制开发,艾猫星球IMT算力分销模式介绍,艾猫星球IMT算力平台开发。
在人工智能发展的三要素中,数据与算法都离不开算力的支撑。随着AI算法突飞猛 进的发展,越来越多的模型训练需要巨量算力支撑才能快速有效实施,数据量的不断增加也要求算力配套进化。如此看来,算力成为AI突破的关键因素。 AI大模型的算力需求主要来自于预训练、日常运营和模型微调。(1)预训练:在完成完整训练之前,搭建一个网络模型完成特定任务,在训练网络过程中不断调整参数,直至网络损失和运行性能达到预期目标,此时可以将训练模型的参数保存,用于之后执行类似任务。根据中国信通院数据,ChatGPT基于GPT3.5系列模型,模型参数规模据推测达十亿级别,参照参数规模相近的GPT-3 XL模型, 则ChatGPT完整一次预训练消耗算力约为27.5PFlop/s-dav。
(2)日常运营:满足用户日常使用数据处理需求。根据Similarweb的数据,23年1月份ChatGPT月活约6.16亿,跳出率13.28%每次访问页数5.85页,假设每页平均200token。假设:模型的FLlops利用率为21.3%与训练期间的GPT-3保持一致;完整参数模型较GPT-3上升至2500亿;以FLOPs为指标,SOTA大型语言在在推理过程中每个token的计算成本约为2N。根据以上数据及假设,每月日常运营消耗算力约为6.16亿*2*(1-13.28%)*5.85*200*2500亿/21.3%=14672PFlop/s-day。(3)模型微调:执行类似任务时,使用先前保存的模型参数作为初始化参数,在训练过程中依据结果不断进行微调,使之适应新的任务。
ChatGPT引发新一轮AI算力需求爆发。根据OpenAI发布的《AIand Compute》分 析报告中指出,自2012年以来,AI训练应用的算力需求每3.4个月就回会翻倍,从2012年至今,AI算力增长超过了30万倍。据OpenAI报告,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),需要7-8个算力500P的数据中心才能支撑运行。上海新兴信息通信技术应用研究院首席专家贺仁龙表示,“自2016年阿尔法狗问世,智能算力需求开启爆发态势。如今ChatGPT则代表新一轮AI算力需求的爆发”。
全球算力规模将呈现高速增长态势。根据国家数据资源调查报告数据,2021年全球 数据总产量67ZB,近三年平均增速超过26%,经中国信息通信研究院测算,2021年全球计算设备算力总规模达到615EFlops,增速达44%。根据中国信通院援引的IDC数据,2025年全球算力整体规模将达3300EFlops,2020-2025年的年均复合增长率达到50.4%。结合华为GIV预测,2030年人类将迎来YB数据时代,全球算力规模达到56ZFlops,2025-2030年复合增速达到76.2%。