成人三级视频-成人三级影院-成人三级在线播放线观看-成人三级在线观看-亚洲黄网免费-亚洲黄网在线

大幅提升GPU可用顯存量,螞蟻、上海交大技術(shù)成果GMLake入選國(guó)際頂會(huì)

WEMONEY研究室WEMONEY研究室2024-01-16 17:38 數(shù)字金融
近日,從螞蟻集團(tuán)獲悉,螞蟻集團(tuán)和上海交通大學(xué)合作的技術(shù)成果GMLake被計(jì)算機(jī)體系結(jié)構(gòu)四大頂級(jí)會(huì)議之一的ASPLOS 24接收。

近日,從螞蟻集團(tuán)獲悉,螞蟻集團(tuán)和上海交通大學(xué)合作的技術(shù)成果GMLake被計(jì)算機(jī)體系結(jié)構(gòu)四大頂級(jí)會(huì)議之一的ASPLOS 24接收。

據(jù)悉,這篇名為《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果,針對(duì)業(yè)界普遍存在的大模型訓(xùn)練顯存效率問(wèn)題,提出了一種高效的動(dòng)態(tài)顯存組合技術(shù)VMS(Virtual Memory Stitching),最高提高33%的GPU可用顯存,使顯存使用更為高效,進(jìn)而緩解了“內(nèi)存墻”問(wèn)題。ASPLOS會(huì)議曾推動(dòng)了多核處理器、深度學(xué)習(xí)處理器等計(jì)算機(jī)系統(tǒng)領(lǐng)域的核心創(chuàng)新,在學(xué)術(shù)界和工業(yè)界擁有顯著的影響力。

以ChatGPT為代表的生成式大模型正在引領(lǐng)當(dāng)前AI發(fā)展。為了訓(xùn)練得到如此高效的大模型,需要強(qiáng)大和昂貴的基礎(chǔ)算力支撐。而當(dāng)前制約高效訓(xùn)練的因素中,除了算力,顯存容量也非常關(guān)鍵,即“內(nèi)存墻”問(wèn)題。

業(yè)界已有很多優(yōu)化工作,包括模型、框架層的改造,甚至為之犧牲模型精度。且業(yè)界廣泛使用的訓(xùn)練框架如PyTorch存在顯存管理效率不高,顯存資源碎片化的現(xiàn)象,即顯存中出現(xiàn)了很多的空洞,使得零散的顯存資源難以有效利用起來(lái),特別是當(dāng)使用了業(yè)界多種優(yōu)化手段之后,碎片化問(wèn)題反而更為突出,使得本就緊缺的顯存資源浪費(fèi)嚴(yán)重。

對(duì)此,螞蟻集團(tuán)和上海交通大學(xué)提出了一種高效的動(dòng)態(tài)顯存組合技術(shù)框架,稱為GMLake。該框架采用虛擬、物理兩層指針,將碎片化的顯存靈活地拼接起來(lái),從而實(shí)現(xiàn)了聚零為整。GMLake對(duì)典型大模型如GPT、GLM、Vicuna等進(jìn)行了詳細(xì)評(píng)測(cè),最高擴(kuò)大了約33%的可用顯存,即在80GB的A100 GPU上節(jié)省約25GB的顯存,訓(xùn)練吞吐提高最多4倍。

據(jù)了解,GMLake的使用非常友好,目前已在PyTorch框架上完成集成,對(duì)上層模型代碼和框架代碼完全透明,也就是說(shuō)模型不需要修改任何代碼即可使用,真正做到了開(kāi)箱即用。

目前,GMLake的代碼已經(jīng)開(kāi)源到了GLake項(xiàng)目中。GLake是螞蟻集團(tuán)自研的GPU顯存+傳輸優(yōu)化開(kāi)源項(xiàng)目,在訓(xùn)練、推理框架底層以及系統(tǒng)層對(duì)顯存和傳輸進(jìn)行一體優(yōu)化,更好應(yīng)對(duì)“內(nèi)存墻”和“傳輸墻”挑戰(zhàn)。

【本文為合作媒體授權(quán)派財(cái)經(jīng)轉(zhuǎn)載,文章版權(quán)歸原作者及原出處所有。文章系作者個(gè)人觀點(diǎn),不代表派財(cái)經(jīng)立場(chǎng),轉(zhuǎn)載請(qǐng)聯(lián)系原作者及原出處獲得授權(quán)。有任何疑問(wèn)都請(qǐng)聯(lián)系(paicaijing314@126.com)。
免責(zé)聲明:本網(wǎng)站所有文章僅作為資訊傳播使用,既不代表任何觀點(diǎn)導(dǎo)向,也不構(gòu)成任何投資建議。】

猜你喜歡

主站蜘蛛池模板: 色视频免费观看高清完整 | 性色生活片免费放 | 欧美日韩人成在线观看 | 亚洲天天做日日做天天看2018 | 欧美成人免费草草影院视频 | 国产二三区 | 国产黄色免费在线观看 | 91视频合集 | 操操网站| 青青草国产免费 | 久久这里只有精品免费看青草 | 一本久道久久综合多人 | 麻豆果冻传媒新剧国产短视频 | 精品成人免费视频 | 99精品免费视频 | 免费黄色在线网址 | 伊人久久大香线蕉综合7 | 国产日韩欧美在线视频免费观看 | 欧美在线观看不卡 | 日本免费影院 | 亚洲欧美中日韩中文字幕 | 日本人乱人乱亲乱色视频观看 | 最新亚洲精品国自产在线观看 | 午夜合集| 日日日操 | 日韩大片在线观看 | 一本大道香一蕉久在线影院 | 色综合久久五月 | 久久天天躁狠狠躁夜夜呲 | 在线播放国产色视频在线 | 欧美很黄视频在线观看 | 日韩欧美亚洲综合一区二区 | 骚片在线观看 | 小处雏一区二区三区精 | 黄 色 免费网 站 成 人 | 欧美另类高清xxxxx | 亚洲免费高清 | 毛片免费视频网站 | 国产丝袜护土调教在线视频 | 久久国产午夜精品理论片34页 | 国产黑色丝袜小视频在线 |