ChatGPT這樣的生成式AI不僅需要千億級(jí)的大模型，同時(shí)還需要有龐大的算力基礎(chǔ)，訓(xùn)練AI現(xiàn)在主要依賴NVIDIA的AI加速卡，達(dá)到ChatGPT這種級(jí)別的至少需要1萬張A100加速卡。

高性能加速顯卡現(xiàn)在是稀缺資源，國內(nèi)購買NVIDIA高端顯卡更是不容易，來自商湯科技的一份紀(jì)要顯示，能達(dá)到ChatGPT這種算力要求的公司在國內(nèi)鳳毛麟角，只有6家。

他們是商湯、百度、騰訊、字節(jié)、阿里和幻方，其中百度、騰訊、字節(jié)、阿里這樣的互聯(lián)網(wǎng)巨頭能買到且買得起1萬張A100顯卡不讓人意外。

百度3月底已經(jīng)發(fā)布了自己對(duì)標(biāo)ChatGPT的產(chǎn)品文心一言，接下來其他公司也會(huì)陸續(xù)發(fā)布自己的AI產(chǎn)品。

NVIDIA A100核心及計(jì)算卡是2020年5月份發(fā)布的，也是安培架構(gòu)的第一款產(chǎn)品，7nm工藝制造，542億個(gè)晶體管，826平方毫米面積，8196個(gè)流處理器，實(shí)際開啟6912個(gè)，搭配5120-bit 40GB HBM2顯存，PCIe版本功耗250W。

A100的單精度浮點(diǎn)性能高達(dá)19.5TFlops，F(xiàn)P64性能9.7TFLOPS，INT8性能624TOPS，TDP 400W，顯存的帶寬也是恐怖的1.6TB/s，后期還發(fā)布過80GB HBM2e的版本，頻率從2.4Gbps提升到3.2Gbps，使得帶寬從1.6TB/s提升到2TB/s。