近期，智能體、各類Skills層出不窮。2026年，已然從生成式AI全面轉(zhuǎn)向智能體AI。而智能體AI的一大特色，便是對Token（詞元）需求的大幅攀升。歸根結(jié)底，推動了推理算力需求指數(shù)級躍升。

如今，第一個國產(chǎn)AI推理千卡集群來了。3月12日，根據(jù)公開招標(biāo)信息，云天勵?中標(biāo)湛江市AI滲透?撐新質(zhì)?產(chǎn)?基礎(chǔ)設(shè)施建設(shè)項(xiàng)?，中標(biāo)?額4.2億元。項(xiàng)?將基于云天勵??研的國產(chǎn)AI推理加速卡，建設(shè)國產(chǎn)AI推理千卡集群。該集群將搭載DeepSeek等國產(chǎn)?模型，為政務(wù)、產(chǎn)業(yè)及各類應(yīng)?場景提供更加便捷、低成本的AI能?，探索打造“國模國芯”的AI?態(tài)樣板。

推理算力時代來臨

2023年，人們討論的是ChatGPT；2024年，Kimi火熱一時；2025年，DeepSeek在全網(wǎng)掀起討論熱潮。這些，人們討論的都是模型能力。如何較好地運(yùn)營訓(xùn)練算力集群訓(xùn)練出更聰明、效率更高的大模型。

而進(jìn)入2026年，人們討論的是養(yǎng)“龍蝦”，是SeeDance。而這些，更多是利用大模型的能力去提升生產(chǎn)力。

簡而言之，此前業(yè)界更多關(guān)心大模型能力，即提升人工智能“大腦”的能力。當(dāng)下，業(yè)界關(guān)心的，是如何把“大腦”裝上四肢，以便真正幫人類干活。無論智能體、Skills還是養(yǎng)“龍蝦”，均是基于上述思路。

提升人工智能“大腦”的能力，需要的是訓(xùn)練芯片。而幫人類干活，則需要推理芯片。換言之，訓(xùn)練算?決定模型如何完成“從0到1”的能?構(gòu)建，?推理算?則直接?撐AI應(yīng)?落地。

值得注意的是，互聯(lián)網(wǎng)時代，對硬件的需求是“數(shù)人頭”，互聯(lián)網(wǎng)的滲透率越高，對硬件的需求隨之升高。而智能體AI時代，對推理算力的需求則是指數(shù)型增長。這是因?yàn)?，智能體AI，任務(wù)的復(fù)雜度顯著提升，需拆解任務(wù)、循環(huán)調(diào)用工具、持久記憶、自我反思等，?單任務(wù)可消耗數(shù)萬至百萬Token。此外，長上下文的使用，也使得對Token的需求大幅增加。

??

根據(jù)Gartner預(yù)測，到2026年，約55%的AI專?云基礎(chǔ)設(shè)施?出將?于推理?作負(fù)載。過去，國內(nèi)許多智算中?普遍采?“訓(xùn)推?體”的建設(shè)模式。?此次在湛江建設(shè)的集群，則定位為專注推理任務(wù)的AI推理集群，主要?向各類?業(yè)應(yīng)?場景，為傳統(tǒng)產(chǎn)業(yè)的AI化提供直接?撐。

湛江也是國產(chǎn)?模型DeepSeek創(chuàng)始?梁?峰的家鄉(xiāng)。近年來，當(dāng)?shù)卦凇癉eepSeek+”應(yīng)?探索??動作頻頻。

2025年初，DeepSeek-R1發(fā)布后，湛江即完成本地部署，基于國產(chǎn)技術(shù)棧的DeepSeekR1?模型率先在湛江政務(wù)云上線。該模型在處理通?政務(wù)事務(wù)的同時，還能夠持續(xù)學(xué)習(xí)本地產(chǎn)業(yè)知識與??表達(dá)，逐漸形成具有地?特?的“湛江智慧”。

此次云天勵?建設(shè)的AI推理集群，也將與DeepSeek等國產(chǎn)模型進(jìn)?深度適配，為更多?業(yè)應(yīng)?提供算??撐。

從性能第一到性價比第一

值得注意的是，當(dāng)下也有不少養(yǎng)“龍蝦”的人們，開始紛紛卸載“龍蝦”。這在很大程度上是因?yàn)椋褒埼r”對Token的需求實(shí)在比較高。隨便進(jìn)行一些簡單的操作，數(shù)萬甚至十幾萬Token就已經(jīng)被消耗。

在生成式AI時代，業(yè)界普遍追求的仍是大模型能力，因此不惜成本使用最好的GPGPU（通用圖形處理器）建設(shè)智算中心，從而通過Scaling Laws（規(guī)模法則）來獲得更強(qiáng)的大模型。

然而進(jìn)入智能體AI時代，成本成了第一優(yōu)先。只有更低成本、更高性價比的推理芯片、推理集群，才能讓智能體“飛入尋常百姓家”。

換句話說，未來AI產(chǎn)業(yè)競爭的重要維度，不僅在于模型能?本?，還在于誰能夠以更低成本提供穩(wěn)定的?規(guī)模推理能?。

湛江項(xiàng)?的落地，也為這??標(biāo)提供了重要的實(shí)踐場景。千卡級推理集群不僅能夠滿?當(dāng)前AI應(yīng)?需求，同時也為更?規(guī)模算?系統(tǒng)提供技術(shù)部署平臺。

在典型架構(gòu)下，?個千卡級集群通常由多級擴(kuò)展結(jié)構(gòu)組成：從單節(jié)點(diǎn)8卡、32卡，到64卡甚?百卡級超節(jié)點(diǎn)，再到跨節(jié)點(diǎn)的?規(guī)模集群。通過這?規(guī)模系統(tǒng)的實(shí)際運(yùn)?，可以充分驗(yàn)證卡間互聯(lián)、節(jié)點(diǎn)通信和負(fù)載均衡等關(guān)鍵技術(shù)，為未來更?規(guī)模AI算?系統(tǒng)建設(shè)積累經(jīng)驗(yàn)。

千卡推理集群“新”在哪？

事實(shí)上，目前已有不少廠商建設(shè)了國產(chǎn)AI千卡智算集群。那此次湛江項(xiàng)目的千卡推理集群“新”在哪里呢？

一個大模型良好地運(yùn)行，需要算力、存儲和網(wǎng)絡(luò)的協(xié)同。當(dāng)下，硬件的瓶頸不僅僅是算力，還有存儲和網(wǎng)絡(luò)。

就推理而言，主要分為兩大階段。Prefill階段主要負(fù)責(zé)對?上下?進(jìn)?理解和計算，計算量?、帶寬需求?；?Decode階段則負(fù)責(zé)持續(xù)?成Token，對系統(tǒng)延遲更加敏感。

隨著大模型上下文長度的不斷增加，不僅需要更多的顯存容量，也需要更大的顯存帶寬。這均對存儲提出了更高的要求。

針對存儲瓶頸，上述AI推理集群采?云天勵??主研發(fā)的AI推理芯?，并在系統(tǒng)架構(gòu)上確?了“優(yōu)先優(yōu)化Prefill、兼顧Decode”的技術(shù)路線。通過在芯?設(shè)計中對計算資源與存儲帶寬進(jìn)?針對性配置，使系統(tǒng)在?上下?推理場景下依然能夠保持較?的吞吐效率。

在?模型應(yīng)?場景中，推理系統(tǒng)通常需要同時滿??并發(fā)、?吞吐與低延遲三項(xiàng)要求。為提升整體效率，當(dāng)前業(yè)界普遍采?“Prefill?Decode分離”（PD分離）的推理架構(gòu)，通過對不同階段進(jìn)?資源優(yōu)化，實(shí)現(xiàn)系統(tǒng)性能的整體提升。

而PD分離，不僅需要優(yōu)化配置計算資源和存儲資源，還需要在網(wǎng)絡(luò)領(lǐng)域具有強(qiáng)大的實(shí)力。

在?絡(luò)互聯(lián)??，湛江項(xiàng)目在系統(tǒng)層面采?統(tǒng)??速互聯(lián)架構(gòu)，通過400G光?絡(luò)構(gòu)建集群物理層?絡(luò)，實(shí)現(xiàn)節(jié)點(diǎn)之間的?帶寬、低延遲通信。

傳統(tǒng)的方案，節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間分別采?不同協(xié)議構(gòu)建?絡(luò)。這就如同火車在中國行駛在標(biāo)準(zhǔn)軌道上，進(jìn)入東南亞，又需要切換列車，以便行駛在窄軌上。因此，統(tǒng)一的高速互聯(lián)架構(gòu)，既減少了協(xié)議轉(zhuǎn)換帶來的額外開銷，也簡化了系統(tǒng)部署。

通過芯?架構(gòu)、?絡(luò)互聯(lián)以及系統(tǒng)調(diào)度等多層優(yōu)化，這?推理集群在整體效率與成本控制??形成了明顯優(yōu)勢，為AI規(guī)?；瘧?yīng)?提供了更加經(jīng)濟(jì)的算??案。

當(dāng)算力的重心從訓(xùn)練大模型轉(zhuǎn)向使用大模型，從追求極致性能轉(zhuǎn)向追求極致性價比，AI才能真正打破成本壁壘，成為像水電一樣普惠的基礎(chǔ)設(shè)施。這一集群的出現(xiàn)，恰逢其時地為智能體AI時代補(bǔ)齊了關(guān)鍵短板——它讓強(qiáng)大的模型“大腦”擁有了經(jīng)濟(jì)、高效的“四肢”，讓海量的Token消耗不再是阻礙創(chuàng)新的負(fù)擔(dān)。

以此為起點(diǎn)，國產(chǎn)推理算力將支撐起更豐富的應(yīng)用場景，推動人工智能從“嘗鮮”走向“常用”，真正賦能千行百業(yè)的數(shù)字化轉(zhuǎn)型。2026年，智能體AI的浪潮已然洶涌而至，而堅(jiān)實(shí)的國產(chǎn)推理底座，正是我們駕馭這股浪潮、邁向新質(zhì)生產(chǎn)力未來的關(guān)鍵船票。

（本文不構(gòu)成任何投資建議，投資者據(jù)此操作，風(fēng)險自擔(dān)。）

文/小七