top of page
點

AI 跑太快,光纖跟不上?CPO 是資料中心的救命光

  • 作家相片: Amiee
    Amiee
  • 3天前
  • 讀畢需時 6 分鐘

為什麼 AI 跑太快,光纖卻跟不上?


當你問 ChatGPT 一個問題,它背後的 AI 模型其實正在跨越數千個 GPU 晶片間的資料傳輸「馬拉松」。這些 AI 模型在進行訓練與推理時,不斷地將龐大的數據來回傳輸,像是一場資料洪流穿梭於各個計算單元之間。每一個延遲、每一筆損耗,都可能拖慢整體的運算效率,甚至造成系統瓶頸。


然而,這些晶片間的資料交流,早已超越了傳統電子傳輸的極限,就像是用郵差送包裹想跟上超跑的速度一樣荒謬可笑。當 AI 模型成長成千億參數級別,資料傳輸量不再是「大」這麼簡單,而是變成「爆量」,需要徹底顛覆的傳輸基礎設施來承接。


事實上,資料傳輸的問題已經不只是「速度不夠」,而是整個系統能否持續擴充與維持穩定性的大挑戰。許多資料中心已經面臨「布線困難」、「耗能爆表」、「模組干擾」等隱性問題,而這些都將最終反映在服務延遲與營運成本上。


這就是為什麼,共封裝光學元件(CPO, Co-Packaged Optics)技術,成了資料中心界的新寵兒。一種將「光」直接打進封裝裡,讓訊號一路狂飆、不再繞遠路的新解方。它不僅是技術創新,更是面對 AI 資料洪流的「生存技術」。



CPO 是什麼?


CPO 是指將光學元件(例如:矽光子晶片 Silicon Photonics)與交換器 ASIC 晶片直接封裝在同一基板上,減少傳輸距離與訊號損耗的技術。這種整合方式代表的是一種新世代的思維:不再用「後裝配」的方式組合模組,而是在設計與製造階段就把所有高速傳輸關鍵點整合為一個整體系統。


傳統光模組是外掛的(pluggable),就像主機板插 RAM,但 CPO 是內建的,就像把 RAM 焊死在主機板上,不只空間利用率提升,更能大幅降低功耗與延遲。更重要的是,這種設計可以將光電轉換的損耗壓到最低,提升訊號完整性與資料吞吐效率,是面對未來 AI 規模運算的基本門檻。


CPO 的架構讓設計師可以在晶片內部實現更高密度、更低耗損的傳輸連結,不再受限於傳統 IO 的瓶頸。這意味著未來晶片之間的溝通可以像神經元一般高速傳導,支撐更龐大、更智慧的 AI 應用場景。


這項技術最早由 Intel、Broadcom 等大廠提出,如今已逐步成為高階資料中心(尤其是 AI 用途)設計的標配目標。除了超大型雲端業者如 Google、Amazon、Meta 外,AI 晶片製造商如 NVIDIA 與 AMD 也紛紛投入 CPO 封裝的開發。這場競賽,不只關乎頻寬,更關乎主導未來運算生態的話語權。



為什麼資料中心一定要 CPO?


1. 頻寬需求爆炸性成長


隨著大型 AI 模型如 GPT-4、Gemini、Claude 3 的橫空出世,單一訓練作業動輒數百 TB 資料,每秒需要處理上百 GB 傳輸量。這些模型不僅參數量驚人,訓練所需的資料也極為龐大,資料中心內部的通訊量因此幾何級數成長。資料中心不再只是儲存或計算的場所,而是高速資料交換的戰場。


AI 訓練與推理的頻寬需求幾乎每年翻倍,根據 Google、Meta 等業者的內部報告顯示,資料中心內部網路的流量早已超越對外連線的頻寬,甚至成為資料中心總耗能的最大來源之一。這迫使資料中心必須尋找比銅線與標準光模組更高效的傳輸技術,而 CPO 正好符合這一需求。



2. 傳統銅線傳輸已到極限


銅線傳輸在超過 100Gbps 時會出現嚴重訊號衰減,即使使用高階材料與加強遮蔽仍無法根本解決問題。在伺服器主機板上鋪設多條銅線傳輸通道也導致過多走線與干擾風險,使得設計難度與成本激增。


而光纖則能在更長距離下以更低損耗進行高速傳輸,但傳統的光模組通常安裝於機殼邊緣,與主晶片之間仍需透過電子通道中繼,導致高延遲與額外功耗。CPO 的誕生正是為了解決這個結構性的痛點,讓光的傳輸能夠深入封裝核心,實現真正的低延遲與高頻寬傳輸。



3. 光傳輸能效高,但模組過大


儘管光傳輸能夠大幅降低功耗,傳統光模組卻體積龐大、組裝複雜,且冷卻需求高,造成空間與熱管理的巨大挑戰。資料中心每一平方英吋的效能密度都需被極致利用,因此若模組不能夠緊密整合,就無法達到理想的擴充性與運算密度。


CPO 的封裝方式讓光模組體積縮小、位置更貼近主晶片核心,並可與 CoWoS、InFO 等先進封裝技術搭配應用,整體能效可比傳統設計提升 30~50%,而在未來 AI 模型進一步放大之際,這樣的能效優勢將成為能否永續擴充的關鍵。



技術進展:從矽光子到 CPO 生態系


CPO 技術的根本,是矽光子(Silicon Photonics)架構的成熟與量產。矽光子能將光的發射器、調變器、接收器與導波通道直接整合進晶片中,利用 CMOS 製程製作,讓光學元件得以與邏輯電路共封裝,大幅降低製造成本與體積。


不過,實現這樣的整合並非易事。目前 CPO 技術面臨數個挑戰,包括:


  • 光學與電子訊號的耦合效率需極致精準,稍有偏差即造成訊號損失;

  • 封裝時如何進行光路對位與黏著,需高精度自動化設備;

  • 多通道下的熱排管理成為設計瓶頸,尤其是高頻率與大功耗模組疊加後的熱擴散。


因此,現今的技術焦點不只是「能不能做出來」,而是「能不能大規模量產」,並符合資料中心在成本、尺寸與可維護性上的嚴格需求。業界如 NVIDIA 在 Blackwell 架構中已計畫整合內建光模組,Broadcom 推出 800G CPO 產品,並與 Microsoft Azure 展開測試部署。


同時,OIF(Optical Internetworking Forum)與 COBO(Consortium for On-Board Optics)也正制訂多項 CPO 標準,期望在 2025 年前推出一套跨平台相容的模組生態系,推動整個產業進入 CPO 商用新時代。



台灣的 CPO 優勢


台灣在半導體製造與封裝領域的全球領先地位,為發展 CPO 打下了堅實基礎。台積電已在 CoWoS 先進封裝平台中導入光學模組預埋介面,結合其光子整合計畫(Photonic IC Program),開發出自家光子引擎 COUPE,預計 2026 年可投入量產,供應全球頂級 AI 客戶。


另一方面,日月光與力成等封裝龍頭廠也積極佈局光封裝技術,開發支援高密度光纖連接與低插損連結模組,試圖在高階系統整合市場中扮演關鍵角色。此外,台灣在光電元件領域擁有聯亞光電、上詮科技、眾達-KY、華星光等供應商,皆具備矽光子模組與光收發器研發量產能力。


整體而言,台灣可望在 CPO 的全球供應鏈中扮演「從製程到模組到系統整合」的全能角色,不僅支援美系與亞太雲端業者,也有機會成為 AI 晶片封裝與傳輸介面的核心戰略據點。



市場趨勢:CPO 是短期 hype 還是長期結構性需求?


根據 Yole Intelligence 報告,2023 年全球 CPO 市場規模約為 1 億美元,但預估到 2028 年將突破 24 億美元,年複合成長率高達 80%。其中超過 80% 的應用來自 AI 資料中心,其餘來自高頻交易、軍事雷達、通訊衛星等特殊應用。


這樣的成長並非科技業「炒熱話題」所致,而是源於產業結構本身的轉型壓力。從傳統伺服器轉型為 GPU 為主的 AI Cluster,從 TB/s 級別的頻寬升級為 PB/s,從單機通訊轉向集群內部萬向交換,CPO 是目前唯一有望在成本、功耗、面積上同時達標的技術。


而當各國政府也開始將 CPO 視為下一代戰略基礎設施(如美國 CHIPS 法案補助矽光子與光模組研發,中國推進本土光模組替代),這也代表著 CPO 將不再只是實驗室原型,而是影響半導體主權與雲端戰略的未來關鍵。



結語:AI 是未來的大腦,CPO 是它的視神經


如果 AI 是未來的超級大腦,那麼 CPO 就是把每一個神經元(晶片)串起來的視神經。它們傳遞的不是訊號,而是資訊的「生命血液」,讓每一份資料都能即時到達該去的地方,讓大型語言模型、視覺模型、甚至自駕車感知網路都能無縫運行。


在這場 AI 時代的基礎建設競賽中,誰能讓資料流通得更快、更穩、更省電,誰就能擁有運算主導權。CPO 所帶來的電光整合不只是技術變革,更是產業競爭力的再定義,它將決定雲端霸權的下個王者是誰。


CPO 的進化將牽動整個資料中心設計哲學的轉變,也將啟動一波新硬體革命。當光不再只是連接的選項,而是設計的核心時,我們也正式跨入了一個「由光驅動智慧」的嶄新時代。


CPO,就是讓資料不再「卡住」,讓 AI 不再「等你」的關鍵技術。

點

Subscribe to AmiNext Newsletter

Thanks for submitting!

  • LinkedIn
  • Facebook

© 2024 by AmiNext 金融與科技筆記

bottom of page