中文
 

Follow us 

Hot Topic
Market News
Events & Promo
Career Tips
Education News
Health & Life
Skymizer Taiwan Inc. 發表突破性架構  單卡實現超大型 LLM 推論
PRNewswire

Skymizer Taiwan Inc. 發表突破性架構 單卡實現超大型 LLM 推論

Publish date: 23 Apr 2026

Follow us

Stay updated on the job market

Popular Articles

運輸署擬增發332張「教車師傅牌」 5月起接受申請最快7月考試
運輸署擬增發332張「教車師傅牌」 5月起接受申請最快7月考試
【網民熱話】錢大媽8萬高薪招聘「豬肉分割師」  網民: 仲高人工過3大畢業生
【網民熱話】錢大媽8萬高薪招聘「豬肉分割師」 網民: 仲高人工過3大畢業生
旅行唔止放鬆  更能提升工作效率
旅行唔止放鬆 更能提升工作效率
研究指工作電郵亂加Emoji反而令你失去專業感
研究指工作電郵亂加Emoji反而令你失去專業感
對工作愈不滿  40歲後健康出現警號
對工作愈不滿 40歲後健康出現警號

提供業界領先的效能功耗比,單張 PCIe 介面卡即可執行 700B 參數模型——無需 GPU 叢集,亦無須密集散熱

新竹2026年4月23日 /美通社/ -- 於 COMPUTEX 2026 展前,AI 推論解決方案先驅 Skymizer Taiwan Inc.( 臺灣發展軟體科技股份有限公司)今日預先揭露其在地端 AI 部署的重大突破——HTX301 推論晶片,內建於 COMPUTEX 2025 首次發表的軟硬體協同設計平台 HyperThought™。HTX301 為 HyperThought IP 的首款參考晶片,該 IP 為 AI 推論定義了長期的架構願景。此首版矽晶片在大幅簡化超大型模型推論所需基礎設施的同時,亦帶來卓越的效能功耗比。

打破 GPU 對超大型模型推論的壟斷

一直以來,在地端部署超大型模型皆需仰賴龐大的 GPU 叢集、NVLink/NVSwitch 等高速互連技術,以及密集的散熱系統——導致成本高昂且維運複雜。

Skymizer 於業界首次將此願景化為可能。

僅需一張 PCIe 介面卡——搭載 六顆 HTX301 晶片與 384 GB 記憶體——企業即可於本地執行 700B 參數模型推論,每卡功耗僅約 240W。

HyperThought 針對 不同尺寸與形式的彈性擴展 而設計——可封裝為 SoC 或介面卡,邊緣到迷你資料中心 皆可部署。單卡可由 1 顆晶片擴展至 6 顆晶片,記憶體容量介於 32 GB 至 384 GB,支援 4B 至 700B 參數 的模型——讓企業依實際工作負載需求,精準規劃部署規模,避免過度配置。

「推論已成為 AI 的主要工作負載,基礎設施也必須反映此一現實。」

「仰賴超大規模 GPU 叢集執行超大型 LLM 的時代已經結束。HyperThought 讓 AI 從僅屬於雲端巨擘的複雜工程,轉變為每一家企業皆可擁有的單卡級簡潔方案。」

—— William Wei,Skymizer 行銷長

消除企業 AI 的隱藏稅負

其結果是:企業在享有資料隱私、低延遲與完整營運掌控權的同時,亦可擺脫 GPU 叢集所帶來的基礎設施負擔。

地端推論亦消除了「按 token 計費」所帶來的支出焦慮——此焦慮已成為企業導入 AI 的無形稅負。雲端推論迫使團隊必須精打細算每筆查詢,並限縮 Agent 的使用。HyperThought 則徹底解除此限制:一旦部署完成,企業便可在固定的基礎設施成本下,執行無上限的推論。

HyperThought 為企業既有的 GPU 基礎設施提供互補,而非取代。透過將解碼(decode)密集的推論工作自 GPU 卸載,企業可提升整體叢集的利用率與電力效率。

驅動企業跨領域的 Agentic AI 工作流程

HyperThought 與 HTX301 專為 agentic AI 工作負載而設計,此類工作負載正快速成為企業自動化的核心基石。搭配 OpenClaw 等 agent harness 框架,HTX301 能提供這些系統所需的推論吞吐量,並同時具備完整的資料自主權與可預期的延遲表現。

此一架構可驅動跨產業與跨領域的 agentic 工作流程與自動化,包括:

金融服務(法遵、詐欺偵測、投資組合推理);醫療與生命科學(臨床決策輔助、藥物交互作用分析);製造業(預測性維護、品質檢測);法律與專業服務(合約審閱、機密知識檢索);政府與國防(主權 AI、機密分析);零售(客服自動化、庫存推理);軟體工程(私有 code copilot、自主 CI/CD);以及 半導體與 IC 設計(地端 RTL copilot、驗證 agent、針對自有 IP 的設計知識檢索)。

焦點應用:地端 AI Coding。AI 輔助編碼已成為現代軟體團隊的基本配備,且在「原始碼即公司命脈」的領域中,需求增長最為快速。IC 設計公司無法將自有 RTL 上傳至雲端編碼助手,否則將面臨價值數十億美元矽智財外洩的風險;軟體公司在面對機密程式碼與客戶資料時,亦有相同的考量。HTX301 能提供足以支撐完全地端執行私有 code copilot、RTL 生成器與驗證 agent 的吞吐量——既消除雲端外洩風險,又完整保留 AI 輔助工程所帶來的生產力效益。

除了 agentic 工作負載之外,單顆 HTX301 晶片亦支援裝置端推論——涵蓋語音轉寫、翻譯、視覺理解與多模態 AI——適用於邊緣伺服器、AI 工作站、智慧 NAS 系統及各類智能端點。

由 LISA™ 與 HyperThought™ 驅動

HyperThought 由 LISA™(Language Instruction Set Architecture,語言指令集架構) 所驅動,此為 Skymizer 自主研發、專為 Transformer 推論最佳化的語言中心指令集架構。LISA 在效能、功耗效率與擴展性方面,全面支援自邊緣裝置至企業叢集的各類部署。

地端部署的 HTX301 介面卡,與 HyperThought 裝置端 LPU 共用相同的 LISA 架構基礎——一套 ISA、一套部署流程,自邊緣至資料中心,一以貫之。

Prefill/Decode 分離:HyperThought P/D 策略

LLM 推論包含兩個本質上截然不同的階段:prefill(處理輸入提示,屬 compute-bound)與 decode(逐一生成 token,屬 memory-bandwidth-bound)。以 GPU 為核心的基礎設施強迫兩者共用同一塊矽晶片,在任一時刻總會造成運算資源或頻寬資源的閒置。HyperThought 自架構設計之初,即將此兩階段加以分離。

硬體堆疊——Decode 優先的專屬矽晶片。HTX301 為 decode 階段量身打造——此階段是主導真實世界推論延遲、對記憶體頻寬極度敏感的 token 生成過程。既有 GPU 處理 compute 密集的 prefill;HTX301 介面卡則負責 decode。每一塊矽晶片皆對應其最適合的階段。

軟體堆疊——統一的 P/D 調度。Skymizer 的統一軟體堆疊——涵蓋 KV-cache 管理員、具階段感知能力的排程器,以及動態配置引擎——可協同調度 prefill 與 decode 資源池,於節點之間傳遞 KV-cache 狀態,並隨工作負載變動即時重新平衡 P:D 比例。

「專為 decode 打造的硬體,搭配能協調每一份推論工作負載的智慧軟體堆疊——這才是在規模化場景下分離 P/D 的真正做法。」

—— Luba Tang, Skymizer 技術長

定義 AI 部署的下一個世代

隨著模型規模自數十億參數邁向兆級參數,業界對暴力式 GPU 擴展的依賴正面臨瓶頸。Skymizer 的存在,正是為了超越此一瓶頸——結合深厚的編譯器專業與針對 decode 最佳化的矽晶片,定義 AI 基礎設施的下一個世代。

有關 HyperThought 延伸平台的完整藍圖,將於 Skymizer 在 COMPUTEX 2026 的記者會中公布。

申請 HTX301 早期存取權: skymizer.ai/press

關於 Skymizer Taiwan Inc.

Skymizer (臺灣發展軟體科技股份有限公司)成立於 2013 年,是一家專注於 AI 推論的公司。其旗艦平台 HyperThought 結合編譯器驅動的軟體堆疊與針對 Transformer 最佳化的硬體,可於裝置端、邊緣端與地端部署環境中,提供高效能的推論服務。

Follow us

Stay updated on the job market

Popular Articles

運輸署擬增發332張「教車師傅牌」 5月起接受申請最快7月考試
運輸署擬增發332張「教車師傅牌」 5月起接受申請最快7月考試
【網民熱話】錢大媽8萬高薪招聘「豬肉分割師」  網民: 仲高人工過3大畢業生
【網民熱話】錢大媽8萬高薪招聘「豬肉分割師」 網民: 仲高人工過3大畢業生
旅行唔止放鬆  更能提升工作效率
旅行唔止放鬆 更能提升工作效率
研究指工作電郵亂加Emoji反而令你失去專業感
研究指工作電郵亂加Emoji反而令你失去專業感
對工作愈不滿  40歲後健康出現警號
對工作愈不滿 40歲後健康出現警號

Hottest Tags

#教車師傅牌
#教車師傅
#運輸署
#師傅牌抽籤
#駕駛教師執照
#駕駛教師
#豬肉分割師
#錢大媽
#高薪
#技術工種
#3大畢業生
#Dream Job

Contact Us
Notice
Back to Top
We use cookies to enhance your experience on our website. Please read and confirm your agreement to our Privacy Policy and Terms and Conditions before continue to browse our website. Read and Agreed