Edge AI 邊緣運算

面對可能具有高機敏性對話會議資料之企業或機構客戶,公司可為客戶建立 AIspeakin 私有雲或地端 AIspeakin 軟硬整合設備裝置,讓客戶能在保護機敏性會議對話資料不外傳的前提下,同時能享有 AIspeakin 即時自動語音辨識轉寫與多語同步翻譯,帶給同仁在工作與跨國溝通的便利性及高效率,以 AIspeakin 同步翻譯代理人的隨時隨需協助,賦能人類在工作與生活品質上同時增益的理想境界。

邊緣AI軟硬整合

邊緣AI軟硬整合之輕量級深度學習或機器學習模型,可應範圍包含「智慧點餐」、「智慧導覽」、「智慧諮詢」等特定領域專用的語音語意互動式AI,也可訓練企業、政府、醫療院所等單位專有的大語言模型LLM,搭配環球睿視Ubestream的語音辨識模型/翻譯模型/語音生成模型,建置企業、政府、醫療院所專有的智慧語音互動AI代理人,以私有雲或地端方式布署,保有資料安全性、隱私性及正確性。

語音互動AI智慧點餐

語音互動AI智慧查詢

AI智慧虛擬顧問

AIspeakin Edge AI x MSI EdgeXpert MS-C931

MSI Unveils EdgeXpert MS-C931
於 NVIDIA DGX Spark 平台所開發的 MSI EdgeXpert MS-C931 桌上型 AI 超級電腦(以及同級的華碩 Ascent GX10),其核心搭載的 NVIDIA GB10 Grace Blackwell 晶片能提供高達 1,000 AI TOPS (FP4) 的張量運算算力。 
關鍵性能與技術規格
  • 1,000 AI TOPS 的算力:採用最新的第五代 Tensor Cores,在 FP4 精度格式下能輸出 1,000 TOPS(或高達 1 petaFLOP 稀疏性)的 AI 算力。
  • 整合式系統晶片 (SoC):GB10 完美整合了 20 核心的 ARM 架構 Grace CPUBlackwell 架構 GPU
  • 128 GB 統一記憶體:配備高達 128GB LPDDR5x 記憶體。透過 NVLink-C2C 技術讓 CPU 與 GPU 共享記憶體架構。
  • 運行超大 LLM 模型:高達 128GB 的統一記憶體使它能於地端獨立運行高達 2,000 億參數 (200B) 的 AI 模型(如 DeepSeek、Meta Llama 3 或 Google 晶片模型)。
  • 多機雙重串聯擴充:機身內建高速 200 Gbps NVIDIA ConnectX-7 NIC 網路介面卡。可直接將兩台主機串聯,將算力與記憶體擴展至能處理 4,050 億參數 (405B) 的超大型模型訓練任務。

AIspeakin Edge AI x Intel® Core™ Ultra 155H

INTEL® CORE™ ULTRA 155H · EDGE AI PLATFORM

AIspeakin Edge AI x Intel® Core™ Ultra 155H

 
搭載 Intel® Core™ Ultra 155H 的邊緣 AI 平台,整合高效能 CPU、NPU 與多模態 AI 引擎,能在本地端執行語音、翻譯與對話推論,為智慧城市、醫療、企業與交通場域,提供高隱私、高穩定的邊緣 AI 服務。
●Edge AI Inference
●AIspeakin Offline Engine
●Multilingual Transcription & Translation
●Secure On-Premise Deployment
Intel 155H Edge-ready
Offline Multilingual Speech Transcription & Translation
Healthcare / Defense Friendly

核心功能亮點

  • 高效 AI 推論能力:可同時執行多種 AI 模型。
  • 多模態邊緣 AI:同時處理語音辨識、語言翻譯。
  • 工控級可靠度:24/7 運作、低功耗,高穩定性,適合長時間運作場域。
  • 資料在地留存:支援完全離線或企業內網部署,強化隱私與資安控管。

Benchmark 與效能測試

Intel® Core™ Ultra 155H 在語音辨識 (ASR) 與翻譯任務中的 CPU / GPU / AUTO 模式效能如下,
可對應不同場域針對延遲與效能的需求進行調整與選用。

模型模式 A
NoLanguageAudio DurationASR CPUASR GPUASR AUTOTrans CPUTrans GPUTrans AUTO
1English2.11 min68.95s35.64s38.12s52.75s23.75s22.91s
2Japanese35 sec21.39s11.60s11.71s16.95s19.33s17.62s
3Mandarin11 min319.90s170.92s212.73s89.21s30.33s31.95s
模型模式 B
NoLanguageAudio DurationASR CPUASR GPUASR AUTOTrans CPUTrans GPUTrans AUTO
1English2.11 min31.95s31.57s34.41s29.34s25.13s23.35s
2Japanese35 sec11.19s9.69s10.39s16.77s19.08s17.44s
3Mandarin11 min167.38s153.20s187.05s87.73s30.61s32.24s
模型模式 C
NoLanguageAudio DurationASR CPUASR GPUASR AUTOTrans CPUTrans GPUTrans AUTO
1English2.11 min32.64s33.27s32.38s30.81s27.97s24.48s
2Japanese35 sec11.07s7.93s8.67s17.28s22.06s20.11s
3Mandarin11 min160.00s124.30s153.66s85.67s30.88s31.75s

效能結論

  • GPU 模式在大部分語音辨識任務中可帶來約 2× 以上加速,特別是長音檔(如 11 分鐘中文)。
  • 翻譯任務在 GPU 與 AUTO 模式的延遲明顯較低,適合需要快速回應的互動場景。
  • AUTO 模式能依語音長度與負載動態分配資源,適合中長音檔或多模型同時運行。
  • 整體而言,Intel 155H 搭配本地 AI 引擎,能在離線與高安全需求場域提供即時且穩定的多語語音服務。
Scroll to Top