Day 1 · R2 平台服務
算力平台與硬體大廠分享 AI 運算、晶片策略與企業導入打法。
本場速覽
| 講者 | 講題 | 一句話重點 |
|---|---|---|
| 蔡祈岩（台灣大哥大 副總經理暨資訊長） | AI, the Age of It | 用「它時代」的科技史觀，提出企業導入 AI 的 Five Dimensions 架構與台灣大哥大客服場域實例 |
| 徐達勇（安謀國際 Arm 應用工程總監） | Building the AI Compute Platform of the Future | 以「Change is Relentless」「Multi-Die Everywhere」為主軸，列舉 AI 對醫療、汽車、教育、氣候變遷四大領域的潛力數據 |
| 張歐佑豪（AMD 台灣區商用業務處 資深技術顧問） | From Silicon Design to Software Stack: AMD AI Strategy | 主張「為不同 AI 需求設計不同架構」，以 MI300X 192GB HBM3 對比 H100，說明可用更少 GPU 跑模型 |
| 楊子翔（廣達電腦 資深處長） | From no-code, low-code to full-code AI model DevOps: QOCA aim | 廣達醫療 AI no-code 平台 QOCA aim，2 小時內完成建模、已與多家醫院及國際 workshop 合作 |
| 林緯（群聯電子 技術長） | Breaking Barriers in Generative AI Deployment: Phison aiDAPTIV | 用 NAND Flash 幫 GPU 擴充「記憶體」而非算力，把 90B 模型訓練成本從 3000 萬砍到 100 萬以下 |
顯示 5 / 5 場
1AI 時代的科技史觀與企業導入五維架構蔡祈岩（台灣大哥大 副總經理暨資訊長）
用資訊科技 80 年「20 年一浪」史觀，提出企業導入 AI 的五維框架與台灣大哥大實例。
重點整理
- 開場自我介紹提到大一（交大資工）自製遊戲《決戰俄羅斯》，在台灣賣約 10 萬套，靠版權收入付完大學研究所學費——與公開報導（見查證註記）完全吻合。
- 提出「每 20 年一個 Mega Wave」的資訊科技史觀：1946 政府用大型主機（掌握戰後世界秩序）→ 1959 IBM 7090 讓企業擁有電腦（MRP/ERP/全球運籌）→ 1977–81 Apple/IBM PC 讓電腦進入桌面、催生知識經濟與 Internet（台灣藉此切入 IBM 開放架構供應鏈，是台積電/半導體今日榮景的起點）→ 1999 PALM 帶起行動裝置（中國大陸是最大受益者，台灣只是慣性成長）→ 2020–2040 AI（他命名為「它時代」，it 相對於 he/she，代表有思考能力的存在）。
- 論證「它時代」已啟動的兩個徵兆：(1) Stanford 2024 AI Index 顯示 2017/18 後產業大模型投入數量對學術界出現黃金交叉；(2) AI 性能評測曲線持續逼近甚至超越人類 baseline。
- 提出企業導入 AI 的「Five Dimensions」架構（可任選兩兩相交形成戰略平面，任選三維形成戰略空間）：① 提升員工生產力 ② 串接數位平台（內部 ERP/HR/財務系統 + 對外官網/App 皆可「裝上 AI 大腦」）③ 連結 AI 生態圈（開源社群、Hugging Face，並提出這能提高留才率）④ 訓練企業自有模型 ⑤ AI 倫理（資安、著作權、法遵——他認為現階段屬技術可控問題）。
- 內部推動 AI 落地的兩套機制：Inside-out——每月最後一個週五辦 AI Hackathon，規定 IT 工程師只能針對「自己手上正在開發或維運的系統」提案（不准幫別人的系統出主意），向 5 位 IT 處長 pitch 3–5 分鐘，需拿到 3 張同意牌才過關；首年約 30 幾套系統過關，但只有約 5 個真正被業務單位（BU）採用。Outside-in——兩天一夜黑客松，由 BU 帶隊組隊提案，約 40 組進入決賽，由 CEO/CXO 評審決定資源挹注。核心原則：「聽見炮聲的人指揮」戰術層決策，CEO 只決定戰略層要不要投入資源。
- 強調 local model 的必要性：ChatGPT 聽不懂台灣人國台客語混雜的說話方式；台灣大哥大自建客服系統中 Whisper 模型持續把「摸乳（MO，門號）」聽成別的詞，是本地化語音模型不可或缺的具體案例。
- 台灣大哥大最終選定「客服領域」訓練自有模型，已上線功能包含：AI 直接應對客人、身分核聲、客服人員的語音質檢、通話逐字稿、話後小結；另規劃 AI Agent（類似「懂公司流程的 ChatGPT」，可接內部系統辦請假、約會議）與 AI Mentor（coding mentor 訓練 junior 工程師、客服陪練員模擬客戶來電並即時評分）。
- 提到 IT 工程師導入 AI 後，coding 生產力經內部調查「至少提升 3 倍」，AI CodeReview 與 COBOL/Stored Procedure 轉譯 Java 的完成度約 80–90%。
提到的技術・產品・數據
- Stanford 2024 AI Index
- 學界/業界大模型投入黃金交叉、AI 性能逼近人類 baseline 的資料來源
- ChatGPT
- Hugging Face
- Whisper
- 語音辨識模型，台語國語混雜辨識失準案例
- momo（台灣大哥大子公司）
- 早期押注 App 而非桌機瀏覽器，用以說明「早一點掌握行動裝置紅利」
值得記下的觀點
「2024 年 AI 你現在看到，你還在嘲笑它有幻覺⋯⋯你就想想 1984，你看到的那個玩具。」
「錢是最理性的投資者⋯⋯不見兔子不撒鷹，當你發現全部的鷹都飛出去了，你就知道老獵手一定看到了很多兔子。」
Q&A
- 無 Q&A 紀錄
2打造未來的 AI 運算平台徐達勇（安謀國際 Arm 應用工程總監）
以「Change is Relentless」與「Multi-Die Everywhere」為論述主軸，用四個產業別數據說明 AI 的潛力。
重點整理
- 論述主軸為「Change is Relentless」（變化從未停歇）與「Multi-Die Everywhere」（多晶粒設計無所不在）。
- 提出「設計與製造週期持續拉長」（Design & Manufacturing Cycle Times Keep Getting Longer）的觀察，論點是週期拉長 → 成本墊高，藉此帶出 AI 導入晶片設計/製造流程的必要性。
- 以「AI - The Potential」為題，舉出四個產業別的 AI 潛力數據：
- Healthcare（醫療）：AI 可將研發週期縮短 50%（原文 50% Shortened R&D Cycle），對應縮短藥品開發時間。
- Automotive（汽車）：AI 每年可多拯救超過 100 萬條性命（原文 1,000,000+ Lives Saved Each Year），對應降低車禍事故與死亡率。
- Education（教育）：AI 可讓一對一家教的可及性提升 50 倍（原文 50x Increase in Tutoring Access），對應個人化課程設計。
- Climate Change（氣候變遷）：AI 分析/運算速度可比人類快 10,000 倍（原文 10,000x Faster than a Human），對應節省人類分析與運算的時間。
提到的技術・產品・數據
- 「AI - The Potential」四項產業數據
- 醫療（研發週期 -50%）、汽車（每年多救 100 萬+ 條命）、教育（家教可及性 x50）、氣候變遷（分析速度 x10,000）
值得記下的觀點
「Change is Relentless」（變化從未停歇）
「Multi-Die Everywhere」（多晶粒設計無所不在）
Q&A
- 無 Q&A 紀錄
查證註記
- 本節內容整理自與會者社群共筆。
- 上述四個「AI 潛力」數據未查到 Arm 官方或第三方對這四個確切數字的獨立佐證來源，標記為僅有共筆記錄、未另外查證到公開出處，請勿再加工引申。
3從晶片設計到軟體堆疊：AMD 的 AI 策略張歐佑豪（AMD 台灣區商用業務處 資深技術顧問）
主張「為不同 AI 需求設計不同架構」，以 MI300X 192GB HBM3 對比 H100，說明可用更少張 GPU 跑模型。
重點整理
- 核心論點：「為不同的 AI 需求設計不同的架構」——列出的需求類型為 general process、inference、training、（其中一項用詞不易辨識，暫錄為「graining」，可能是手誤或縮寫，未能確認正確用詞）、low power。
- 另一核心論點：「封裝技術是領先市場的」。
- 具體規格對比：MI300X vs H100，MI300X 具備 192GB 的 HBM3，可以「用更少張的 GPU 跑 model，不用買這麼多張卡」——即以更大的單卡記憶體容量減少多卡並行的需求。
提到的技術・產品・數據
- MI300X
- AMD 資料中心 GPU，搭載 192GB HBM3
- H100
- NVIDIA 資料中心 GPU，作為對比基準
Q&A
- 無 Q&A 紀錄
查證註記
- 本節內容整理自與會者社群共筆。
- 經 WebSearch 交叉查證：MI300X 官方規格確為 192GB HBM3、記憶體頻寬 5.3 TB/s；NVIDIA H100 為 80GB HBM3、頻寬 3.35 TB/s，MI300X 的記憶體容量約為 H100 的 2.4～2.7 倍、頻寬約 1.6 倍，方向與規模都與共筆記錄的對比一致。來源：AMD 官網產品頁Lenovo Press 產品指南TRG DatacentersGPUPerHour
- 「用更少張的 GPU 跑 model」查到具體案例佐證：70B 參數模型的 FP16 精度（約需 140GB）可完整放進單張 MI300X（192GB）運算，但在 H100（80GB）上則需要至少兩張卡並搭配張量平行（tensor parallelism）才能運行。來源：TRG Datacenters
- 「封裝技術是領先市場的」：未查到 AMD 官方對應的具體公開數字，標記為僅有共筆記錄、未另外查證到可佐證的公開規格數字。
4廣達醫療 AI No-code 平台：QOCA aim楊子翔（廣達電腦 資深處長）
廣達用 no-code 平台 QOCA aim 把醫院端 AI 建模時間從兩週壓到兩小時，並逐步導入 LLM/RAG。
重點整理
- 開場用四個流行文化案例（ChatGPT、AI 生成畫作得獎爭議、《AI 人工智慧》電影、《2001太空漫遊》）帶出「AI 其實有很長的歷史，不是 2022 年才冒出來」的論點，並對照資訊科技史（算盤→大型主機→PC→WWW→2022 LLM）與醫療資訊史（1971 年醫院 terminal 主機只有 1MB 記憶體、John Hopkins 1980 年院內網路架構、2004 年預測 paper-base 轉 computer-base 的曲線）。
- 產業觀察：醫療 AI 影像辨識準確率在 2018 年左右開始快速提升，並帶動 FDA/TFDA、510(k) 認證軟體數量自 2018 起明顯成長，類別集中在 radiology（胸部 X 光、CT/MRI）、心血管、血液科等影像類應用。
- 廣達內部調查引用「導入 AI 的最大障礙是缺人才（63%）」「最重視資料安全性、傾向私有雲」等痛點，作為推出 no-code 平台的立論基礎。
- QOCA aim（Quanta Open Care AI，取名自澳洲短尾袋鼠 Quokka，號稱「世界上最快樂的動物」）：
- 1.0：結構化資料/醫學影像的 no-code 建模（分類、含可解釋性 heatmap，如心臟影像判讀熱區視覺化）
- 2.0：往 LLM／RAG／fine-tune 方向擴充，同樣走 no-code 路線，含 LLM playground 供 inference
- 操作介面單一頁面即含 20 多項功能按鈕，攤開細節達 150+ 個子功能；支援每一步驟前進/後退/整體 reset、新資料可整段 replay
- 實際場域效益：醫院端資料科學家與臨床醫師討論完資料後，用 no-code 平台可在兩小時內產出模型結果（含準確率、資料不平衡提示），相較過去委外建模「來回討論兩週」大幅縮短；平台已連續兩年在國際 workshop（因跨時區需分早晚兩場）教學，訓練成功次數達 80 次以上、成功率逾 90%，示範資料涵蓋子宮頸癌分類、乳癌影像等。
- 與 MIT 合作項目：借用 MIT 的 Segment Anything 延伸模型做標註輔助；智慧胸腔 X 光模組；放射治療模組；「V-Line」乳房攝影風險評估模組（預測未來 5 年風險）；「SEEBOR」肺癌風險模型（鎖定台灣非吸菸族群肺癌成因，如空污與快炒油煙，論文發表於 JCO 期刊）。
- 提出資料生命週期觀點：傳統建模流程（EDA、看分布圖、drop missing value、設定 feature/target、跑 random forest/XGBoost）其實只是整個資料收集—訓練—serving 循環中的一小塊；QOCA aim 額外把「serving」這塊也包起來，模型訓練完可直接產生 RESTful endpoint 或網頁介面供輸入預測。
- 廣達硬體事業三大支柱：Mobile Computing、Cloud Computing、AI Computing；並提及廣達生產過初代 Apple Watch、AI Server（暗示與輝達/伺服器合作）與自駕車零組件。
- 策略方向：目前平台僅用於醫療業，目標是逐步推廣到其他各行各業（呼應大會主題「百工百業用 AI」）。
提到的技術・產品・數據
- QOCA aim（Quanta Open Care AI）
- 廣達醫療 AI no-code/low-code 雲平台，1.0 聚焦影像/結構化資料建模，2.0 擴充 LLM/RAG
- MIT Segment Anything
- 延伸應用於標註輔助
- V-Line
- 乳房攝影 5 年風險評估模組
- SEEBOR
- 肺癌風險模型（發表於 JCO）
值得記下的觀點
「Google 告訴我們，剛剛我們做的那件事情，只是（資料生命週期）畫面上中間那一個小黑框而已。」（論證建模只是資料工程全流程的一小段）
Q&A
- 無 Q&A 紀錄
查證註記
- 經 WebSearch 查證：QOCA aim 確為廣達人工智慧醫療雲平台，主打 no-code/low-code 協助醫院分析醫學影像與結構化資料，已與台北醫學大學、榮總、國泰、輔大等醫院合作（如國泰醫院心血管中心智慧病房系統），與演講內容吻合。來源：數位時代成大醫院 QOCA AIM 簡介QOCA 官網
5用 NAND Flash 幫 GPU 擴充記憶體：Phison aiDAPTIV林緯（群聯電子 技術長）
群聯用 SSD／NAND Flash 幫 GPU 擴充「記憶體」而非算力，讓 90B 模型地端訓練成本砍到十分之一以下。
重點整理
- 公司背景：群聯是 NAND Flash 解決方案公司，全球市占約 20%（每年約 35 億顆含 NAND Flash 的電子元件中，群聯供應約 7 億顆）；曾參與 NASA 2021 年火星「毅力號」任務（主機板最大顆 IC 為群聯 SSD），近期把 SSD 送上太空站再取回測試，並提及與 NASA 合作「月球資料中心」構想。
- 核心問題診斷：傳統 AI 伺服器架構下，運算（GPU IC）與記憶體（HBM）綁在一起由 NVIDIA 主導定義整個軟硬體堆疊（從 driver 到硬體層），導致 CPU、系統 DRAM、傳統 SSD 在訓練/推論時幾乎閒置（講者戲稱「在當薪水小偷」）。由於現在深度學習模型規模是過去 CV/語音模型的百到千倍，訓練瓶頸已從「算力不夠」變成「顯存（VRAM/HBM）不夠」，但 NVIDIA 把算力和記憶體綁在一起賣，因而墊高了企業自建 AI 的門檻。
- 具體成本數字：H100 單卡台灣約近 100 萬台幣（若隨身攜帶出境約漲到 200 萬）；HBM 每 GB 約 200 美元，NAND Flash 每 GB 約 0.1 美元（近 2000 倍價差）；訓練 LLaMA 3.2 90B 多模態模型若走傳統架構，建置成本至少需 3000 萬台幣；換算高速網路交換器（NVLink、400G）單台約 1000 萬台幣。
- aiDAPTIV 解法：透過自研記憶體管理程式，讓 GPU 除了 HBM 外，也能把系統 DRAM 與 NAND Flash SSD 當作可用的「AI 記憶體擴充層」，用犧牲部分速度換取可負擔的容量。宣稱用此方案訓練 90B 模型成本可降到十分之一以下（不到 100 萬台幣，甚至有客戶用約 10 萬元桌機完成 90B 全參數訓練，需時約 4 小時／10M token）。
- 叢集網路架構創新：由於每個 node 都持有完整資料，不需要像傳統多卡訓練那樣依賴 NVLink 等 400G 高速網路互聯（交換器約 1000 萬台幣/台），改用 10G 一般網路即可（交換器約 1000 元台幣/台）；四台機器用低速網路串連的實測效能約為單台的 4 倍，scaling factor 約 0.9 以上。
- 產品線分級：一卡機（面向學校教育，單卡即可做 8B/13B 等模型的 inference 與全參數訓練，四台串聯可訓練 70B/90B 全參數模型）；workstation（小型企業）；8 卡機（中大型企業，群聯自己用兩台 8 卡機服務全公司 4000 名員工的 AI 助理系統）。
- 落地部署三大理由：① 安全性——企業機密郵件/文件不外洩到雲端 ② 自主可控——雲端大模型會因政策/敏感詞拒絕產出特定內容（現場舉例：與警局合作 AI 筆錄系統時，涉及兒少性剝削案件的敏感字詞會被 ChatGPT 直接刪除拒答，警方目前只能手動替換敏感詞如「外送員」代稱「車手」規避審查）③ 成本會隨模型規模指數增長，難以持續追加預算。
- 內部 AI 助理「Javis」：訓練資料來自公司內部 email 語料，功能包含郵件摘要、翻譯、自動生成回覆草稿、附件分析、會議錄音轉 meeting minutes；並提及可自動生成訓練用的 training set（丟入文件即可自動產生 RAG/finetune 所需資料），宣稱「地端模型 + RAG + FineTune」效果優於「雲端 ChatGPT + RAG」。
- 教育推廣：捐贈 adaptive drive 硬體與完整課程講義/Lab 設計給大專院校（如交大），協助建置 AI 電腦教室；也捐給警察局、醫院、政府機關做筆錄生成、病歷生成、文書工作等 total solution。
提到的技術・產品・數據
- aiDAPTIV+（群聯的 GPU 記憶體擴充方案）
- 用 NAND Flash SSD + 系統 DRAM 當 GPU 的擴充記憶體層，突破 VRAM 容量限制
- HBM vs. NAND Flash 每 GB 成本對比
- 約 200 美元 vs. 0.1 美元
- LLaMA 3.2（含 1B/3B/90B 多模態版本）
- 現場多次以此系列模型的訓練需求作為成本示例
- NVLink / 400G 高速網路 vs. 10G 一般網路
- 群聯架構下的網路降規方案
值得記下的觀點
「你到底 NVIDIA 賣的是算力還是賣 RAM？就是要一起賣。」
「你如果有一個落地模型，訓練完了以後⋯⋯這是至高無上的權利，所以鼓勵大家落地訓練自己的模型，你可以掌控一切。」
Q&A
- 無 Q&A 紀錄
查證註記
- 經 WebSearch 查證：群聯（Phison）的 aiDAPTIV+ 為真實產品，官方說明與演講內容一致——「利用群聯 NAND 專業技術設計的 SSD，透過 aiDAPTIVlink 控制，將資料切割並傳輸至 GPU 處理」，用以突破 GPU 記憶體容量限制。2024 年會演講當時的產品名稱即為 aiDAPTIV+；官方新聞稿顯示群聯在 2026 年進一步把技術升級為「aiDAPTIV 多層級記憶體架構」並推出專用的 Pascari SSD、擴展至 iGPU PC 平台，屬本場演講之後的後續產品迭代，非 2024 年演講當下的內容，特此註明時間差異。來源：經濟日報群聯官網新聞稿TechNews
- 「太空站送回地球的 SSD」「NASA 月球資料中心合作」等說法屬講者現場口頭敘述，未能另外查證到獨立新聞來源佐證細節，標記（未能查證細節，但與群聯長期宣傳的航太合作案例方向一致）。