# Day 1（2024/09/27）R2 第二會議室 — 平台服務（13:00–17:00）

> 主持人：高宏宇（清華大學 資訊學院教授）

## 本場速覽

| 講者 | 講題 | 一句話重點 |
|---|---|---|
| 蔡祈岩（台灣大哥大 副總經理暨資訊長） | AI, the Age of It | 用「它時代」的科技史觀，提出企業導入 AI 的 Five Dimensions 架構與台灣大哥大客服場域實例 |
| 徐達勇（安謀國際 Arm 應用工程總監） | Building the AI Compute Platform of the Future | 以「Change is Relentless」「Multi-Die Everywhere」為主軸，列舉 AI 對醫療、汽車、教育、氣候變遷四大領域的潛力數據 |
| 張歐佑豪（AMD 台灣區商用業務處 資深技術顧問） | From Silicon Design to Software Stack: AMD AI Strategy | 主張「為不同 AI 需求設計不同架構」，以 MI300X 192GB HBM3 對比 H100，說明可用更少 GPU 跑模型 |
| 楊子翔（廣達電腦 資深處長） | From no-code, low-code to full-code AI model DevOps: QOCA aim | 廣達醫療 AI no-code 平台 QOCA aim，2 小時內完成建模、已與多家醫院及國際 workshop 合作 |
| 林緯（群聯電子 技術長） | Breaking Barriers in Generative AI Deployment: Phison aiDAPTIV | 用 NAND Flash 幫 GPU 擴充「記憶體」而非算力，把 90B 模型訓練成本從 3000 萬砍到 100 萬以下 |

---

## 1. AI 時代的科技史觀與企業導入五維架構（AI, the Age of It: A Great Opportunity for Taiwanese Businesses）

**講者**：蔡祈岩（台灣大哥大 副總經理暨資訊長）

### 一句話總結
用資訊科技 80 年「20 年一浪」史觀，提出企業導入 AI 的五維框架與台灣大哥大實例。

### 重點整理
- 開場自我介紹提到大一（交大資工）自製遊戲《決戰俄羅斯》，在台灣賣約 10 萬套，靠版權收入付完大學研究所學費——與公開報導（見查證註記）完全吻合。
- 提出「每 20 年一個 Mega Wave」的資訊科技史觀：1946 政府用大型主機（掌握戰後世界秩序）→ 1959 IBM 7090 讓企業擁有電腦（MRP/ERP/全球運籌）→ 1977–81 Apple/IBM PC 讓電腦進入桌面、催生知識經濟與 Internet（台灣藉此切入 IBM 開放架構供應鏈，是台積電/半導體今日榮景的起點）→ 1999 PALM 帶起行動裝置（中國大陸是最大受益者，台灣只是慣性成長）→ 2020–2040 AI（他命名為「它時代」，it 相對於 he/she，代表有思考能力的存在）。
- 論證「它時代」已啟動的兩個徵兆：(1) Stanford 2024 AI Index 顯示 2017/18 後產業大模型投入數量對學術界出現黃金交叉；(2) AI 性能評測曲線持續逼近甚至超越人類 baseline。
- 提出企業導入 AI 的「Five Dimensions」架構（可任選兩兩相交形成戰略平面，任選三維形成戰略空間）：① 提升員工生產力 ② 串接數位平台（內部 ERP/HR/財務系統 + 對外官網/App 皆可「裝上 AI 大腦」）③ 連結 AI 生態圈（開源社群、Hugging Face，並提出這能提高留才率）④ 訓練企業自有模型 ⑤ AI 倫理（資安、著作權、法遵——他認為現階段屬技術可控問題）。
- 內部推動 AI 落地的兩套機制：**Inside-out**——每月最後一個週五辦 AI Hackathon，規定 IT 工程師只能針對「自己手上正在開發或維運的系統」提案（不准幫別人的系統出主意），向 5 位 IT 處長 pitch 3–5 分鐘，需拿到 3 張同意牌才過關；首年約 30 幾套系統過關，但只有約 5 個真正被業務單位（BU）採用。**Outside-in**——兩天一夜黑客松，由 BU 帶隊組隊提案，約 40 組進入決賽，由 CEO/CXO 評審決定資源挹注。核心原則：「聽見炮聲的人指揮」戰術層決策，CEO 只決定戰略層要不要投入資源。
- 強調 local model 的必要性：ChatGPT 聽不懂台灣人國台客語混雜的說話方式；台灣大哥大自建客服系統中 Whisper 模型持續把「摸乳（MO，門號）」聽成別的詞，是本地化語音模型不可或缺的具體案例。
- 台灣大哥大最終選定「客服領域」訓練自有模型，已上線功能包含：AI 直接應對客人、身分核聲、客服人員的語音質檢、通話逐字稿、話後小結；另規劃 AI Agent（類似「懂公司流程的 ChatGPT」，可接內部系統辦請假、約會議）與 AI Mentor（coding mentor 訓練 junior 工程師、客服陪練員模擬客戶來電並即時評分）。
- 提到 IT 工程師導入 AI 後，coding 生產力經內部調查「至少提升 3 倍」，AI CodeReview 與 COBOL/Stored Procedure 轉譯 Java 的完成度約 80–90%。

### 值得記下的觀點 / 金句
> 「2024 年 AI 你現在看到，你還在嘲笑它有幻覺⋯⋯你就想想 1984，你看到的那個玩具。」
> 「錢是最理性的投資者⋯⋯不見兔子不撒鷹，當你發現全部的鷹都飛出去了，你就知道老獵手一定看到了很多兔子。」

### 提到的技術・產品・數據
- Stanford 2024 AI Index → 學界/業界大模型投入黃金交叉、AI 性能逼近人類 baseline 的資料來源
- ChatGPT、Hugging Face、Whisper（語音辨識模型，台語國語混雜辨識失準案例）
- momo（台灣大哥大子公司）→ 早期押注 App 而非桌機瀏覽器，用以說明「早一點掌握行動裝置紅利」

### Q&A
- 無 Q&A 紀錄

### 查證註記
- 經 WebSearch 查證：蔡祈岩現任台灣大哥大副總經理暨資訊長，曾任星展銀行（台灣）科技長、信義房屋集團資訊長、匯豐銀行（中國）高級副總裁，並確實是大一時開發《決戰俄羅斯》遊戲、獲全國遊戲設計金磁片獎的本人，與其演講中的自我介紹完全吻合。來源：[經理人](https://www.managertoday.com.tw/articles/view/70589)、[數位時代](https://www.bnext.com.tw/article/67673/taiwan-mobile-new-cio)、[工商時報](https://ctee.com.tw/news/tech/595016.html)

---

## 2. 打造未來的 AI 運算平台（Building the AI Compute Platform of the Future）

**講者**：徐達勇（安謀國際 Arm 應用工程總監）

### 一句話總結
以「Change is Relentless」與「Multi-Die Everywhere」為論述主軸，用四個產業別數據說明 AI 的潛力。

### 重點整理
- 論述主軸為 **「Change is Relentless」（變化從未停歇）** 與 **「Multi-Die Everywhere」（多晶粒設計無所不在）**。
- 提出「設計與製造週期持續拉長」（Design & Manufacturing Cycle Times Keep Getting Longer）的觀察，論點是週期拉長 → 成本墊高，藉此帶出 AI 導入晶片設計/製造流程的必要性。
- 以「AI - The Potential」為題，舉出四個產業別的 AI 潛力數據：
  - **Healthcare（醫療）**：AI 可將研發週期縮短 **50%**（原文 50% Shortened R&D Cycle），對應縮短藥品開發時間。
  - **Automotive（汽車）**：AI 每年可多拯救 **超過 100 萬條性命**（原文 1,000,000+ Lives Saved Each Year），對應降低車禍事故與死亡率。
  - **Education（教育）**：AI 可讓一對一家教的可及性提升 **50 倍**（原文 50x Increase in Tutoring Access），對應個人化課程設計。
  - **Climate Change（氣候變遷）**：AI 分析/運算速度可比人類快 **10,000 倍**（原文 10,000x Faster than a Human），對應節省人類分析與運算的時間。

### 值得記下的觀點 / 金句
> 「Change is Relentless」（變化從未停歇）
> 「Multi-Die Everywhere」（多晶粒設計無所不在）

### 提到的技術・產品・數據
- 「AI - The Potential」四項產業數據 → 醫療（研發週期 -50%）、汽車（每年多救 100 萬+ 條命）、教育（家教可及性 x50）、氣候變遷（分析速度 x10,000）

### Q&A
- 無 Q&A 紀錄

### 查證註記
- 本節內容整理自與會者社群共筆。
- 上述四個「AI 潛力」數據未查到 Arm 官方或第三方對這四個確切數字的獨立佐證來源，標記為僅有共筆記錄、未另外查證到公開出處，請勿再加工引申。

---

## 3. 從晶片設計到軟體堆疊：AMD 的 AI 策略（From Silicon Design to Software Stack: AMD AI Strategy）

**講者**：張歐佑豪（AMD 台灣區商用業務處 資深技術顧問）

### 一句話總結
主張「為不同 AI 需求設計不同架構」，以 MI300X 192GB HBM3 對比 H100，說明可用更少張 GPU 跑模型。

### 重點整理
- 核心論點：**「為不同的 AI 需求設計不同的架構」**——列出的需求類型為 general process、inference、training、（其中一項用詞不易辨識，暫錄為「graining」，可能是手誤或縮寫，未能確認正確用詞）、low power。
- 另一核心論點：**「封裝技術是領先市場的」**。
- 具體規格對比：**MI300X vs H100**，MI300X 具備 **192GB 的 HBM3**，可以「用更少張的 GPU 跑 model，不用買這麼多張卡」——即以更大的單卡記憶體容量減少多卡並行的需求。

### 提到的技術・產品・數據
- **MI300X** → AMD 資料中心 GPU，搭載 192GB HBM3
- **H100** → NVIDIA 資料中心 GPU，作為對比基準

### Q&A
- 無 Q&A 紀錄

### 查證註記
- 本節內容整理自與會者社群共筆。
- 經 WebSearch 交叉查證：MI300X 官方規格確為 **192GB HBM3**、記憶體頻寬 **5.3 TB/s**；NVIDIA H100 為 **80GB HBM3**、頻寬 **3.35 TB/s**，MI300X 的記憶體容量約為 H100 的 **2.4～2.7 倍**、頻寬約 **1.6 倍**，方向與規模都與共筆記錄的對比一致。來源：[AMD 官網產品頁](https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html)、[Lenovo Press 產品指南](https://lenovopress.lenovo.com/lp1943-thinksystem-amd-mi300x-192gb-750w-8-gpu-board)、[TRG Datacenters](https://www.trgdatacenters.com/resource/mi300x-vs-h100/)、[GPUPerHour](https://gpuperhour.com/compare/mi300x-vs-h100)
- 「用更少張的 GPU 跑 model」查到具體案例佐證：70B 參數模型的 FP16 精度（約需 140GB）可完整放進**單張** MI300X（192GB）運算，但在 H100（80GB）上則需要**至少兩張卡**並搭配張量平行（tensor parallelism）才能運行。來源：[TRG Datacenters](https://www.trgdatacenters.com/resource/mi300x-vs-h100/)
- 「封裝技術是領先市場的」：未查到 AMD 官方對應的具體公開數字，標記為僅有共筆記錄、未另外查證到可佐證的公開規格數字。

---

## 4. 廣達醫療 AI No-code 平台：QOCA aim（From no-code, low-code to full-code AI model DevOps）

**講者**：楊子翔（廣達電腦 資深處長）

### 一句話總結
廣達用 no-code 平台 QOCA aim 把醫院端 AI 建模時間從兩週壓到兩小時，並逐步導入 LLM/RAG。

### 重點整理
- 開場用四個流行文化案例（ChatGPT、AI 生成畫作得獎爭議、《AI 人工智慧》電影、《2001太空漫遊》）帶出「AI 其實有很長的歷史，不是 2022 年才冒出來」的論點，並對照資訊科技史（算盤→大型主機→PC→WWW→2022 LLM）與醫療資訊史（1971 年醫院 terminal 主機只有 1MB 記憶體、John Hopkins 1980 年院內網路架構、2004 年預測 paper-base 轉 computer-base 的曲線）。
- 產業觀察：醫療 AI 影像辨識準確率在 2018 年左右開始快速提升，並帶動 FDA/TFDA、510(k) 認證軟體數量自 2018 起明顯成長，類別集中在 radiology（胸部 X 光、CT/MRI）、心血管、血液科等影像類應用。
- 廣達內部調查引用「導入 AI 的最大障礙是缺人才（63%）」「最重視資料安全性、傾向私有雲」等痛點，作為推出 no-code 平台的立論基礎。
- **QOCA aim**（Quanta Open Care AI，取名自澳洲短尾袋鼠 Quokka，號稱「世界上最快樂的動物」）：
  - 1.0：結構化資料/醫學影像的 no-code 建模（分類、含可解釋性 heatmap，如心臟影像判讀熱區視覺化）
  - 2.0：往 LLM／RAG／fine-tune 方向擴充，同樣走 no-code 路線，含 LLM playground 供 inference
  - 操作介面單一頁面即含 20 多項功能按鈕，攤開細節達 150+ 個子功能；支援每一步驟前進/後退/整體 reset、新資料可整段 replay
- 實際場域效益：醫院端資料科學家與臨床醫師討論完資料後，用 no-code 平台可在**兩小時內**產出模型結果（含準確率、資料不平衡提示），相較過去委外建模「來回討論兩週」大幅縮短；平台已連續兩年在國際 workshop（因跨時區需分早晚兩場）教學，訓練成功次數達 80 次以上、成功率逾 90%，示範資料涵蓋子宮頸癌分類、乳癌影像等。
- 與 MIT 合作項目：借用 MIT 的 Segment Anything 延伸模型做標註輔助；智慧胸腔 X 光模組；放射治療模組；「V-Line」乳房攝影風險評估模組（預測未來 5 年風險）；「SEEBOR」肺癌風險模型（鎖定台灣非吸菸族群肺癌成因，如空污與快炒油煙，論文發表於 JCO 期刊）。
- 提出資料生命週期觀點：傳統建模流程（EDA、看分布圖、drop missing value、設定 feature/target、跑 random forest/XGBoost）其實只是整個資料收集—訓練—serving 循環中的一小塊；QOCA aim 額外把「serving」這塊也包起來，模型訓練完可直接產生 RESTful endpoint 或網頁介面供輸入預測。
- 廣達硬體事業三大支柱：Mobile Computing、Cloud Computing、AI Computing；並提及廣達生產過初代 Apple Watch、AI Server（暗示與輝達/伺服器合作）與自駕車零組件。
- 策略方向：目前平台僅用於醫療業，目標是逐步推廣到其他各行各業（呼應大會主題「百工百業用 AI」）。

### 值得記下的觀點 / 金句
> 「Google 告訴我們，剛剛我們做的那件事情，只是（資料生命週期）畫面上中間那一個小黑框而已。」（論證建模只是資料工程全流程的一小段）

### 提到的技術・產品・數據
- **QOCA aim**（Quanta Open Care AI）→ 廣達醫療 AI no-code/low-code 雲平台，1.0 聚焦影像/結構化資料建模，2.0 擴充 LLM/RAG
- MIT Segment Anything → 延伸應用於標註輔助
- V-Line → 乳房攝影 5 年風險評估模組
- SEEBOR → 肺癌風險模型（發表於 JCO）

### Q&A
- 無 Q&A 紀錄

### 查證註記
- 經 WebSearch 查證：QOCA aim 確為廣達人工智慧醫療雲平台，主打 no-code/low-code 協助醫院分析醫學影像與結構化資料，已與台北醫學大學、榮總、國泰、輔大等醫院合作（如國泰醫院心血管中心智慧病房系統），與演講內容吻合。來源：[數位時代](https://www.bnext.com.tw/article/59822/quanta-qoca-aim)、[成大醫院 QOCA AIM 簡介](https://cic.hosp.ncku.edu.tw/p/426-1024-13.php?Lang=zh-tw)、[QOCA 官網](https://www.qoca.net/zh/product.php?id=7)

---

## 5. 用 NAND Flash 幫 GPU 擴充記憶體：Phison aiDAPTIV（Breaking Barriers in Generative AI Deployment）

**講者**：林緯（群聯電子 技術長）

### 一句話總結
群聯用 SSD／NAND Flash 幫 GPU 擴充「記憶體」而非算力，讓 90B 模型地端訓練成本砍到十分之一以下。

### 重點整理
- 公司背景：群聯是 NAND Flash 解決方案公司，全球市占約 20%（每年約 35 億顆含 NAND Flash 的電子元件中，群聯供應約 7 億顆）；曾參與 NASA 2021 年火星「毅力號」任務（主機板最大顆 IC 為群聯 SSD），近期把 SSD 送上太空站再取回測試，並提及與 NASA 合作「月球資料中心」構想。
- **核心問題診斷**：傳統 AI 伺服器架構下，運算（GPU IC）與記憶體（HBM）綁在一起由 NVIDIA 主導定義整個軟硬體堆疊（從 driver 到硬體層），導致 CPU、系統 DRAM、傳統 SSD 在訓練/推論時幾乎閒置（講者戲稱「在當薪水小偷」）。由於現在深度學習模型規模是過去 CV/語音模型的百到千倍，訓練瓶頸已從「算力不夠」變成「顯存（VRAM/HBM）不夠」，但 NVIDIA 把算力和記憶體綁在一起賣，因而墊高了企業自建 AI 的門檻。
- **具體成本數字**：H100 單卡台灣約近 100 萬台幣（若隨身攜帶出境約漲到 200 萬）；HBM 每 GB 約 200 美元，NAND Flash 每 GB 約 0.1 美元（近 2000 倍價差）；訓練 LLaMA 3.2 90B 多模態模型若走傳統架構，建置成本至少需 3000 萬台幣；換算高速網路交換器（NVLink、400G）單台約 1000 萬台幣。
- **aiDAPTIV 解法**：透過自研記憶體管理程式，讓 GPU 除了 HBM 外，也能把系統 DRAM 與 NAND Flash SSD 當作可用的「AI 記憶體擴充層」，用犧牲部分速度換取可負擔的容量。宣稱用此方案訓練 90B 模型成本可降到十分之一以下（不到 100 萬台幣，甚至有客戶用約 10 萬元桌機完成 90B 全參數訓練，需時約 4 小時／10M token）。
- **叢集網路架構創新**：由於每個 node 都持有完整資料，不需要像傳統多卡訓練那樣依賴 NVLink 等 400G 高速網路互聯（交換器約 1000 萬台幣/台），改用 10G 一般網路即可（交換器約 1000 元台幣/台）；四台機器用低速網路串連的實測效能約為單台的 4 倍，scaling factor 約 0.9 以上。
- **產品線分級**：一卡機（面向學校教育，單卡即可做 8B/13B 等模型的 inference 與全參數訓練，四台串聯可訓練 70B/90B 全參數模型）；workstation（小型企業）；8 卡機（中大型企業，群聯自己用兩台 8 卡機服務全公司 4000 名員工的 AI 助理系統）。
- **落地部署三大理由**：① 安全性——企業機密郵件/文件不外洩到雲端 ② 自主可控——雲端大模型會因政策/敏感詞拒絕產出特定內容（現場舉例：與警局合作 AI 筆錄系統時，涉及兒少性剝削案件的敏感字詞會被 ChatGPT 直接刪除拒答，警方目前只能手動替換敏感詞如「外送員」代稱「車手」規避審查）③ 成本會隨模型規模指數增長，難以持續追加預算。
- 內部 AI 助理「Javis」：訓練資料來自公司內部 email 語料，功能包含郵件摘要、翻譯、自動生成回覆草稿、附件分析、會議錄音轉 meeting minutes；並提及可自動生成訓練用的 training set（丟入文件即可自動產生 RAG/finetune 所需資料），宣稱「地端模型 + RAG + FineTune」效果優於「雲端 ChatGPT + RAG」。
- 教育推廣：捐贈 adaptive drive 硬體與完整課程講義/Lab 設計給大專院校（如交大），協助建置 AI 電腦教室；也捐給警察局、醫院、政府機關做筆錄生成、病歷生成、文書工作等 total solution。

### 值得記下的觀點 / 金句
> 「你到底 NVIDIA 賣的是算力還是賣 RAM？就是要一起賣。」
> 「你如果有一個落地模型，訓練完了以後⋯⋯這是至高無上的權利，所以鼓勵大家落地訓練自己的模型，你可以掌控一切。」

### 提到的技術・產品・數據
- **aiDAPTIV+**（群聯的 GPU 記憶體擴充方案）→ 用 NAND Flash SSD + 系統 DRAM 當 GPU 的擴充記憶體層，突破 VRAM 容量限制
- HBM vs. NAND Flash 每 GB 成本對比（約 200 美元 vs. 0.1 美元）
- LLaMA 3.2（含 1B/3B/90B 多模態版本）→ 現場多次以此系列模型的訓練需求作為成本示例
- NVLink / 400G 高速網路 vs. 10G 一般網路 → 群聯架構下的網路降規方案

### Q&A
- 無 Q&A 紀錄

### 查證註記
- 經 WebSearch 查證：群聯（Phison）的 aiDAPTIV+ 為真實產品，官方說明與演講內容一致——「利用群聯 NAND 專業技術設計的 SSD，透過 aiDAPTIVlink 控制，將資料切割並傳輸至 GPU 處理」，用以突破 GPU 記憶體容量限制。2024 年會演講當時的產品名稱即為 aiDAPTIV+；官方新聞稿顯示群聯在 2026 年進一步把技術升級為「aiDAPTIV 多層級記憶體架構」並推出專用的 Pascari SSD、擴展至 iGPU PC 平台，屬本場演講之後的後續產品迭代，非 2024 年演講當下的內容，特此註明時間差異。來源：[經濟日報](https://money.udn.com/money/story/5612/8618848)、[群聯官網新聞稿](https://www.phison.com/zh-tw/category/article/press-releases/%E7%BE%A4%E8%81%AF%E6%93%B4%E5%B1%95-aidaptiv-gpu-%E8%A8%98%E6%86%B6%E9%AB%94%E6%93%B4%E5%85%85%E8%83%BD%E5%8A%9B-%E6%94%AF%E6%8F%B4%E6%9B%B4%E5%A4%9A%E5%B9%B3%E5%8F%B0-%E6%8F%90%E5%8D%87%E9%82%8A%E7%B7%A3-llm-%E8%A8%93%E7%B7%B4%E8%88%87%E6%8E%A8%E8%AB%96%E6%95%88%E8%83%BD)、[TechNews](https://technews.tw/2026/03/17/phison-announces-aidaptiv-multi-level-memory-architecture-technology/)
- 「太空站送回地球的 SSD」「NASA 月球資料中心合作」等說法屬講者現場口頭敘述，未能另外查證到獨立新聞來源佐證細節，標記（未能查證細節，但與群聯長期宣傳的航太合作案例方向一致）。