# Day 1（2024/09/27）R3 學術活動中心 2F — 深度技術（13:00–17:00）

> 主持人：莊坤達 副教授（成功大學）

## 本場速覽

| 講者 | 講題 | 一句話重點 |
|---|---|---|
| 陳宜昌（聯發創新基地／MediaTek Research，Senior Technology Manager） | Breeze 2.0: An Open-source Traditional Chinese LLM | 開源 Breeze 家族朝 Function Calling／Vision／台灣腔 TTS 等「開發者導向」功能擴展，並釋出繁中版 Function Calling 評測集與模型。 |
| 吳振和（cacaFly Cloud AI+ Center, VP） | Implementing RAG in Multimodal Architectures for Image Generation | 拆解 Text-to-Image 的 prompt 構面與痛點，用圖文共同訓練 embedding、以 RAG 補全 prompt，朝「無詠唱 AI」邁進。 |
| 黃彥翔（Cadence，應用工程總監） | Intelligent System Design for Optimized IC Design | Cadence 用強化學習（Cerebrus）與生成式 AI（Voltus InsightAI）自動化 IC 設計中的 PPA 優化與 IR Drop 除錯，把原本要數週的迭代壓縮到 1–2 次。 |
| 黃瀚萱（中研院資訊所 副研究員／TAIDE 模型鑄造組顧問） | The Development of Multimodal TAIDE Models | TAIDE 只用合法授權資料訓練主權 LLM，2024 年目標從純文字擴展到多模態，但台灣相關可用影像資料極度稀缺（Wiki 僅 1300 張）。 |
| 邱銘彰（台灣駭客協會 顧問／奧義智慧 CyCraft 共同創辦人） | AI 專案成功背後的奧義 | 用複雜系統科學（Double Descent、Spectral Bias、Condensation）解釋 DNN 為何能 generalize，並歸納資安 AI 專案常見的 feature 設計與 inductive bias 陷阱。 |
| 翁浩正（DEVCORE 戴夫寇爾 CEO） | The Evolution of Cybersecurity Attacks in the GenAI Era | 從紅隊視角盤點 GenAI 對社交工程／釣魚／滲透測試工具鏈的影響：學習與輔助面很強，但「一擊必殺」的精準滲透與 zero-day 挖掘仍難以取代人類創造力。 |
| 查士朝（台科大資管系 教授／資通安全研究與教學中心 主任） | AI and Security Governance | 區分資安管理與資安治理，示範用 GenAI 協助管理審查會議資料彙整、風險評估與政策草擬，但強調機密外洩與正確性仍是兩大挑戰。 |

---

## 1. Breeze 2.0：開源繁體中文大型語言模型的開發者導向新功能 (Breeze 2.0: An Open-source Traditional Chinese LLM)

**講者**：陳宜昌（聯發創新基地 MediaTek Research，Senior Technology Manager；自稱 YC）

### 一句話總結
MediaTek Research 把 Breeze 系列從「會講中文」推進到「會用工具、看圖表、講台灣腔」的開發者導向模型。

### 重點整理
- 聯發創新基地（MediaTek Research）是聯發科集團的 AI 研究院，據點在英國劍橋、倫敦與台灣（台大），成立 5 年已發表 59 篇學術論文，近一年開源模型累積下載超過 10 萬次。
- Breeze 家族：Breeze-7B、Breeze-8x7B（MoE）是台灣（甚至全球）首批開源的繁體中文大型語言模型與繁中評測集，訓練資料量達 500GB 以上（借助台北 ONE 計算資源），Breeze-8x7B 在中文表現上達到與 GPT-3.5 同等分數。
- GFD（Generative Fusion Decoder，講者稱為 shallow fusion 技術）：讓語音辨識模型結合 LLM，可用「情境提示」（scenario prompt）方式讓 ASR 針對特定領域（如客服、金融業術語）辨識得更準；經查證為 MediaTek Research 真實研究成果，論文為《Let's Fuse Step by Step》(arXiv:2405.14259)，可在推論時直接融合 LLM 與 ASR/OCR 模型，不需重新訓練。
- Breeze 2.0 的重心是「開發者導向」功能，分三個面向：語言模型（RAG、Long Context、Function Calling、Vision/Chart）、語音辨識（GFD）、語音合成（TTS）。示範情境包括客服中心（語音轉文字 + 意圖偵測 + Function Calling 串接後端系統）與企業知識管理（讀懂財報/合規報告等圖表 + Function Calling 查詢內部資料）。
- Function Calling 技術細節：訓練時在 assistant 回合前導入 `tools` 角色描述可用函式，並設計了一個「先做相關性分類」的特殊 token（先判斷該不該用 tool 再決定要不要往下生成呼叫參數），講者表示這個做法「過去論文沒有看到」，可讓後續生成更穩定。
- Function Calling 依函式數量／呼叫次數分為 5 類：simple、multiple、parallel、parallel multiple、irrelevant（完全不需要用到任何 function）——對應國際知名的 Berkeley Function-Calling Leaderboard (BFCL) 評測架構（含 AST 比對、實際 API 執行結果比對、無關問題測試三種評分方式）。
- 團隊將 BFCL 翻譯校正並在地化，釋出繁體中文版 Function Calling 評測集，並開源 Breeze-7B Function Calling 模型；在「同時能聊天又能做 Function Calling」的模型中，繁中評測表現優於同類（含 Berkeley 自家的 Gorilla 模型），且勝過 GPT-3.5，但聊天能力相較上一代 Breeze 略有折損。
- Pretraining／Post-training 概念說明：pretraining 靠 next-token prediction 從海量語料（如 Llama 3 用 75TB 英文資料）壓縮出語意與推理能力；post-training 則是套用對話模板教模型變成聊天機器人，Function Calling 訓練也是同一套模板邏輯，只是多了 `tools` 角色與特殊 token。
- Vision／Chart 理解：團隊正在建立台灣本土的圖表理解評測集，涵蓋考試題（含圖的數學/歷史題）、商業流程圖／資訊圖表、人物關係圖、生活類、手機 UI 理解等題型，即將釋出。
- TTS 展示：用內部代號「UHINA」的 TTS 完全合成 AI YouTuber 李鴻毅的聲音製作了一支廣告（本人並未實際錄音，僅授權聲音使用），強調高度自然的台灣口音與僅需約 10 秒錄音即可做 Voice Cloning；技術管線為文字 → 注音（用團隊自研的破音字消歧模型轉換）→ Speech Token LM → 聲碼器（流匹配／擴散模型）→ Mel 頻譜 → 語音。經查證，公開釋出的對應開源專案為 **BreezyVoice**（arXiv:2501.17790，MediaTek Research × 台大合作），採用 CosyVoice 架構、S3 tokenizer + LLM + OT-CFM（optimal-transport conditional flow matching）+ 注音輸入做破音字消歧，技術管線與講者描述一致；內部代號「UHINA」可能是專案代稱，公開名稱以 BreezyVoice 為準。

### 值得記下的觀點 / 金句
> 「語言模型對我們研究員來說，其實就是一個非常好的語意空間的描述……它就像是一個語意空間的完整地圖，精度非常高的一個地圖。」

### 提到的技術・產品・數據
- Breeze-7B / Breeze-8x7B（MoE）→ MediaTek Research 開源的繁體中文基礎模型，8x7B 中文表現達 GPT-3.5 等級。
- Breeze-7B-FC（Function Calling 版）→ 已開源，於自建繁中 BFCL 評測中領先同類可 Function Calling 模型。[Hugging Face](https://huggingface.co/MediaTek-Research/Breeze-7B-FC-v1_0)
- Generative Fusion Decoder (GFD) → LLM 與 ASR/OCR 的免訓練 shallow fusion 框架。[論文](https://arxiv.org/abs/2405.14259)、[GitHub](https://github.com/mtkresearch/generative-fusion-decoding)
- BreezyVoice → 台灣腔 TTS、可 10 秒聲音克隆，基於 CosyVoice + 注音消歧。[論文](https://arxiv.org/html/2501.17790v1)、[Hugging Face](https://huggingface.co/MediaTek-Research/BreezyVoice)
- Berkeley Function-Calling Leaderboard (BFCL) → Function Calling 評測標準，Breeze 團隊翻譯出繁中版並開源評測集。[GitHub](https://github.com/mtkresearch/function-calling-leaderboard-for-zhtw)
- Breeze 2 Herd of Models（3B/8B，含 Vision + Function Calling）→ 演講後於 2025/01 才正式發表論文（arXiv:2501.13921），本場演講內容為其發表前的預告分享。

### Q&A
- 無 Q&A（主持人直接串接下一場，中間無互動提問片段）。

### 查證註記
- 講者姓名、公司、職稱均與官方議程一致（陳宜昌／聯發創新基地／Senior Technology Manager），無需修正。
- GFD、BreezyVoice、Breeze-7B-FC、BFCL 繁中版等均查得到對應公開論文/模型頁，內容與演講描述吻合。[The Breeze 2 Herd of Models](https://arxiv.org/abs/2501.13921)
- TTS 內部代號「UHINA」查無對應公開資料，公開發布名稱應為 BreezyVoice（未能百分之百確認兩者是否為同一系統的不同稱呼）。

---

## 2. 多模態架構中用 RAG 做影像生成 (Implementing RAG in Multimodal Architectures for Image Generation)

**講者**：吳振和（cacaFly 聖洋科技 雲端智能中心 Cloud AI+ Center，VP）

### 一句話總結
拆解 Text-to-Image 生成的 prompt 構面與常見痛點，主張用圖文共同訓練的 embedding 與 RAG 補全 prompt，朝「無詠唱 AI」的目標邁進。

### 重點整理
- 主題定位為 Text-to-Image：核心問題是如何用精確的 prompt 生成使用者期望的圖片。
- 解法路徑：透過 Auto Prompt 做多次遞迴優化，逐步逼近理想結果。
- 點出的產業痛點：生成結果常「AI 感太重」，不夠自然、不夠貼近品牌調性。
- 拆解 prompt 的構面：風格、概念、色調、地點、背景、風格案例、鏡頭、光線狀況、時間、場景佈置、人物、人物細節、光線細節。
- 技術流程（圖文共同訓練 embedding）：使用圖片＋文字共同訓練 embedding → 圖與文字特徵共同輸入 → 轉成文字向量 → 結合 Prompt 與 RAG 檢索到的 relevant data 組成新的 prompt → 送入 image generation 模型出圖。
- 願景收尾：目標是「達成無詠唱 AI 境界」——借用遊戲術語（施法前要唸誦冗長咒語），意指未來使用者不必再費力雕琢冗長 prompt，就能讓 AI 生成理想圖片。

### 值得記下的觀點 / 金句
> 「達成無詠唱 AI 境界。」

### 提到的技術・產品・數據
- Auto Prompt → 透過多次遞迴優化生成 prompt 的方法
- 圖文共同訓練 embedding → 讓圖片與文字特徵共同輸入、轉換為文字向量的技術路線
- RAG（Retrieval-Augmented Generation）→ 在生成 prompt 時補入外部檢索到的相關資料，藉此提升生成圖像的一致性與可控性

### Q&A
- 無 Q&A

### 查證註記
- 本節內容整理自與會者社群共筆，非完整逐字記錄。
- 吳振和（英文名 CH Wu）現職為 cacaFly 聖洋科技「雲端智能中心 Cloud AI+ Center」副總經理，與官方議程「cacaFly Cloud AI+ Center, VP」的職稱吻合。
- cacaFly 聖洋科技於 2022 年與 Google Cloud 合作成立「雲端智能中心 Cloud AI+ Center」，定位為結合行銷科技經驗與雲端服務能力的數位轉型顧問單位，取得 Google Cloud Premier Partner（2022）、Infrastructure Specialization 認證（2023 年 1 月）、Partner All-Stars 獎項（2023、2024 連續獲獎）。來源：[cacaFly Cloud AI+ 雲端智能中心｜關於我們](https://cloud.cacafly.com/about/)
- 「用 RAG 做圖像生成」在 2024 年是相對少見、較新的技術組合：RAG 原本是為文字型 LLM 設計的技術，先從外部資料庫檢索相關資料、把內容加進 prompt 讓輸出更準確；「多模態 RAG」則是把這套邏輯延伸到圖像／影片場域，先檢索出符合特定角色外觀、產品細節、品牌視覺風格的參考圖，藉此解決純文字生成式 AI 常見的「角色一致性差」「風格不穩定」等問題，與上述共筆記錄的技術流程吻合。來源：[IBM：What is Multimodal RAG?](https://www.ibm.com/think/topics/multimodal-rag)
- 吳振和亦於 2025 年在另一場「Generative AI 年會」發表過主題相近的演講《多模態與 RAG 助攻品牌生成策略》，顯示這是他持續深耕、對外分享的固定主題領域（該場演講細節與本場不同，不代表本場內容）。來源：[cacaFly 官網](https://www.cacafly.com/post/%E7%94%9F%E6%88%90%E5%BC%8F-ai-%E7%9A%84%E4%B8%8B%E4%B8%80%E6%AD%A5%EF%BC%9Acacafly-%E8%81%96%E6%B4%8B%E7%A7%91%E6%8A%80%E8%A7%A3%E6%9E%90%E5%A4%9A%E6%A8%A1%E6%85%8B%E8%88%87-rag-%E5%8A%A9%E6%94%BB%E5%93%81%E7%89%8C%E7%94%9F%E6%88%90%E7%AD%96%E7%95%A5)

---

## 3. Cadence 如何用 AI 優化 IC 設計 (Intelligent System Design for Optimized IC Design)

**講者**：黃彥翔（Cadence 應用工程總監）

### 一句話總結
Cadence 用強化學習與生成式 AI 把 IC 設計從 PPA 優化到 IR Drop 除錯全流程自動化，把數週工作壓縮到 1–2 次迭代。

### 重點整理
- Cadence 是 IC 設計軟體（EDA，Electronic Design Automation）公司，定位在「晶圓製造（如台積電）之前」：所有 AI 晶片的設計，都要先經過 Cadence 這類工具才能落地為電路布局。
- AI 在 IC 設計上的主要戰場是 **PPA**（Power／Performance／Area）三者互相制衡的優化，以及近年因先進封裝興起的 **3DIC**（如 NVIDIA GH200 用 Interposer 串接兩顆大 die，Interposer 速度直接影響 AI 算力）、高頻類比／RF（5G/6G）設計人才養成慢（10–20 年經驗）、多種 IP（CPU/GPU/NPU）整合、以及對安全攸關（如車用 ADAS）晶片要求接近 100% 的功能驗證（Verification）。
- **Cadence Cerebrus**：一個基於強化學習的 PPA 優化引擎，講者以 AlphaGo 類比但強調「差異在於可以回頭重跑（backtrack）」——探索一組設計參數後若結果不佳可自動倒退幾步重新嘗試，取代過去人工單次跑 2–3 天、失敗要重跑的流程；產出的機器學習模型可讓後續同類設計案「一到兩次就能收斂」，範例中一位資深工程師靠 AI 把某顆晶片可跑頻率從人工調校的 3.41GHz 推到 3.72GHz。經查證，Cadence Cerebrus 為真實產品，官方描述為「機器學習驅動的 RTL-to-GDS 全流程自動優化，用強化學習引擎取代人工調校，可將工程生產力提升最多 10 倍、PPA 提升最多 20%」，與演講內容吻合。[Cadence 官網](https://www.cadence.com/en_US/home/tools/digital-design-and-signoff/soc-implementation-and-floorplanning/cerebrus-intelligent-chip-explorer.html)
- **Cadence Voltus InsightAI**：用 AI 找出 IR Drop（電壓降）問題的「兇手」（消耗電流異常的鄰近元件），標定後自動決定加粗/新增 PDN（電源網路）走線來修正，範例中將某設計的違規數從數萬筆降到約 700–1000 筆。經查證為 Cadence 真實產品，官方定位為「業界首個能自動找出 EM-IR 違規根因並自動實施修正的生成式 AI 技術，可在 signoff 前修正最多 95% 違規」。[Cadence 官網](https://www.cadence.com/en_US/home/tools/digital-design-and-signoff/silicon-signoff/voltus-insightai.html)
- 其他提及的 AI 應用：多物理場（Multi-physics，同時分析 SI 訊號完整性 / PI 電源完整性 / 散熱）聯合最佳化的引擎；Data Center Digital Twin（用 AI 控制機房風扇/散熱排程以省電）；以及 Cadence 併購生技公司、將 EDA 演算法（發現與生物科技演算法高度相似）用於藥物/疫苗研發加速。
- 總結：Cadence 提供從數位 IC PPA 優化、類比/RF 電路實作、3DIC 多物理場分析、數位功能驗證，到 PCB layout 的完整 AI 輔助 EDA 解決方案。

### 值得記下的觀點 / 金句
> 「你的 Chip 可以跑不快，你的 Chip 可以消耗多一點 Power，但是你的 Chip 絕對不能因為錯誤而壞掉。」

### 提到的技術・產品・數據
- Cadence Cerebrus → 強化學習驅動的 RTL-to-GDS PPA 優化引擎。
- Cadence Voltus InsightAI → 生成式 AI 驅動的 IR Drop 根因分析與自動修正工具。
- NVIDIA GH200 → 舉例說明 3DIC／Interposer／HBM 對 AI 算力的重要性。

### Q&A
- 無 Q&A。

---

## 4. TAIDE 多模態模型的發展 (The Development of Multimodal TAIDE Models)

**講者**：黃瀚萱（中央研究院資訊科學研究所 副研究員）

### 一句話總結
TAIDE 堅持只用合法授權資料訓練主權 LLM，2024 年目標從純文字延伸到多模態，但台灣影像資料極度稀缺是最大瓶頸。

### 重點整理
- TAIDE 是國科會推動的計畫，目標是打造具備台灣知識與價值觀的主權大型語言模型，並與國際模型（Llama 3.1/3.2、Mistral、Phi-3.5、Gemma 2 等）接軌競爭。
- 與國際模型最大差異：TAIDE **只使用合法授權的資料**訓練，不像多數國際模型直接爬取網路（含 PTT、Dcard、部落格文章等）的 common crawl 資料；這帶來更高的資料取得難度，也讓模型較不熟悉次文化/鄉民用語。
- 講者強調「做一個只輸出繁體中文的模型」本身沒有技術含量（甚至可以直接把詞彙表全部換成繁體字，不需訓練），TAIDE 真正要做到的是：理解台灣在地用語（例：「土豆」在台灣多指花生，而非馬鈴薯）、熟悉台灣知識、並掌握台灣重視多元包容、尊重個體的價值觀，並在 alignment 階段落實這些價值觀。
- 時程：2023 年進行資料蒐集與團隊/訓練基礎建設；2024/04 釋出以 Llama 3 為基礎的 TAIDE 版本（已有相當使用量）；2024 下半年目標推進到多模態（至少要能理解影像），聚焦台灣廟會活動、動植物生態辨識等場景。
- 技術路線（據與會者共筆補充，原整理未明確收錄此切入點）：以既有 backbone model 為基礎，先加入中文音韻相關能力，再進一步拓展至 vision LM（視覺語言模型）。
- 架構：目前採用類似 LLaVA 的「後融合」架構——影像經 Image Encoder 抽特徵後，透過 Projector 投影到既有 LLM 的語意空間（相當於在文字 Embedding 後接上約 500–600 個視覺 Embedding）。這種架構的缺點是特徵抽取階段「看不到」文字需求（例如只想看 X 光片左下角，卻仍對整張圖抽特徵），因此業界正興起「早融合」（Early Fusion，如 Meta 的 Chameleon 架構）讓視覺與文字從特徵抽取階段就融合；但早融合需要從頭訓練、資料與算力需求遠超 TAIDE 現階段規模，因此 TAIDE 現在仍採用可借用現成大模型 + 現成視覺模型、訓練成本較低的後融合架構。
- 訓練分三階段（與純文字 LLM 類似）：Pretraining（image captioning，學習圖文對應關係）、Instruction Tuning（教模型回答各種視覺問答，如 OCR、物件辨識、事件判斷）、Alignment。
- Caption 資料設計的重要眉角：來源資料（如文化部/Wikipedia）若描述過於豐富（例如連曬鹽的歷史都寫進去），會讓模型學到「圖片以外」的知識，訓練出更嚴重的幻覺；因此需要篩選 caption，只保留「單看圖片就能講出來」的具體描述。
- 資料取得的實際困境：Wikipedia 上與台灣相關、且為 CC 授權的圖片僅約 1300 張，遠遠不夠；向政府部會（如觀光局）要資料時常被要求「自己爬」，且很多觀光局照片版權其實不在觀光局手上、無法使用；文化部文化記憶庫資料可用但偏窄（多為文物典藏）；本月才剛拿到中研院數位文化中心「台灣生命大百科」約 70 萬張動植物照片（尚在處理中，未及用於本次成果）；也使用了 LLaVA 原始（英文）訓練資料翻譯成繁中，但其影像內容與台灣無關，只能當基礎訓練用。
- 評測方法：國際 Visual QA 資料集內容與台灣無關，因此需自建本土測試集——找志工拍攝景點/飲食/交通/文化/日常生活/名人等照片並放棄版權，設計三種難度題型：(1) 純視覺辨識（如數騎樓下的機車數量）、(2) 視覺特徵 + 世界知識共同判斷（如辨認台灣魚種是否有毒可食用，講者提醒「答案不保證正確，不要真的拿去吃」）、(3) 複雜圖像推理（如判讀捷運路線圖規劃轉乘）。
- 具體考題示範：火車票 OCR（需認出「台」的繁簡/字型變體才能選對答案：台北→台南）與延伸知識題（台北到台南是否經過基隆，需要額外的鐵路地理知識）；廟宇神像辨識（千里眼站在媽祖哪一側）。講者特別提到 **GPT-4o 這兩題都答對**，對國際模型吸收台灣知識的速度之快感到驚訝與「鬱悶」。
- 挑戰與反思：合法授權的台灣資料量遠不及與國際模型競爭所需；每次新的基礎模型（Gemma 2 → Llama 3.1 → Llama 3.2）都需要重新調整整套超參數（epoch、batch size、context 長度、資料順序），不是「一週就能出新版」；多模態任務的幻覺問題比純文字更嚴重（如看國旗誤答該國領導人是誰），需要額外的安全防護；因此策略是把資源集中在國際大廠與民間公司「沒有誘因投入」的利基（niche）領域。
- 目前/近期釋出：已完成以 Llama 3 為基礎微調的 70B 模型（繁中表現優於原版 Llama 3 70B）；正在訓練 Llama 3.1 的 8B 與 70B 版本；正在評測前一天剛發布的 Llama 3.2 是否適合作為下一版基礎。

### 值得記下的觀點 / 金句
> 「這個土豆在台灣的語境，大多數指的是花生，那除非在特別的地方，什麼涼拌土豆絲，才會知道說他指的是馬鈴薯……這樣的事情就是只有台灣的這種 Local 的一個 Namespace，他才會去瞭解的。」

### 提到的技術・產品・數據
- TAIDE → 國科會推動的台灣主權大型語言模型計畫，僅用合法授權資料訓練。
- LLaVA 架構 → TAIDE 多模態模型目前採用的「後融合」視覺-語言架構範本。
- Meta Chameleon → 對照組「早融合」（Early Fusion）架構範例。
- 台灣生命大百科（中研院數位文化中心） → 約 70 萬張動植物照片資料集，剛取得尚在整理中。
- GPT-4o → 拿來對照測試台灣本土知識題（火車路線、廟宇神像），結果全對。

### Q&A
- 無 Q&A。

### 查證註記
- 講者姓名、單位、職稱與官方議程一致（黃瀚萱／中研院／副研究員）。經 WebSearch 查證，黃瀚萱亦擔任 TAIDE 計畫「模型鑄造組顧問」，與演講內容（TAIDE 技術規劃）相符。[iThome 報導](https://www.ithome.com.tw/news/168123)
- 查得 TAIDE 計畫此前已釋出以 Llama 2 為基礎的 TAIDE-LX-7B/13B，本場演講提到 2024/04 起改以 Llama 3 為基礎釋出新版，時序上與計畫演進方向一致（未能找到針對「2024/09 已釋出 Llama3-70B 微調版」的官方公告原文逐一核對，但方向與講者所述吻合）。
- 「以 backbone model 加入中文音韻、再拓展至 vision LM」一句依與會者共筆補充，原整理未特別點出「中文音韻」這個切入點，其餘技術細節（後融合架構、三階段訓練、資料挑戰）與共筆記錄的其他重點一致，屬於錦上添花的補充，未發現矛盾。
- TAIDE 在其他場次的討論見 [R0-上午-AI治理座談.md](../day2/R0-上午-AI治理座談.md)（李育杰．Sovereign AI，追溯「主權 AI」一詞起源與 TAIDE 資源規模）與 [R0-下午-智慧轉型與紀念講座.md](../day2/R0-下午-智慧轉型與紀念講座.md)（蔡宗翰．用 TAIDE 訓練流程講解任務設計方法論，並衍生出 EduTAIDE）。

---

## 5. AI 專案成功背後的奧義

**講者**：邱銘彰（台灣駭客協會 顧問；奧義智慧 CyCraft 共同創辦人，內容多引用其公司研究）

### 一句話總結
借複雜系統科學解釋深度學習為何能 generalize，並歸納資安 AI 專案常見的 feature 設計與演算法偏誤陷阱。

### 重點整理
- 開場提及奧義智慧（CyCraft）研究團隊有一篇論文獲 **EMNLP 2024 main track** 收錄（講者提及與交大一位老師合作，合作者姓名**未能查證**具體論文與合作者全名）。
- 展示公司做的 LINE 資安新聞機器人（RAG 架構）：爬取台灣 5 個新聞網站彙整資安新聞，僅回答新聞相關問題（刻意不能閒聊），強調資安領域 AI 應用「不知道就要說不知道，且要附上 reference」，因為 ChatGPT 這類通用模型有時會編造出根本不存在的 CVE 編號；此機器人也特別微調過，不會輸出簡體字或中國大陸用語。
- 主體理論部分（講者明確聲明「有些是我自己的假說 hypothesis，不是完整共識」）：
  - 用萊特兄弟 1903 年造出飛機、但人類直到 2003 年 NASA 研討會才真正釐清飛機升力原理（是康達效應而非白努力定理的常見誤解）類比：「不理解原理也能做出有用的東西，但理解原理能幫助界定使用邊界與安全範圍」。
  - 批評業界用「Emergence（湧現）」「Scaling Law」「Black Box（黑盒子）」等行話迴避「AI 為什麼會這樣運作」的追問；主張運算本身並不神秘（矩陣加減乘除 + Backpropagation），真正不可預測的是訓練後的模型行為。
  - **Double Descent（雙重下降）現象**：傳統統計（VC dimension 理論）預期模型越大 testing error 應該上升（overfitting），但 2017–2018 年 OpenAI 等論文發現模型規模、資料量、訓練輪數持續增加到一定程度後 testing error 反而再度下降，代表出現了 generalization。
  - **Spectral Bias / F-Principle**：DNN 訓練時會優先擬合宏觀、低頻的特徵，較晚才擬合微觀、高頻的特徵（淺層網路對低頻優先擬合，深層網路才擬合高頻）。
  - **Condensation（凝聚）現象**：訓練過程中鄰近的 neuron 會向量趨同、一起激發，此現象是網路剪枝（Network Pruning）有效的理論基礎（可以用一個 neuron 代表一群同步激發的 neuron）。
  - 延伸出 Early Stopping 的物理直覺：真實資料訊號在低到中頻段強、但被高頻雜訊（類似 1/f noise 與白噪音疊加）蓋掉，模型如果訓練過久會連雜訊都背下來（over-training），因此需要及早停止訓練。
  - 用複雜系統科學語彙收束：Emergence（宏觀關係無法由微觀元件還原）、Self-organization（neuron 自組織成一起工作的結構）——「原子之間沒有愛情，但人跟人之間有愛情」比喻宏觀現象不可被還原論解釋。
- 「AI 專案如何成功」實務心得（回到講題）：
  - **關鍵一：feature 設計錯了，後面 learning 再強都沒用**。舉例：勒索軟體偵測若只寫「呼叫刪除系統備份 API」這條規則，會誤判正常備份工具（如 BitLocker）；後續為了消除誤判不斷加白名單規則，最終會發現「白名單的資訊量遠大於黑名單」，且專案性質已經從 classification 悄悄變成 anomaly detection；問題往往出在忽略了物件與物件之間、物件與時空之間、乃至「關係的關係」（例如兩個惡意檔案風格相似可能同一作者、兩台主機常一起出現在同一攻擊事件可能屬同一基礎設施、兩起資安事件攻擊手法相同可能是同一 APT 組織）——這些關係本身也是重要 feature。
  - 提到 **dataset shift**：實驗室資料、老闆電腦資料、客戶現場資料的分布重心（centroid）會隨資料規模變化而位移，因此靠實驗室調好的 if-else 規則到現場常會失靈，模型需要能持續 adapt。
  - **關鍵二：要理解所用演算法/模型的 inductive bias 與適用邊界**。舉例用 k-means 對新舊惡意樣本分群找「新型惡意程式」，會因為 k-means 假設各群樣本數相近（size-based）而分錯群，正確做法應改用 density-based clustering；並引用 **No Free Lunch 定理**（1996–97 年有數學證明，不只是「天下沒有白吃的午餐」的比喻）：任何模型都能找到一組資料讓它表現不好，代表每個模型都有適用範圍。
- 收尾金句類比：500 匹馬力跑車 vs. 500 匹真馬——馬並沒有被汽車取代，反而變成有錢人的奢侈品（一匹馬可上億元），暗示不必執著「AI 會不會取代我」，該問的是如何成為不被工具取代的「有品味的人」。

### 值得記下的觀點 / 金句
> 「你本來以為要寫黑名單，但是切著切著幫客人整理白名單，你本來以為你在做 classification，但其實你在做 anomaly detection。」
> 「我有 500 匹馬力的超跑，還有我有 500 匹馬，誰比較屌？我當然是馬比較屌，我都有馬了還需要車子嗎？」

### 提到的技術・產品・數據
- CyCraft（奧義智慧） LINE 資安新聞機器人 → RAG 架構，僅回答新聞相關問題，附 reference，避免簡體用語。
- Double Descent phenomenon → OpenAI 於 2017–2018 年相關論文提出的深度學習泛化現象。
- Spectral Bias / F-Principle、Condensation → 解釋 DNN 特徵學習偏好與網路剪枝理論基礎的複雜系統科學概念。
- No Free Lunch 定理（1996–97） → 任何模型都有其適用邊界的數學定理。
- k-means vs. density-based clustering → 資安異常偵測中常見的分群演算法選型陷阱案例。

### Q&A
- 無 Q&A（講者提到內容過長，向下一位講者借用約 5 分鐘時間，直接串接下一場）。

### 查證註記
- 邱銘彰經查證為奧義智慧 CyCraft 共同創辦人（與吳明蔚、叢培侃共同創辦），亦活躍於台灣駭客協會，與議程列出的「台灣駭客協會 顧問」身份及演講中「原公司研究」的描述一致。[CyCraft 官網](https://www.cycraft.com/about-cycraft)
- 「EMNLP 2024 main track」論文的合作者姓名未能查證（IC/NLP 領域有多位姓名相近的學者，無法確認具體對應對象）。
- Double Descent、Spectral Bias/F-Principle、Condensation、No Free Lunch 定理均為深度學習理論界已發表、有共識支持的研究方向，與講者描述的核心結論相符（講者本人也強調部分延伸推論屬個人假說，非嚴謹逐一附上引用來源，故本筆記未逐一比對其口頭引用的具體論文版本）。

---

## 6. GenAI 時代的資安攻擊演進 (The Evolution of Cybersecurity Attacks in the GenAI Era)

**講者**：翁浩正（DEVCORE 戴夫寇爾 CEO，Alan/Allen Own）

### 一句話總結
從紅隊視角看，GenAI 目前是資安攻防雙方都能用的強力 Copilot，但「一擊必殺」的精準滲透與 zero-day 挖掘仍是人類創造力的主場。

### 重點整理
- DEVCORE 是台灣的主動式攻擊型資安公司（紅隊演練、滲透測試），成立十年來持續關注 AI 對攻防兩端的影響；翁浩正自稱「現場唯一不懂 AI 的人」，以實務應用角度分享。
- 引用「Duck Trash」的統計數字：GenAI 出現後社交工程攻擊增加約 135%（**該廠商名稱與原始來源、確切數字均未能查證**）；也提到 Rapid7 觀察到暗網上有大量關於 AI 犯罪應用的討論，甚至出現整套「AI 詐騙包」（工具＋服務一次到位）。
- 觀察到的實際變化：AI 生成的針對型社交工程信件已經非常流暢、幾乎沒有語言破綻（過去常見的生硬翻譯感消失），主要只能靠 IP 或 email header 追蹤識破；但大量散彈式（廣灑型）釣魚信因為成本本來就低，不需要靠 AI 提升。
- AI 可協助的攻擊面盤點：自動生成惡意程式/勒索程式碼（目前仍偏簡單，高階駭客組織尚未依賴，但風險持續上升）；深偽（Deepfake）語音/影像/照片仿冒；程式碼分析與輔助攻擊腳本撰寫（類似 Copilot）；WormGPT、FraudGPT、FreedomGPT 等「越獄版」GPT 服務協助繞過安全限制產出釣魚信、甚至協助計算身分證字號/銀行卡號等個資規則；也實測過用複製自己聲音去操控語音控制家電，證實聲紋複製攻擊的可行性。
- 紅隊所需能力盤點：好奇心求知欲、創造力與跨領域聯想、專業技術力、抗壓性、耐心細心、團隊合作、職業道德。講者認為 AI 在專業知識量、抗壓性（沒有心理壓力）、耐心細心上已優於/等同人類，但在「創造力/聯想力（尤其從零挖出一個全新的 zero day）」與「職業道德判斷」（AI 可能不會像人類一樣，在漏洞可能讓對方系統當機時先詢問溝通）上仍有明顯落差。
- 紅隊任務特性強調「精準、優先順序控制風險、隱匿、建立持續連線通道、掌握對方心理」（例如「聲東擊西」戰法：在 A 點製造大量流量吸引藍隊注意力，實際任務在 B 點默默完成），講者認為目前 AI 精準度不足以判斷「哪個漏洞可以一擊必殺」，這塊短期仍難以取代人類。
- 目前確定 AI 能做到：報告撰寫、資安維運/弱點管理、社交工程演練設計、行為分析、自動化滲透測試輔助。目前還做不到：更高策略層級的判斷、更具創造性的攻擊手法（尤其 zero-day 挖掘）。
- 提到的具體工具／服務：PastGen（**名稱未能查證，功能近似公開工具 PassGAN**，用個人過去密碼推測未來可能密碼，故建議密碼全隨機+搭配密碼管理工具）；PentestGPT（不是取代紅隊，而是很好的學習工具，會逐步指引滲透步驟並根據使用者貼上的工具結果建議下一步，特別適合不敢一直打擾導師的初學者）；BurpGPT（根據 Burp Suite 觀察到的流量關聯建議可深入測試的方向，可幫助抓人類盲點）；AutoPunk（**工具名稱未能查證**，自動化偵察工具，找出 IP 開放服務中可能可利用之處）；OSINT 類工具串接外洩個資資料庫；也實測過用 AI 分析原始碼找出簡單漏洞（如 Buffer/Stack Overflow）；提到 DARPA 的 **AI Cyber Challenge (AICC)** 第一階段結果剛公布，認為這代表 AI 自動化挖掘漏洞的未來很有潛力。
- 揭露不少所謂「越獄版 GPT 工具」背後其實只是把 Hack The Box 的 write-up PDF 匯集起來做成 RAG 知識庫（形容為技術含量不高但實務上很有幫助），也實測過嘗試突破 GPT 本身的 Sandbox（尚未成功）。
- 紅隊完整攻擊鏈（外網偵察 → 邊界滲透 → 內網橫向移動 → 取得核心敏感資料）中，AI 現況：外部情報蒐集/log 分析階段可以幫上忙（但攻擊方資料量本來就少，避免被偵測）；內網橫向移動階段可用 AI 找企業預設密碼的 pattern；但真正滲透到核心系統的階段目前仍無法依賴 AI（需要精準且不能被發現）。相對地，**防禦方**用 AI 做事件調查/log 分析的效果更成熟——講者分享自己協助 NGO/NPO 做資安事件應變時，直接把 web log（access log 等）丟給 AI，AI 能抓出人眼很難發現的異常行為（例如某個 user agent 字串拼錯，暴露出是自動化程式而非真人流量）。
- 呼籲企業建立善用 AI 的框架與管制指引，避免不該發生的事情發生（呼應下一場查士朝的治理主題），並再次以「跑車與馬」比喻收尾，鼓勵大家主動思考 AI 能幫上什麼忙。

### 值得記下的觀點 / 金句
> 「我覺得剛剛 Burnman（邱銘彰）說得很好，我覺得人類它其實是要不斷的去……AI 目前是一個很棒的 Copilot，我們一定要有自己的知識、自己的想法，然後運用它去幫助我們解決一些任務。」

### 提到的技術・產品・數據
- WormGPT / FraudGPT / FreedomGPT → 移除安全限制的「越獄版」GPT 服務，協助釣魚信、個資計算等犯罪應用。
- PentestGPT → 滲透測試學習輔助工具，逐步指引測試步驟。
- BurpGPT → 結合 Burp Suite 流量分析建議後續測試方向。
- DARPA AI Cyber Challenge (AICC) → 用 AI 自動化挖掘軟體漏洞的競賽，第一階段結果剛公布。

### Q&A
- 無 Q&A。

### 查證註記
- 講者姓名、公司、職稱與官方議程一致（翁浩正／DEVCORE／CEO）；經查證翁浩正亦為台灣駭客協會（HIT）理事長，並持有台科大資管碩士學位，與其談話脈絡吻合。[iThome/DEVCORE 官網](https://devco.re/company/about/)
- 「Duck Trash」統計來源、「Apple AI 五個等級」框架、「PastGen」「AutoPunk」工具名稱均查無對應公開資料（功能近似的公開工具有 PassGAN、AutoPwn/AutoRecon 等，但無法確認對應關係），標記為未能查證，未強行更正為特定工具名稱以免誤導。
- WormGPT、FraudGPT、PentestGPT、BurpGPT 均為資安圈已被廣泛報導、真實存在的工具/服務，內容描述與已知公開資訊相符。
- LLM 資安相關討論見 [R1-產業應用.md](./R1-產業應用.md)（楊政霖／CyCraft．導入 LLM 的隱私/對齊/在地化風險、RAG 框架 RCE 漏洞研究）與 [R3-深度技術-FlashTalk.md](../day2/R3-深度技術-FlashTalk.md)（沈宜婷．現場示範用未對齊模型自動化滲透測試打穿 Linux）。

---

## 7. AI and Security Governance

**講者**：查士朝（國立臺灣科技大學資訊管理系 教授／資通安全研究與教學中心 主任）

### 一句話總結
資安治理是策略層級的工作，GenAI 能協助管理審查會議資料彙整、風險評估與政策草擬，但機密外洩與輸出正確性仍是兩大待解課題。

### 重點整理
- 開場先釐清「資安管理」（日常維運層級）與「資安治理」（策略層級：訂定資安策略、界定可接受風險、將資安與組織目標連結）的差異，並引用 **ISO 27014** 治理架構說明：治理機構監督組織資安現況、評估後下達政策指引、並持續向利害關係人溝通資安狀況。
- 回顧 AI 與資安法規/治理議題演進：AI 最早用於資安異常/漏洞偵測 → 接著關注訓練資料正確性 → GDPR 時代要求自動化決策（含機器學習做的自動決策）須告知並取得使用者同意 → 深度學習時代新增「把資料丟進模型會不會洩漏企業機密」的疑慮 → 對「AI 造成外部傷害」的倫理疑慮升高，催生 **歐盟 AI Act** 與美國加州當時待決的 **SB 1047**（針對前沿 AI 模型安全性的法案，講者說預計 9/30 決定，並開玩笑説「如果通過，就是沒有資安就沒有 AI」），也包含要求 AI 系統具備「自毀/緊急關閉」機制的討論。
- ISO 27001 ISMS 的 PDCA 循環中，各種 ISO 標準（9001/14001/27001 等）共通的核心其實是條文 **9.3「管理審查會議」**：由高階主管監督資安狀況、評估管理制度是否需要改善、並找出改善機會。
- GenAI 在資安治理實務上的四種應用示範（講者本身正在做相關研究）：
  1. **管理審查會議資料彙整**：過去要花大錢請顧問手動彙整稽核報告、見證報告、滲透測試報告製作簡報，現在可用 GenAI 協助摘要、跨期比較、產生初步建議；但講者提醒輸出容易流於「網路套版」式的通用內容，要客製化就得在 prompt 中放入更多公司機密細節，形成「精準度 vs. 機密外洩風險」的取捨；也提出可用自建 local model（犧牲一些準確度但避免資料外流），並認為治理場景其實未必需要「有創意」的模型，一個忠實、不太聰明但穩定彙整既有結構化資料的 local model 反而可能是更務實的選擇。
  2. **RAG 檢索歷史稽核/事件紀錄**：把過去零散的非結構化稽核報告、事件紀錄整理成可檢索、可追溯來源的知識庫，讓高階主管在開管理審查會議時，比起完全依賴顧問人工彙整（擔心有疏漏），能有更「可信」的依據做治理決策。
  3. **資安趨勢分析與報表產出**：可請 GenAI 先畫出基礎圖表與對應 Python 程式碼，再手動修改，講者分享這確實省下不少過去自己寫程式做報表的時間。
  4. **政策/法規因應草擬**：例如針對美國加州 SB1047 這類新法規，用 Prompt Engineering 請 GenAI 產生初步因應建議；同樣面臨「客製化程度 vs. 機密外洩」的取捨。
- 風險管理現況吐槽：傳統作法是列出龐大的資產清單，逐一為每個資產評估數十個風險項目（例如 1000 個資產 × 100 個評估項目 = 每年 10 萬筆），實務上常常變成「今年抄去年」；講者調侃這樣做反而完美符合 ISO 31000 對風險評估「一致性」的要求（因為真的一字不改），但完全偏離了原意（準確性/時效性）。他指出台灣企業普遍沒有建立「損失資料庫」（可從幾乎所有重訊都寫「無重大影響」這點反推——代表大家其實根本沒有在認真估損失），若能建立損失資料庫，GenAI 可協助用內插方式從稀疏的歷史資料點生成更完整的風險評估曲線，並支援「反事實分析」（counterfactual analysis，例如評估「當初買防火牆」相對於「沒買」的 ROSI 投報率）。
- AI 也能協助資安教育訓練出題與產生模擬訓練資料（講者笑稱可以拿來做「隨堂測驗」讓學生措手不及）。
- 組織文化轉型層面：認為真正「積極」的資安文化，是能提前預判、設計因應方案，而非問題發生才反應；AI 可在弱點處理/輔導工作上支援這種轉型，但坦言「導入 AI」與「組織文化真的轉型」之間並沒有直接必然的因果關係；也提到可用異常偵測機制提醒「資安疲勞」的人員，作為人機協作而非全面取代的設計方向。
- 收尾用經濟學供需模型比喻（引用其與 ASU「AI in Business」雙聯學程課程內容）：若 AI 是某項工作的替代品，AI 進步、成本下降會壓低該工作的市場價格（並以此解釋歐美近期資遣程式設計師的現象）；但涉及高階人為判斷（human judgment）的治理/策略工作相對不容易被取代，因為「老闆通常不會裁撤自己」——換句話說，資安治理這類策略角色，結構性地比較不受 AI 取代威脅。

### 值得記下的觀點 / 金句
> 「以管理者來講，大家不用擔心，AI 治理來講很難被取代，或者資安治理來講很難被取代，為什麼呢？因為通常高階主管不太會換掉自己。」
> 「只要看到說都沒有重大損失，我就覺得這個單位一定不太會算這個東西。」

### 提到的技術・產品・數據
- ISO 27014 → 資安治理標準框架，定義治理機構監督/評估/指導/溝通的循環。
- ISO 27001 條文 9.3「管理審查會議」→ 資安治理實務工作的核心場域。
- 歐盟 AI Act、美國加州 SB 1047 → 演講中提及的 AI 前沿模型安全性/治理相關法規。
- ISO 31000 → 風險管理標準，演講中用來吐槽「一致性」要求被誤用成「複製貼上」。
- Counterfactual analysis（反事實分析）→ 用於評估資安投資（如防火牆）的 ROSI 投報率。

### Q&A
- 無 Q&A（演講結束後主持人直接宣布本日議程結束）。

### 查證註記
- 查士朝現任國立臺灣科技大學資訊管理系教授、資通安全研究與教學中心主任，研究專長包含 AI Security 與 Zero Trust Architecture，與官方議程「台科大 教授」及演講主題高度吻合。[台科大資管系](https://www.cs.ntust.edu.tw/p/405-1102-105978,c11272.php?Lang=zh-tw)、[PanSci 專訪](https://pansci.asia/archives/330016)
- 講者提到美國加州 SB 1047「預計 9/30 決定」——經查證，加州州長 Gavin Newsom 實際於 **2024/09/29** 否決（veto）了 SB 1047（本議程 Day 1 為 2024/09/27，即演講兩天後）。演講當下法案結果尚未公布，講者的敘述在演講當時是準確的；提醒讀者本法案最終結果是「未通過」，與講者現場玩笑話「沒有資安就沒有 AI」的假設前提（法案通過）並未成真。[SF Standard 報導](https://sfstandard.com/2024/09/29/gavin-newsom-vetoes-controversial-ai-safety-bill/)、[Wikipedia](https://en.wikipedia.org/wiki/Safe_and_Secure_Innovation_for_Frontier_Artificial_Intelligence_Models_Act)