Day 2・R3 深度技術 Flash Talk

九場短講涵蓋行銷 AI、LLM 資安攻防、宮廟科技應用、非工程師自動化、多模態智慧製造、評估驅動開發與 AI 節能減碳,呈現深度技術落地的多元樣貌。

Day 2・2024/09/28(六)R3 學術活動中心 2F13:00–15:00張剛羚(TAIA Executive Director & CSO)

本場速覽

講者講題一句話重點
吳威翰(Accucrazy 肖準 Founder & CEO)用全面 Fine-tuned 的 AI 大腦打造你的增長策略用自家行銷數據 Fine-tune 出「Moana」模型,量產能過 Dcard 圖靈測試的口碑文
沈宜婷(中華資安國際 SOC/Security Engineer)Insecure llama?:當 LLM 成為駭客的武器用本地部署、去除安全限制的 Ollama 模型自動化滲透測試,成功打穿 Linux 拿到 root
李明達(MYAI168.COM/立達軟體科技 Founder)最新 AI 演算法在宮廟領域的應用用 LLM 視覺與 fine-tuned 大模型做宮廟防火防盜、解籤機器人,現場 Live Demo
李慕約(Generative AI Conference 策展人)非工程師如何用 AI 寫程式、提早五分鐘下班教非工程師用 ChatGPT 生成 Google Apps Script,自動化報帳、問卷、Computer-use 下單
林育弘(東捷科技 AI系統規劃處 處長)多模態 AI 賦能智慧製造升級面板/半導體雷射修補設備商,整合影像、數據、生成式 AI 做多模態瑕疵檢測與修補
高季安(先知科技 總經理)AI 驅動製造創新:視覺 AI 平台與生成式影像技術No-code 影像瑕疵檢測平台,用生成式資料擴增解決製造業「多樣少量」缺樣本痛點
張文鈿/iHoward(愛好資訊 Founder)Eval-Driven-Development提出 LLM 應用開發成熟度 5 級模型,示範用 AI 自動生成與最佳化 Prompt
胡翔崴(工研院 Engineer)用多模態邊緣運算推進醫療創新多模態醫療大模型串接化合物/生理訊號/影像,做衛教問答、標準化病患訓練、3D 齒模生成
謝宗震(詠鋐智能 Chimes AI CEO)為高耗能產業去碳化:AI 解決方案如何加速 ESG 目標用預測型+生成式 AI 幫工廠設備節能,案例年省 32% 用電、累積減碳逾 4 萬噸

演講

顯示 9 / 9 場

1用全面 Fine-tuned 的 AI 大腦打造你的增長策略吳威翰(Accucrazy 肖準行銷集團 創辦人與執行長;旗下產品 The Pocket Company)

用自家行銷數據 Fine-tune 出「Moana」模型,寫出能騙過 Dcard 網友的口碑文。

重點整理

  • 講者過去任職美圖秀秀全球副總裁、TikTok BD,之後投入元宇宙/Web3,2023 年起全力轉型 AI。
  • 產品 The Pocket Company 定位「口袋裡就能上班的公司」,算力夥伴為 AWS、NVIDIA、台智雲。
  • 觀察行銷趨勢演變:電視廣告 → 大型 KOL(如蔡阿嘎)→ 團購/直播 → Threads(重點是「真實與個性化」,不需要是網紅)。
  • 用大量自家行銷歷史數據 Fine-tune 出第一代到第四代「Moana」模型,可依人設(如「阿姨」「妹妹」)與產品切角自動生成口碑文,並會用 emoji、括號寫真心話等台灣鄉民語氣。
  • 案例:Dcard 上一篇 AI 產文創下逾 1300 則留言、無人識破是 AI,甚至被 Dcard 官方收錄進「水水實驗室」精選版;相同 Prompt 丟 ChatGPT,文風明顯較「業配感」重。
  • 商業模式:一篇一般行情三、四萬元的業配文,用 AI 只需約 60 元成本。
  • 主張 Fine-tuning 比 RAG/LoRA 更能學到「小而精巧的隱密知識」(例如特定文化語感),RAG 本質仍是原本大模型的能力,只是外掛知識。
  • 展望 Multi-agent 架構:一個 agent 定義受眾、Moana 產文、「Coco」安排虛擬 KOC 帳號發文、「Rebecca」轉語音發布,形成全自動口袋行銷團隊。

提到的技術・產品・數據

The Pocket Company
肖準行銷旗下 AI 行銷平台
Moana
用自家行銷數據 Fine-tune 的口碑文生成模型(第一代至第四代)
Dcard 水水實驗室
Dcard 官方精選內容專區

值得記下的觀點

「我們發現 AI 它做出了一個人類沒講過的語言,但是我們聽起來是聽得懂的。」
「這其實是真正的圖靈測試⋯⋯這些留言裡面沒有一個留言是在懷疑我們是 AI。」

Q&A

  • 無正式 Q&A;主持人在講者結束後短評「四位 agent 就很像自己員工一樣」。

查證註記

  • Accucrazy/肖準行銷、The Pocket Company、Moana 均查證屬實,吳威翰確為創辦人與執行長,曾任美圖秀秀全球副總裁。來源:Accucrazy 官網TechNice 專訪
  • 官方議程講者職稱「Founder & CEO」與查證結果一致。
2Insecure llama?:當 LLM 成為駭客的武器沈宜婷(中華資安國際 CHT Security,SOC / Security Engineer)

本地部署去除安全限制的 Ollama 模型,自動化滲透測試成功打穿 Linux 拿到 root。

重點整理

  • 講者背景:曾發表多篇 Security 研究、發掘過 Google 與部分開源平台漏洞,主要研究車聯網與 LLM 安全;本場致謝 HackingBuddyGPT 團隊的研究框架作為延伸基礎。
  • 主題設定:多數「hacking GPT」類專案是拿 OpenAI 雲端模型當攻擊引擎,本場改用本地部署的 Ollama,測試攻擊者用本地小模型能達到什麼程度。
  • 一般模型(講者估計 80% 以上)內建安全限制、會拒絕產出惡意指令;但存在未受限制的變體模型(現場紀錄標音近似「貝拉馬」,疑為某類 uncensored/abliterated 模型),可被要求做任何事、會 bypass 安全限制。
  • 比較人類紅隊/滲透測試員與 LLM 自動化攻擊者的差異:人類依賴既有的深入攻擊技巧與經驗判斷;LLM 則依賴已內建的自動化攻擊腳本,仍需人工提供部分情境資訊。
  • Demo 流程:設定目標為 Linux 主機,由 LLM 生成攻擊指令 → 先出現「亂發指令」「丟出無意義符號」等未真正理解任務的情況 → 修改腳本後,LLM 成功以一般權限打穿系統、找到 root 密碼(password1234)取得 root 權限。
  • 取得 root 後,LLM 持續自動嘗試不同指令挖掘更多機敏資訊(如 /etc/passwd、shadow 檔、hash 密碼檔等),並記錄整個攻擊歷程。
  • 講者結論:業界目前對 LLM 安全的討論多停留在「理論層面」(訪問權限控制等基本防護),呼籲要有更多 POC 等級的實測研究,而非只談限制與規範。

提到的技術・產品・數據

Ollama
本地端 LLM 部署工具,本場攻擊實驗的載體
HackingBuddyGPT
講者致謝參考的開源駭客 GPT 研究框架
Prompt Injection
提及作為讓模型繞過安全限制的攻擊手法之一

值得記下的觀點

「我們今天是當壞駭客,不是當好駭客。」
「大家真的要去對於這種 LLM 的模型,去做一個攻擊的阻擋⋯⋯你就要有更多更多的詳細的測試、POC 等等,去測試到底能不能成功。」

查證註記

  • 查證:LinkedIn 顯示沈宜婷任職於 CHT Security 中華資安國際。來源:沈宜婷 LinkedIn
  • 現場紀錄中「貝拉馬」一詞語意不明,推測為某種去審查/未對齊(uncensored)模型的稱呼,但無法確認具體對應模型名稱,標記(未能查證)。
  • LLM 資安相關討論亦見於其他場次筆記(楊政霖/CyCraft.導入 LLM 的隱私/對齊/在地化風險、RAG 框架 RCE 漏洞研究;翁浩正.GenAI 資安攻擊演進;查士朝.AI 資安治理)。來源:R1-產業應用.mdR3-深度技術.md
3最新 AI 演算法在宮廟領域的應用李明達(MYAI168.COM/立達軟體科技 Founder;台大、台科大兼任副教授)

用 LLM 視覺與 fine-tuned 大模型打造宮廟防火防盜、解籤機器人,並現場 Live Demo 解籤。

重點整理

  • 立達軟體科技(股票代號 7505,資本額 2 億)主要銷售 AI 電腦、軟體、韌體卡與解決方案;官網為 myai168.com。
  • AI 門神系統:用大型語言模型的視覺能力偵測小煙小火,取代傳統煙霧偵測器(宮廟燒香環境誤判率高)與 YOLO 類演算法(小煙小火誤判多),優點是不需額外訓練即可套用、精準度高;同時可偵測疑似偷竊香油錢等異常行為,偵測後透過 Windows 端語音警報 + LINE 群組推播現場照片通知幹部。
  • AI 人流統計系統:架設於宮廟出入口,號稱一天最多可統計 30 萬人次、零誤差,可錄影回放供覆核。
  • AI 建築外觀巡檢系統:用無人機定期拍攝廟宇雕刻,搭配大型語言模型視覺功能找出地震/颱風後可能的破損檢黏處。
  • AI 影像辨識輔助扶乩建檔:辨識乩身扶乩時潦草字跡並建檔,宣稱可處理 30 年、十餘萬篇扶乩文獻,正確率 100%(自述);建議硬體規格為 RTX 4090 24G,整套約 20 萬元。
  • AI 客服/解籤/解經文:使用 70B 以上大型模型(自述測試 70B 以下理解力不足),採 in-context learning + full parameter fine-tuning,明確表示不建議用 RAG(易搜尋錯誤造成誤差)也不建議用 LoRA(會降低模型基礎能力);可解財神經、答客問「如何發大財」、將籤詩文言文譯為白話文並指引方向。若要架設解籤服務,建議配置 4 張 RTX 6000 Ada(整套約 180 萬元,另加購功能約 40 萬元)。
  • 提到大型模型面對嚴肅提問(如婚姻、健康、公司倒閉等)預設會拒答,需經過模型微調才願意正面回應。
  • 現場 Live Demo:主持人與兩位聽眾現場抽籤(分別問事業、家人健康、丈夫是否外遇),系統即時輸出白話解籤建議(如「謹慎行事,不要急於求成」「調整心態,接受建議」「冷靜面對,理性溝通」),已上線服務。

提到的技術・產品・數據

AI 門神系統、AI 人流統計系統、AI 建築外觀巡檢系統、AI 扶乩建檔辨識
立達軟體針對宮廟場景的系列產品
in-context learning/full parameter fine-tuning
講者主張優於 RAG/LoRA 的技術選型(此為講者一家之言,非普遍共識)
建議硬體
RTX 4090 24G(約 20 萬元)/4×RTX 6000 Ada(約 180 萬元)

值得記下的觀點

「這個是很重點,就是信眾就覺得這個很白話的解答對它來講是很重要,要不然抽到這個籤文就看不懂。」

Q&A

  • 現場即為 Live Demo 互動:主持人與兩位聽眾當場抽籤提問(事業/家人健康/丈夫外遇疑慮),系統即時輸出解籤結果(見上方重點整理)。

查證註記

  • 立達軟體科技(LEADERG,股票代號 7505)、MYAI168.COM 教育平台、李明達為創辦人,均查證屬實。來源:MYAI168.COM台灣公司網
  • 「解籤正確率 100%」「零誤差」等數字均為講者自述,未見第三方驗證來源,需視為廠商行銷語言。
  • 李明達反對 RAG/LoRA、主張 full-parameter fine-tuning 的立場,與蔡宗翰(訓練小模型優於通用大模型+RAG)、楊立偉(企業知識管理應改用 RAG+可抽換模型)構成本屆年會 Fine-tune vs. RAG 路線之爭的第三種立場;三方交鋒的整理另見重點摘要文件第 4 節。來源:R0-下午-智慧轉型與紀念講座.md重點摘要.md
4非工程師如何用 AI 寫程式、提早五分鐘下班李慕約(Generative AI Conference 策展人)

教非工程師用 ChatGPT 生成 Google Apps Script,自動化報帳、問卷與 Computer-use 網購下單。

重點整理

  • 核心主張:ChatGPT 的一大潛力是把「中文翻成程式碼」,讓不會寫程式的人也能做自動化,降低了寫程式的門檻。
  • Demo 1:把含多分頁(客戶資料+生日)的 Excel 檔丟給 ChatGPT,直接要求合併分頁(等同 VLOOKUP),ChatGPT 用其內建的程式碼執行環境(Code Interpreter)處理並完成合併、甚至主動建議算年齡。
  • Demo 2:用 ChatGPT 生成 Google Apps Script 程式碼,貼到 Google Apps Script 網站執行,幾秒內產生連結即可建立 Google 表單(用於會後問卷),免去手動一個個設定選項。
  • Demo 3(報帳自動化):因應會計窗口更換、要求重做一整年計程車收據格式,改用 ChatGPT 生成 Apps Script:先在 Gmail 對 Uber 相關信件加標籤,再用 Apps Script 把該標籤信件轉存為 PDF 到 Google Drive,最後再用另一段生成的程式碼把資料夾內所有 PDF 解析金額、日期彙整進 Google Sheet;並分享技巧:可從行事曆自動抓出差目的、免填報帳說明(引用自 James Huang 的 tips)。
  • 免費資源推薦:「Sense AI 年會大禮包」網站,將教學拆解為一星(幾秒可完成)、二星(需幾分鐘)等難度分級步驟。
  • 案例分享:Sense AI 小聚曾邀一位 9 歲講者分享如何用 AI 花一整個暑假、每天對話迭代做出 Apple Watch App,強調重點不是「天才兒童」而是「持續與 AI 對話迭代」的過程。
  • 其他資源:Amazing Talker 人資/客服/行銷主管分享用 AI 寫 Apps Script 做內部自動化的免費公開演講;「網路熱線」問題交流版;「案例大全」收錄各種 AI 寫程式的實際案例;每月讀書會、線上課程(優惠碼 249 元可補昨日工作坊內容)。
  • 壓軸 Demo(Computer-use / AI Agent):下指令「去 PC Home 24 買一箱蘋果汁、用儲值金付款、不要問我過程直接下單」,AI 代理人透過電腦視覺解讀畫面、自主完成選品、輸入數量、結帳、使用儲值金付款,成功下單,實體商品最終送達講者家中。

提到的技術・產品・數據

Google Apps Script
Google 服務背後可程式化串接的「小電腦」,可操作 Gmail/Drive/Sheet/Calendar 等
ChatGPT 內建程式碼執行環境(Code Interpreter)
用於直接處理上傳的 Excel/文件
Computer-use 型 AI Agent
透過電腦視覺辨識畫面、模擬滑鼠鍵盤操作完成網購下單

值得記下的觀點

「AI 它是一個 20 元的魔杖,就是很多人其實可能有魔法,可是之前可能我們沒有這個魔杖,現在你有這個魔杖,你就可以做一些很神奇的事情。」
「不要問我過程,直接做⋯⋯我只需要負責喝蘋果汁就可以了。」

Q&A

  • 無正式 Q&A;講者下台後主持人稱讚「不要問我過程直接下單」一段。

查證註記

  • 李慕約確為 Generative AI Conference(生成式 AI 年會)共同創辦人兼策展人。來源:Podcast 節目介紹
  • 「Sense AI」推測為講者社群「Sun*」或近似的自創品牌名稱,正確名稱未能查證。
5多模態 AI 賦能智慧製造升級林育弘(東捷科技 AI 系統規劃處 處長)

面板/半導體雷射修補設備商,整合影像、量測數據與生成式 AI 打造多模態瑕疵檢測與修補系統。

重點整理

  • 東捷科技主力產品為雷射修補設備,客戶群多為面板與半導體產業;子公司「和來科技」經營物流業自動化設備(如包裹分揀視覺辨識)。
  • 公司近年積極投入 AI 系統整合,曾在經濟部主辦的 IDEAS Show 商業影像 AI 辨識競賽拿下第三名,並與成大連正傑教授團隊有產學合作案。
  • 對「多模態 AI」的定義:不只是把資料形式(文字/圖像/語音)都串接起來,更關鍵是不同單模態模型之間可以互通資訊,不需要人工把各自輸出重新整合。
  • 舉例說明多模態的效率優勢:以往需拆成語言 AI、視覺 AI(以圖搜圖)、對話 AI 三個獨立步驟才能完成的複合查詢(如「找到這家餐廳最好吃的料理並用義大利語念出名字」),多模態模型可一次處理。
  • 公司實際應用:從上游 AI 檢測設備(掃描瑕疵位置)、量測設備(如線寬是否超規)到下游雷射修補設備,串接多模態數據做語意理解,讓修補路徑更精準、甚至可望取代部分人工修補。
  • 單一模態技術盤點:圖像 AI 聚焦瑕疵異常偵測與標示(採 anomalization 類模型);生成式 AI 用於低解析影像超解析合成,彌補工業相機規格限制;數據型 AI 多用 AutoML 整合模型診斷異常數值;重建 AI 用 DFD 技術從 2D 影像生成高度(深度)資訊;路徑 AI 依缺陷類型規劃修補路徑,力求貼近人工手修結果。
  • 展望:多模態成熟後智慧工廠將更高效、更彈性、更能支援少量客製化生產;人機協作模式依產業而異(有些是 AI 執行、人員統籌,有些是 AI 輔助、人員執行);上游數據收集效率提升也將帶動產業升級(呼應工業 4.0 概念)。

提到的技術・產品・數據

Anomalization 模型
用於圖像異常瑕疵偵測
DFD 技術
用於 2D 影像生成高度/深度資訊(重建 AI)
AutoML
用於數據型 AI 的異常數值診斷
IDEAS Show 商業影像 AI 辨識競賽
經濟部主辦,東捷科技子公司團隊曾獲第三名

值得記下的觀點

「模型之間本身其實是沒辦法共享支援的,可是多模態是可以的⋯⋯他們是彼此之間是可以做一個互通的。」

Q&A

  • 無正式 Q&A;主持人結語簡短呼應多模態對智慧製造的影響。

查證註記

  • 網路搜尋未能找到「林育弘」於東捷科技 AI 系統規劃處任職的公開資料,但公司背景(雷射修補設備、面板/半導體客戶、子公司和來科技做物流)與現場發言內容高度吻合。來源:東捷科技官網
  • 講者職稱「AI 系統規劃處的處長」與官方議程「Director」一致。
6AI 驅動製造創新:視覺 AI 平台與生成式影像技術高季安(先知科技 總經理)

No-code 影像瑕疵檢測平台,用生成式影像擴增解決製造業「多樣少量」缺樣本的痛點。

重點整理

  • 講者背景:擁有超過 30 年設備、製程工程與資訊科技經驗,博士論文期間與成大鄭芳田教授合作 AI 專案,之後創立先知科技,將台積電式智慧製造理念帶到中小企業。
  • 先知科技業務涵蓋生成式 AI、RPA + AI、圖像應用 AI、數據 AI,可與客戶做多模態混合應用(如結合工程圖文字與圖像解析提升毛利)。
  • 點出製造業三大痛點:(1) 製造場域分散、系統需具備雲端/跨場域特性;(2) 客戶端普遍缺乏 AI 甚至 IT 人才(自嘲台灣人才多去新創或大公司);(3) 難以針對「多樣少量」的特殊產品建立足量訓練資料的判別型/決策型 AI(因為量大的訂單多流向對岸規模經濟)。
  • 核心產品「天然通好」:no-code 圖像瑕疵分類/定位平台,號稱從資料蒐集、標註、訓練、評估到落地一站式完成,並將超參數調整、模型選擇自動化,持續把公司在國際競賽拿到的最新演算法內嵌進平台。
  • 生成式影像擴增案例:養蜂場案例僅用 1 張真實影像搭配大量生成式深層(合成)影像訓練,驗證檢測 mAP 達 0.785(講者稱 0.5 以上即具備上線可用門檻);扣件彎曲瑕疵案例僅用 2–3 根真實樣本搭配生成式合成瑕疵樣本,偵測率達到近 100%。
  • 結論主張:生成式 AI 不是只能用於生成內容,也能與判別式/決策式 AI 協同,打破「決策式 AI 必須要有大量真實樣本」的傳統認知,尤其適合台灣中小企業的多樣少量生產型態。
  • 花絮:分享一位客戶自建 AI 團隊寫 Prompt,結果內部一般使用者用先知平台做出來的效果,只比公司內部 AI 專家寫的 Prompt 好一點點;講者將此重新詮釋為「你的員工都變成了 AI 專家」的正面案例。

提到的技術・產品・數據

天然通好
先知科技 no-code 圖像瑕疵檢測/分類平台
生成式影像資料擴增(少樣本 + 合成資料)
用於解決製造業多樣少量缺乏訓練樣本問題
mAP(mean Average Precision)
講者引用的物件偵測評估指標,案例達 0.785

值得記下的觀點

「生成式的 AI 不是只能用在生成式上面,它可以跟決策式的這個 AI 共同的合作,去打破這一個決策式 AI 裡面有很多以前我們認為不可能打破的一個基數。」

查證註記

  • 先知科技、高季安為總經理/創辦人,博士為成功大學製造資訊與系統研究所(與鄭芳田教授合作),曾任職台積電,均查證屬實。來源:先知科技官網報導INSIDE 專題
7評估驅動開發張文鈿(愛好資訊 Founder;現場與主持人皆稱其英文名「iHoward」)

提出 LLM 應用開發成熟度 5 級模型,示範用 AI 自動生成、合成測試資料並自動最佳化 Prompt。

重點整理

  • 講者自我定位為 AI engineer,經營「AI Engineer」電子報,熟悉 OpenAI、Claude、RAG 技術,並自行維護繁體中文 Embedding 模型評測(自稱 Google 搜尋排名第一);完整投影片已公開於個人部落格 ihower.tw。
  • 核心主張:面對 LLM 應用(Prompt)表現的不確定性,答案是「做評估」——準備 dataset、實際跑過、依輸出結果評估(可以是演算法評估、人工評估、或 AI 打分)。
  • 提出自創 Prompt 工程成熟度 5 級模型(對比傳統確定性軟體開發流程):Level 0 寫扣不測試不評估;Level 1 只在 Playground 肉眼看一下;Level 2 準備測試案例集,人工分析結果做調整;Level 3 自動化評估(類比傳統單元測試,改用 LLM 或演算法自動打分);Level 4 類比 TDD,做到 Prompt 的自動化最佳化。
  • Level 2 示範「MetaPrompt」:用 Anthropic(Claude)後台已開源的 Prompt 生成 Prompt 工具,輸入簡短任務描述即可生成完整 Prompt(含 few-shot 範例),但因該工具偏好 Claude 慣用的 XML 標籤格式,換其他模型(如 OpenAI)時仍需人工微調格式。
  • Level 3 示範「有標準答案」評估:中文 Prompt 分類任務初版準確率 87.5%,用 MetaPrompt 生成英文版 Prompt 後提升到 95%;再加上 Chain-of-Thought(「一步步思考」)並未進一步提升準確率,因任務本身夠簡單、模型不需要額外推理步驟即可作答——藉此展示如何用客觀分數判斷 Prompt 該怎麼改。
  • Level 3 亦示範「無標準答案」評估:寫一個扮演 Judge 角色的評估 Prompt,列出 0–5 分的評分 Criteria(LLM-as-judge),並提到需要人工校正 AI 評分結果、把校正過的案例存為 few-shot 範例回饋進評估 Prompt,解決「誰來監督評分者」的問題;RAG 情境下可對「問題—檢索資料—答案」三者兩兩做相關性評估。
  • Level 4 示範自動化 Prompt 最佳化框架:DSPy 與 TextGrad,皆可設定要用哪個模型合成訓練資料、哪個模型生成 Prompt、哪個模型做最終預測,跑幾分鐘後自動疊代產生上百個候選 Prompt 並選出最佳版本;示範案例中,分類任務的自動最佳化 Prompt 把準確率拉到 100%(例如引用「Lama 2 模型上針對數學推理問題,最佳 Prompt 竟是一段星際大戰式敘事」的既有研究說明手寫 Prompt 效率低下)。
  • 分享 DSPy、TextGrad 的 Colab 筆記本供聽眾直接帶走使用。

提到的技術・產品・數據

MetaPrompt
Anthropic(Claude)後台已開源、用於生成 Prompt 的 Prompt 工具
LLM-as-judge
用 AI 對輸出打分的自動化評估方式
DSPy、TextGrad
兩套 Prompt 自動最佳化框架,皆可疊代生成並篩選最佳 Prompt
Prompt 工程成熟度 5 級模型(Level 0–4)
講者自創的分類架構

值得記下的觀點

「手工寫 Prompt 的效率是很低下的。」

查證註記

  • 張文鈿(線上暱稱 ihower)確為愛好資訊創辦人(成立於 2018 年),專長 OpenAI API、Claude、RAG,經營 AI Engineer 電子報,現場與主持人稱其英文名「iHoward」應為「愛好」(àihào)的諧音/藝名,對應官方議程公司名「愛好資訊」,講題「Eval-Driven-Development」與官方議程完全一致。來源:ihower.tw 簡報張文鈿 Facebook
8用多模態邊緣運算推進醫療創新胡翔崴(工研院 Engineer)

多模態醫療大模型串接化合物、生理訊號、影像等資料,做衛教問答、標準化病患訓練與 3D 齒模生成。

重點整理

  • 講者背景:有新創經驗(翔安生醫、HIT for Asia 共同創辦人)、成大鳳凰新創導師,深耕 AI 技術約 10 年,同時在金融與醫療領域做創新研發與論文發表,今年已累積近 20 場演講。
  • 多模態技術流程:文字/影像等輸入經過各自的 encoder,再 project 到共同的多維向量空間,最後多半 project 到 LLM,讓 LLM 作為多模態橋樑;在醫療領域,講者將此概念延伸到化合物(SMILES 字串)、蛋白質序列、生理訊號(腦波 EEG、心電圖 ECG)、醫學影像、病歷報告等「序列型資料」,只要是序列型資料都可以走同一套 encoder → projection 架構。
  • 應用案例 1(醫病問答/衛教):發表於 IQA Conference 的創新做法——讓另一個大模型擔任「審閱者」,對第一個模型輸出的回應做同理心與醫療諮詢品質評分與回饋,再要求原模型修改回應;量化效果為專業度提升 14.29%、意圖辨識提升 5.81%。
  • 應用案例 2(個人化衛教):針對慢性腎臟病不同分期(如第一至第四期)建立各自的飲食限制資料庫,確保系統對同一問題(如飲食限制)能依病患實際分期給出不同、更精準的個人化建議,而非千篇一律的回答。
  • 應用案例 3(臨床報告生成):與醫院合作,讀取臨床資料自動生成個人化照護推薦計畫(涵蓋認知訓練、光刺激音樂治療等),因臨床人力普遍沒有時間手寫個人化衛教單,此系統在臨床評分上獲得不錯結果;另建有失智症檢測平台,整合動眼辨識等 vital sign 量測,自動產出圖表與報告並支援後續醫病問答。
  • 應用案例 4(陪伴機器人):以 GPT-4o 為基礎打造陪伴機器人,額外加上眼部十二種情緒表情模組與後台健康分析,已在兩家醫院的長照中心導入、並曾在 TPBS 展演,可陪聊、關心生活瑣事,也能回應專業衛教問題。
  • 應用案例 5(標準化病患教育系統):反轉傳統「虛擬人教育病患」模式,改由 AI 扮演設定好病史(糖尿病、高血壓、骨質疏鬆等)的「標準化病患」,讓受訓醫師練習問診應對;系統可自動比對醫師問診結果與正確答案、給出自動化評分,目前已有約 8 家醫院持續洽談合作,年底預計加入語音/虛擬人互動介面。
  • 應用案例 6(3D 齒模生成):透過 Fine-tune(有 Fine-tune vs 無 Fine-tune 對照)搭配 NVIDIA NeMo 架構,先做到病歷報告的圖文生成,再示範用文字直接控制/生成 3D 牙齒模型(如指定「牙齒外翻」等病徵),朝「病歷文字 → 3D 影像」自動生成發展。
  • 技術基礎設施:採用 NVIDIA 邊緣運算架構(Jetson Orin 系列)與 NVIDIA NeMo framework,持續與 NVIDIA 合作,預計 10 月底進行進一步經驗分享。

提到的技術・產品・數據

GPT-4o
講者列為當前多模態代表模型(低延遲、語音生成、視覺辨識能力強)
NVIDIA Jetson Orin 系列 + NVIDIA NeMo framework
醫療多模態模型的邊緣運算基礎設施
SMILES 字串
化合物的序列化文字表示,用於將化合物資料納入多模態 encoder
IQA Conference
講者發表「AI 審閱者」機制論文的會議

查證註記

  • 胡翔崴為翔安生醫、HIT for Asia 共同創辦人、工研院研發背景,查證屬實。來源:遠見雜誌專訪
  • 現場紀錄中多項成果數字(如「拿到 GIN STAR 前 20 強」「LAMA 前 8 強」等競賽名稱發音不清楚)(未能查證)。
9為高耗能產業去碳化:AI 解決方案如何加速 ESG 目標謝宗震(詠鋐智能 Chimes AI CEO;主持人稱其英文名「Johnson」)

用預測型+生成式 AI 幫高耗能工廠設備節能,案例年省 32% 用電、平台累積減碳逾 4 萬噸。

重點整理

  • 講者背景:清華大學統計博士,人稱「台灣 R 語言之父」,在 GitHub 貢獻排名台灣第二、全球第 709 位;主持 D4SG 資料英雄計畫,協助台灣運用科技與資料改造社會;2014 年即以第一屆講者身分參與本年會前身「資料科學愛好者年會」,今年剛好滿 10 年再度受邀。
  • 創立 Chimes AI(詠鋐智能),目標用 AI 技術降低浪費,協助組織與企業加速實踐 ESG/減碳;背景論點:78% 跨國品牌要求供應商在節能減碳上拿出具體時程。
  • 案例 1(電熱爐):高雄某化工廠電熱爐原料加熱到攝氏 300°C、持續超過 30 小時/批,單批耗電 2 萬度(相當於 2000 戶家庭一天用電量)、一年約做 60 批,年用電 1.2 GWh、產生 600 噸碳排(需種 5 萬棵樹才能抵銷);用預測型 AI + 生成式 AI 給出的節能操作建議(在產品合格前提下調整升溫曲線與持溫時間),實測年省 32% 用電,相當於年減碳從 600 噸降到約 200 噸左右(省下 400 噸)。
  • 案例 2(半導體廠冰水系統):半導體廠冰水系統耗電常佔全廠 20–30%,透過固定冷凍能力需求、調整冰水系統可調參數,可年省 5–15% 冰水系統耗電並延長設備壽命。
  • 案例 3(設備異常預警):與皓博科技(Harbor Technology)合作,把幫浦、壓縮機、齒輪箱、風扇、鼓風機、攪拌機、混料機等設備的震動、電流、溫度、流量數據轉換成「設備壽命指標」分數,做到提早預警;再搭配生成式 AI 助理說明可能故障原因與處置建議,讓巡檢人員出門前就有準備,降低勞動時間成本與公安風險。
  • 規模與成果:以「Tookie」平台(AutoML + 生成式 AI)已落地應用於 50 間工廠、部署 2500 個 AI 應用,累積每年節省逾 4 萬噸二氧化碳排放。
  • 產品架構:把設備感測數據彙整進數據中台,再送入安裝 Tookie 的 AI PC,提供品質預診斷、即時診斷、製程操作優化(節電節碳)、非計畫性停機前的設備預診斷,並用生成式 AI 把預測結果轉譯成人看得懂、可信任的建議。

提到的技術・產品・數據

Chimes AI(詠鋐智能)
講者創辦公司,主打 AI 節能減碳
Tookie 平台
AutoML + 生成式 AI 整合平台,用於設備節能與異常預警
皓博科技(Harbor Technology)
提供設備振動/電流/溫度/流量數據的合作夥伴

值得記下的觀點

「地球只有一個。」

Q&A

  • 無正式 Q&A;本場為 R3 全場最後一位講者,結束後主持人隨即宣布 R3 場次結束、引導聽眾前往 Closing Keynote。

查證註記

  • 謝宗震(Johnson Hsieh)確為詠鋐智能(Chimes AI)創辦人 CEO,清華大學統計學博士,公司成立於 2020 年 12 月。官方議程公司名寫作「詠鋝智能」,經查證正確寫法應為「詠鋐智能」(鋐,非鋝)——這是官方議程頁本身的錯字,此處以查證結果「詠鋐智能」為準。來源:未來城市@天下專訪Chimes AI 官網

English