國科會115年度預算案補助國研院辦理「晶片驅動產業創新再升級計畫」編列68億4,180萬元,其中「晶片驅動臺灣產業創新-精進臺灣可信任AI大語言模型推動計畫」編列1億1,880萬元。經查:
(一)計畫概要
該計畫係114年度起執行之4年期計畫,銜接並精進112年度開始執行之「推動可信任生成式AI發展先期計畫」已建立之繁體中文版可信任AI對話引擎(TAIDE),透過補助國研院建置資料蒐集平台,持續蒐集各面向專用領域及常用自然語言繁體中文語料,以官方政府資源為主、民間為輔,收納具臺灣主體性之文本資料,同時藉此精進模型開發技術,建立完備之臺灣自主大型語言模型、全民素養提升措施與組織學習標竿,並將AI 模型應用於公部門施政或治理層面,藉以改善其作業流程與運作效能,期能促進臺灣之數位科技應用實力,115年度兩項細部計畫之執行單位、計畫內容及預期關鍵成果詳表1。
表1 115年度精進臺灣可信任AI大語言模型推動計畫概要表
細部計畫
執行單位
計畫內容
預期關鍵成果
資料蒐集及預處理
國研院科技政策研究與資訊中心
蒐集整理臺灣各面向之相關知識及應用開發所需之專用領域資料,維運並推廣資料蒐集平台,鼓勵民眾自主上傳其擁有著作權之資料。
完成資料蒐集平台之維運,持續蒐集繁體中文資料及至少5 個應用主題之專用資料。
模型研發與應用推廣
國研院國家高速網路與計算中心
深化模型技術開發成果,掌握最新自然語言處理技術。發展多模態模型,打造賦有價值觀與文化適應性之模型產出。打造「TAIDE-公部門公文生成模型」,以作為公部門以及多元領域模型導入應用之示範,期擴大可信任、本土化AI 語言模型之推動基石。
累計完成5 套模型開發並提供特定用戶。
資料來源:115年度政府科技發展計畫書「晶片驅動臺灣產業創新-精進臺灣可信任AI 大語言模型推動計畫(2/4」。
(二)截至114年8月基礎模型下載量已逾22萬次,雖115及116年度計畫下載量目標值已調升,惟仍未具挑戰性,允宜審酌執行實績設定具挑戰性之目標值,俾利評估計畫成效
該計畫原先設定開發之繁體中文基礎模型下載量目標值,114至117年度分別為超過1 萬、1.3萬、1.5萬及2萬人次,依115年度計畫書所載,下載量由「預期關鍵成果」改設為「自我挑戰目標」,下載量目標值調升為115及116年度分別達1.5萬及2萬人次,較原先設定目標值分別增加2千及5千人次,增幅分別為15.38%及33.33%。迄今TAIDE共有7模型版本,自113年4月開始陸續釋出,截至當年底累計下載量達16萬6,967次,至114年8月下載量為22萬4,728次(詳表2),已大幅超越計畫自我挑戰目標值,115年度起調升之目標值仍未具挑戰性,允宜參酌執行實績,滾動式檢討並調升目標值,俾利評估計畫成效。
綜上,國科會115年度預算案補助國研院辦理發展推動本土語料模型開發,擴充資料來源與多樣性,持續精進TAIDE模型,並結合公部門應用推廣實現技術落地與強化數位治理。雖115及116年度計畫下載量自我討挑戰目標值已調升,惟仍低於TAIDE模型實際下載量,允宜依執行實況滾動式檢討並設定具挑戰性之目標值,俾利評估計畫成效。
表2 TAIDE模型下載次數統計表 單位:次
模型名稱
釋出時間
模型差異
累計下載量
113年12月底
114年8月底
TAIDE-LX-7B-Chat-4bit
113/04/15
TAIDE-LX-7B-Chat之4 bit 量化模型,以提供使用者之便利性為考量,可能會影響效能與更多不可預期之問題。
2,275
3,041
TAIDE-LX-7B-Chat
113/04/15
以 TAIDE-LX-7B 為基礎,透過指令微調強化辦公室常用任務和多輪問答對話能力,適合聊天對話或任務協助之使用情境。
57,458
66,275
TAIDE-LX-7B
113/04/15
以 LLaMA2-7B為基礎,僅使用繁體中文資料預訓練,適合針對模型進一步微調之使用情境。
10,596
14,306
Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit
113/04/29
以 LLaMA3-8B為基礎,使用繁體中文資料預,並透過指令微調強化辦公室常用任務和多輪問答對話能力,適合聊天對話或任務協助之使用情境。
3,783
5,165
Llama3-TAIDE-LX-8B-Chat-Alpha1
113/04/29
Llama3-TAIDE-LX-8B-Chat-Alpha1之4bit量化模型,提供使用者之便利性,可能會影響效能與更多不可預期之問題。
92,855
115,105
Llama-3.1-TAIDE-LX-8B-Chat
114/02/11
相較於前期釋出之Llama3-TAIDE-LX-8B-Chat-Alpha1,加強對於長文處理能力與繁體中文之解碼速度,以及模型上下文長度(Context Length)由8K增加至131K。
-
19,482
Gemma-3-TAIDE-12b-Chat
114/08/22
相較於前期釋出之Llama3.1-TAIDE-LX-8B-Chat,以Gemma-3-12b模型之進行訓練,並強化辦公室常用任務與多輪問答對話能力,適合聊天對話後任務協助之使用情境。
-
1,354
合計
166,967
224,728
資料來源:國科會提供。
