(一)部分科技計畫之績效指標目標值設定過於保守,缺乏挑戰性
部分科技計畫所列績效指標之目標值低於實際達成值甚多,顯示目標值訂定偏低,不具激勵效用,喪失績效指標之意義;或未依已達成情形適度調整後續年度目標值,致年年產生巨幅差異,例如法務部「第四階段電子化政府計畫(101年至105年)-檢察、矯正、廉政資料整合提升計畫」等(詳附表5-3-1)。嗣後允宜參酌以前年度實際執行情形予以調高,俾客觀辦理績效評估及提升計畫管理績效。
附表5-3-1:104至108年度中央政府重大社會民生議題相關科技計畫績效指標值之設定及達成結果落差情形分析表
計畫名稱
執行機關名稱
績效指標之設定及達成結果落差情形
第四階段電子化政府計畫(101年至105年)-檢察、矯正、廉政資料整合提升計畫
法務部
104年度:全國法規資料庫使用率(預計1,600萬人次/年、實際6,381萬人次/年)超過目標值298.81%。
105年度:全國法規資料庫使用率(預計4,000萬人次/年、實際6,291萬人次/年)超過目標值57.28%。
第五階段電子化政府計畫-數位政府(106年至109年)-跨機關整合共用行政資訊系統推動計畫-數位證據保全推動計畫
106年度:數位證據保全諮詢服務滿意度(預計70%、實際98.3%)超過目標值28.3%。
107年度:數位證據保全諮詢服務滿意度(預計73%、實際97.87%)超過目標值24.87%。
108年度:數位證據保全共用系統使用者滿意度(預計80%)。
服務型智慧政府推動計畫(106年-109年)
行政院主計總處
106年度:薪資管理系統使用者滿意度(預計70%、實際91.1%)超過目標值21.1%。
107年度:薪資管理系統使用者滿意度(預計75%、實際89.4%)超過目標值14.4%。
108年度:薪資管理系統使用者滿意度(預計78%)。
第五階段電子化政府計畫—電子發票服務躍升計畫
財政部財政資訊中心
106年度:開立電子發票比率(預計 64.5%、實際80.24%)、增加載具數量(預計10個、實際50個)。
107年度:開立電子發票比率(預計 65.5%、實際85.61%)、增加載具數量(預計10 個、實際137個)。
108年度:開立電子發票比率(預計 66.5%)、增加載具數量(預計10個)。
服務型智慧政府推動計畫—賦稅服務續階計畫
107年度:地價稅、房屋稅及使用牌照稅線上繳稅-民眾滿意度比率(預計60%、實際86.43%)、關稅與內地稅雙向通報使用系統通報比率(預計10%、實際100%)。
108年度:地價稅、房屋稅及使用牌照稅線上繳稅-民眾滿意度比率(預計70%)、關稅與內地稅雙向通報使用系統通報比率(預計20%)。
學校防減災及氣候變遷調適教育精進計畫
教育部
104年度:科普知識推廣(預計10萬人,實際15萬人)、資訊服務(預計20萬人,實際37萬人)、補助開設通識課程修課(預計2,500人,實際3,864人)。
105年度:科普知識推廣(預計20萬人,實際29萬人)、資訊服務(預計65萬人,實際72萬人)、補助開設通識課程修課(預計3,000人,實際7,933人)。
106年度:科普知識推廣(預計25萬人,實際30萬人)、補助開設通識課程修課(預計3,500人,實際5,467人)。
107年度:資訊服務(預計10萬人,實際39萬人)、補助開設通識課程修課(預計2,400人,實際5,966人)。
中央政府前瞻基礎建設第1期特別預算-強化防救災行動通訊基礎建置計畫
通傳會
107年度:提升災變後基地臺存活率(預計90%、實際99.49%)。
108年度:提升災變後基地臺存活率(預計93%)。
中央政府前瞻基礎建設第1期特別預算-數位建設-發展數位文創
故宮
107年度: 新媒體數位文創產值(預計422萬元、實際2,378萬9千元)。
氣象資訊之智慧應用服務計畫(Ⅰ)
中央氣象局
105年度:論文(預計16篇,實際64篇)、雲端服務支援政府與其他單位(預計22家,實際83家)。
106年度:論文(預計17篇,實際47篇)、雲端服務支援政府與其他單位(預計24家,實際90家)。
107年度:論文(預計34篇,實際82篇)。
108年度:論文(預計34篇)。
第四階段電子化政府計畫(5/5)-主動全程服務-公職人員財產申報全面服務申報人計畫
監察院
105年度:以網路介接取代紙本查調之比例(預計60%、實際90.09%)、提升法務部授權比例(預計20%、實際45.67%)。
106年度:以網路介接取代紙本查調之比例(預計85%、實際97.57%)、監察院授權及網路申報比例(預計35%、實際70.69%)。
※註:1.資料來源,依中央政府各機關提供資料整理。
2.僅列出各計畫執行結果落差較大之績效指標。
(二)績效指標無法反映計畫目標,或缺乏具體、長遠之指標
科技計畫設定之績效指標若無法明確顯示其與計畫目標或重點工作內容間之因果關係,即無法得以明確展現出指標之效度(validity)。例如:
1.經濟部水利署104至107年度辦理「水資源科技發展計畫-水旱災整備及應變科技之研究」計畫,該計畫著眼於資訊、視訊及通訊等先進科技之整合,並落實應用於中央部會、地方機關及民間團體,以發揮災害預警及保全之最大效益。惟查該計畫各年度績效指標為「Qwater緊急淨水系統專利技轉」、取得「組合式太陽能淨水箱」等國內專利,似無法反映該計畫執行後對防災監測技術及災情分析能力之精進程度。另依經濟部水利署組織條例第2條規定,該署之職掌包括「中央水、旱災之防救事項」,該計畫以專利取得情形做為績效指標,亦有迴避以機關策略重點做為績效管理指標,而以其他未居策略優先性之項目替代之嫌。
2.農委會104及105年度辦理「E化農業雲端」計畫,「農業雲」具有「一源多用」之整合功能,將相關農業產業鏈相關產銷資訊彙整鏈結後,產官學及一般民眾皆可利用各種電腦、網路、手機、電話、傳真及電子看板等多元配備,取得完整之農業產業相關資訊。惟查該計畫之績效指標僅包括「研究報告」及「辦理技術講習」2項,未能將農業雲之運用績效、對農產品產銷調節之成果及提高農民之實際收益列入指標,缺乏可衡量之成果及影響型指標。
(三)績效指標偏重投入面及產出面,與產業鏈結或社會民生相關性較高之成果及影響性指標占比較少
1.江汶軒、何俞賢(2016)針對科技計畫指標之類型進行分類為「投入型」、「產出型」、「成果及影響型」及「不明確」等4 類。其中辦理講習或會議、製作文宣或教材、審查件數、補助件數或金額、派員研習、進修或出國次數等,因該類指標係投入資源以完成特定階段之工作,尚無具體之產出,或未能衡量產出、成果,故列入投入型指標;至於輔導或提供諮詢次數、提出研究報告或發表論文、完成統計資料筆數或資料庫建置、培育人才數等則列為產出型指標。另通過認證、取得專利數,技術移轉或產學合作件數、促進投資或開發之件數與金額、培育人才獲得肯定、滿意度、瀏覽人次、節能效益、促成技術提升等指標,可視為產業或學術發展之成果,或對成果之衡量,故列為成果及影響型指標,屬於與產業鏈結或社會民生相關性較高之影響性指標。
2.經統計104至108年度中央政府重大社會民生議題相關科技計畫共382件,績效指標共1,688項,其中投入型、產出型、成果及影響型績效指標各為266項(占15.76%)、889項(占52.67%)及533項(占31.57%),顯示上述科技計畫之績效指標以投入型及產出型為主,成果及影響型約占3成(詳附表5-3-2)。
3.以中央研究院104至107年度「健康雲跨領域研究:巨量健康資訊科技之研發與應用計畫」為例,該計畫各年度之績效指標均為發表之期刊及論文、建構之主題式及次級資料庫、申請及獲得專利件數、辦理學術活動場次、培育之碩博士生人數、養成之研究團隊等6項,除申請及獲得專利件數1項屬成果及影響型指標外,其餘均為投入型或產出型,且計畫之指標類型未隨生命週期調整,107年度雖為計畫期程最後1年,惟其指標仍以投入型或產出型為主,且指標內涵均未變動,顯示績效指標之訂定未臻嚴謹。另科技部105年度「推動創新及應用科技研究計畫-智慧型雲端防災監測預警技術研發計畫」補助臺灣大學研究團隊研究即時降雨強度量測技術,以雲端運算與大數據分析方法解決干擾誤差、建立低成本高價值之物聯網系統架構,惟其績效指標僅包括「補助計畫件數」及「培育研究團隊數」等2項投入型或產出型指標,且後續各年度之績效指標均相同,未能呈現災害防救技術提升之績效,其指標內容不具成果或效益意涵,難以發揮績效管理之效果。此外,中央氣象局101至106年度「全面性的地震與海嘯早期警報及地震潛勢分析系統建置計畫」之績效指標均為「實際建置完成井下地震觀測站數」,偏重建置績效,缺乏觀測站建置後對各年度地震規模準確度或警報效能提升之量化指標。
(四)部分機關科技計畫之績效指標項數太多,致無法聚焦於計畫目標
1.依據科技部研究結論,科技計畫主要績效指標之訂定,單一計畫以5至7個指標為宜,俾聚焦於計畫目標,過多之指標則形同虛設。經統計104至108年度中央政府重大社會民生議題相關科技計畫共382件,績效指標共1,688項,平均每件4.4項(詳附表5-3-2),項數尚未過多。
2.惟查部分機關科技計畫之衡量指標項數過多,如交通部運輸研究所共執行14件計畫,績效指標共188項,平均每件計畫之績效指標數達13.4項,高於整體科技計畫績效指標平均4.4項甚多,其中104年度「港灣及道路運輸效能提升與災防技術研發(1/2)」計畫及107年度「海洋及交通運輸防災技術研究(1/4)」計畫之績效指標數各為25項及20項,項數顯屬過多,未能適度聚焦於研究主題,恐不利於計畫目標之達成。
附表5-3-2:104至108年度中央政府重大社會民生議題相關科技計畫各類績效指標統計表 單位:件、項
主管機關名稱
計畫件數
績效指標類型統計(項)
投入型
產出型
成果及影響型
合計
行政院
3
0
0
9
9
主計總處
3
3
0
3
6
人事總處
5
3
22
17
42
國發會
17
3
42
30
75
原民會
9
0
18
3
21
內政部
72
55
152
100
307
財政部
12
0
7
35
42
科技部
68
51
101
47
199
法務部
11
1
8
15
24
交通部
61
65
244
113
422
經濟部
13
5
2
25
32
教育部
10
15
32
27
74
農委會
15
8
51
17
76
通傳會
2
0
2
5
7
衛福部
35
17
103
48
168
勞動部
5
3
6
0
9
環保署
11
6
40
12
58
文化部
5
5
13
0
18
客委會
9
9
14
0
23
中研院
8
4
20
12
36
故宮
5
3
6
4
13
保訓會
1
10
6
5
21
監察院
2
0
0
6
6
合計
382
266
889
533
1,688
※註:1.資料來源,依中央政府各機關提供資料整理。
2.各機關科技計畫若為多年期,因各年度之績效指標可能不同,故各年度視為1件計畫,如某計畫之執行期間為104至107年度,且各年度均填報預(決)算數及績效指標等資料,本表統計列為4件計畫。
3.保訓會計畫之執行期間為104至107年度,因未區分各年度執行情形,故列為1件。
(五)績效指標之訂定允宜增列與民眾福祉相關之成果指標或社會經濟影響指標,並建置長期後續成果之追蹤機制
1.以科技部推動我國社會發展重大議題及對社會福祉有貢獻之科技研究計畫所設定績效指標為例,除氣候變遷及災害防救、空氣污染防制及水污染防治等類別訂有完成監測預警模組與方法、技術開發與應用等指標外,其餘多為補助計畫數、人才培育人數或團隊數、論文或報告完成發表篇數、辦理推廣活動等資源投入面或產出指標(詳附表5-3-3)。
2.前揭資源投入面或產出指標或可衡量科技計畫機關人員之付出等投入資源,或直接且立即之產出與服務,惟似難謂屬民眾所關注或有感之指標,且部分指標如補助計畫數,衡酌科技研究計畫需經審查通過始予補助,以補助計畫數為績效指標是否允當,容有待商榷。基此,上開計畫既期對社會發展重大議題及對社會福祉有所貢獻,允宜設定與民眾福祉具有連結效度之成果指標或社會經濟影響之績效指標,例如部分科技計畫以專利申請數為績效指標,允宜增加專利應用率或增加服務能量、技轉金額等收入面指標;研發成果之生產與服務若需由衍生公司執行,允宜納入衍生公司服務能量為績效指標;研究計畫若係針對特定族群之醫療健康等福祉,允宜增加相關醫療費用降低或相關科技收入增加等實際經濟效益指標,以使投入資源有合理之指標完整評估具體應用成效,並建置長期後續成果之追蹤機制,作為政策研擬及預算分配參據。
附表5-3-3:科技部推動我國社會發展重大議題及對社會福祉有貢獻之科技研究計畫績效指標項目彙總表
類 別
計畫名稱及績效指標
少子化
計畫名稱
亞太生醫矽谷精準醫療旗艦計畫--建立以婦幼醫學為主軸的精準醫療專案計畫(106-107年度)
績效指標
研究團隊養成;博碩士培育;辦理學術活動
高齡化社會問題
計畫名稱
1.工程科技發展中程綱要計畫書-兩岸共同議題研究-應對老齡社會之研究(104-106年度)
2.以高齡社會需求為導向之生醫科技研究計畫-以疾病為導向之腦與心智科學(106-107年度)
3.以高齡社會需求為導向之生醫科技研究計畫-高齡營養食品專案(106-107年度)
4.以高齡社會需求為導向之生醫科技研究計畫-輔助科技專案(106年度-107年度)
績效指標
發表論文期刊;培養大專生、碩士生、博士生。
研究團隊養成;辦理學術活動;增加就業;研究報告;促成與學界或產業團體合作研究;技術活動;完成輔具雛型品試製。
氣候變遷及災害防治與救治
計畫名稱
1.自然科學發展研究-災防科技研究計畫 (104年度-107年度)
2.自然科學發展研究-災害防救應用科技方案(104年度-107年度)
3.自然科學發展研究-永續發展研究-台灣氣候變遷推估與資訊平台計畫(104-107年度)
4.國家災害防救科技中心發展計畫-極端氣候之災害風險評估與調適策略(104-106年度)
5.國家災害防救科技中心發展計畫-氣候變遷整合性災害風險評估研究(107年度)
6.推動創新及應用科技研究計畫-智慧型雲端防災監測預警技術研發計畫(105-107年度)
7.智慧型雲端防災監測預警技術研發(105年度-107年度)
8.全方位災害防救資訊蒐整與研判技術提升旗艦計畫(106年度-107年度)
績效指標
1.補助團隊數;補助計畫數;網站瀏覽人數;申請使用資料之計畫數(104-107年度)
2.104年度:完成平台網站;濁水溪流域氣候變遷全流域災害模擬技術發展;完成乾旱監測與流量預警模組。
3.105年度:完成大甲溪流域氣候變遷全流域災害模擬技術發展;出版氣候變遷災害風險地圖與風險地圖問答集;出版台灣氣候變遷災害風險評估報告;防災開發元件及系統。
4.106年度:完成中央與地方災防科研體系建置、資訊息分享;完成地方重點產業災害潛勢與風險初步研究與盤點;完成及出版台灣氣候變遷科學報告2017;產製ARS統計降尺度推估資料、動力降尺度模擬資料。
5.107年度:完成中央與地方災防科研體系建置、資訊息分享;完成地方重點產業災害潛勢與風險;出版台灣氣候過去與未來科學報告轉譯本;說明會;防災開發元件及系統數量;補助跨機關合作團隊;氣候變遷災害風險與調適平台網站建置。
台灣重要新興感染症研究
計畫名稱
1.台灣重要新興感染症研究(104年度-107年度)
2.全球衛生防疫一體(107年度)
績效指標
發表國際期刊論文或研討會論文;國內研究團隊成為國際知名研究團隊;博碩士生培育人數;研究報告數;專利技術產出或申請件數;舉辦新興感染症相關議題之研討會或國際學術會議。
多元族群
計畫名稱
科學教育研究發展及推動國際科技合作-原住民族科學教育計畫
績效指標
辦理推廣活動
空氣及水污染防制
計畫名稱
推動創新及應用科技研究計畫-細懸浮微粒監測與防護技術提升計畫(105-107年度)
績效指標
105年度:定義整合系統適用地域範圍、功能、應用性、市場性等現況與未來性之評估;感測器與監測儀器之簡易廣布技術與精準性評估;確認監控和監測物種與分析方法;衛星資料反演與應用評估;細懸浮微粒前驅物分析技術;地面、垂直與無人飛行器(UAV)載具;感應元件;監測儀器微型化;觀測技術等開發與應用。
106年度:汙染物與排放源巨量數據分析,資料傳輸與視覺展示技術;結合各種可能觀測與分析資料,進行整合性效能測試與評估;完成細懸浮微粒感測站點之架設;建構感測器監測物聯網絡;完成初步之測試與問題分析及排除,及進行巨量數據分析方法,影像、數位能見度與細懸浮微粒之關聯性初步分析。
107年度:驗證與評估本計畫空污系統之系統品質與內容可靠度;建置長程傳輸污染氣團之前緣監測能力;境外傳輸之細懸浮微粒監測與預報系統開發與測試;細懸浮微粒物聯網和小型雲端計算中心、小型細懸浮微粒監測物聯網示範區功能之建立。
地方創生
計畫名稱
1.人文及社會科學研究發展計畫-人文創新與社會實踐計畫
2.人文及社會科學研究發展計畫-大學與地方政府合作推動地方人文發展與跨域治理計畫
績效指標
補助計畫;培育研究團隊
※註:1.資料來源,科技部提供。
(六)科學技術白皮書擘劃科技發展願景及策略,所設定目標恐僅反映施政範圍之一隅,難以完整衡量政策成效
1.依中華民國科學技術白皮書(104至107年度),為達成願景與科研、環境、產業及社會各面向目標,訂定科研面、環境面、產業面及社會面等指標(詳附表5-3-3),列為衡量我國科技政策成效之參考。
2.上開指標與民眾福祉較為直接相關之環境面及社會面指標分別設定能源密集度、太陽光電裝置容量、偏鄉寬頻涵蓋率及遠距健康照護服務人數等2017年目標值均已達成(詳附表5-3-4)。
3.依中華民國科學技術白皮書(104至107年度)所載之願景係以智慧科技打造永續成長之幸福社會,目標為科研創新轉化、永續綠能環境、產業科技加值及幸福多元社會。其中與人民生活福祉較為直接關聯之永續綠能環境及幸福多元社會包含架構綠能相關產業資源及能源循環共生體系,因應全球暖化與氣候變遷,通盤檢討天然防災機制與策略,加強天然及再生資源有效循環利用,打造安全防災之生活智慧網絡,整合政府健康雲與民間健康照護系統及服務,完善健康照護服務網絡,創造樂齡理想社會,妥善規劃科技業、工業與農業之區域布局等。是以,科學技術白皮書(104至107年度)環境面及社會面目標範圍尚非僅侷限於能源密集度、太陽能光電裝置容量、偏鄉寬頻涵蓋率及遠距健康照護服務人數,所設定指標恐未盡反映前揭施政目標範圍,似未足以衡量科學技術白皮書所提科技政策成效。
附表5-3-4:科學技術白皮書(104至107年度)設定目標達成情形表
指標
2017年目標設定
2017年實際達成值
科研面
全國研發經費占國內生產毛額比率
3%
3.30%
每5年論文平均被引用次數
5.7
2013-2017年論文平均被引用次數5.75次。
環境面
能源密集度
7.4公升油當量/新臺幣千元以下
5.21公升油當量/新臺幣千元。
太陽光電裝置容量
2015年—842MW
2020年—2,120MW
2030年—6,200MW
2015年—884.25 MW
2017年—1,767.70MW
產業面
專利家族數
每10萬居民有效專利件家族數235件
根據OECD最新統計,2016年專利家族數為388件。
企業研發經費占產業附加價值比
2013年-3.09%
2017年-3.30%
2017-3.42%(科學技術統計要覽2018年版)。
社會面
偏鄉寬頻涵蓋率
12Mbit/sec以上之平均涵蓋率達成95%
96.7%(註2)
遠距健康照護服務人數
20萬人以上
104及105年度全國遠距健康照護服務人數分別為39萬6,019人及90萬3,817人。
※註:1.資料來源,科研面及產業面達成值數據為科技部提供;環境面數據為經濟部提供,社會面遠距健康照護服務人數為衛福部提供。
2.偏鄉寬頻涵蓋率2017年實際達成值數據來源: https://www.ey.gov.tw/Page/448DE008087A1971/dd07b5e7-ba5c-46ec-ab16-685eebd60479。
3.能源密集度係測量一個國家能源使用效率,即每單位GDP所消耗之能源數。
