教育行政評鑑理論-CIPP評鑑模式
~評鑑最重要的意圖不是為了証明,而是為了改進。~
(The goal of evaluation is not to “prove”
but to “improve”)
-D.
L. Stufflebeam(1983)
邱婉婷
嘉大國民教育所
一、評鑑的涵義
評鑑 (evaluation) 一詞,含有評價之意,是正確而有效的價值判斷(value judgments),亦即對事項加以審慎的評析,以量定其得失及原因,據以決定如何改進或重新計劃的過程 (王家通,1995
; 謝文全,1996)。其並非考核,它強調績效責任,實施價值判斷,達成目標導向,提供決策參考並協助改進發展(毛連塭,1996)。
而教育評鑑乃以理論為基礎,運用科學系統的程序、根據教育目標、針對教學效果、掌握教學計畫、衡量教育成就、檢討教育過程,所進行之評估 (張植珊,1983) 。且透過事實性與價值性之綜合研判,來衡量教育目標與實施措施之差距,並提供教育人員和制定決策者參考,藉以進行教育目的之一系統歷程。
教育評鑑的定義。根據Stufflebean(1971)的看法可分為以下三種(引自秦夢群,1997):(1)評鑑即測驗:認為評鑑即是測驗分數結果的呈現,兩者並無太大差別。Thorndike即是此說的擁護者。(2)評鑑是目標與表現結果的比較過程:此說又以Tyler為代表。他主張課程與教學的設計必須設定明確的行為目標,而評鑑即是在教育過程中去比較與確認目標與行為結果的一致性。換句話說,當教育課程或活動進行後,判定學習者所達到設定目標的程度極為評鑑。(3)評鑑是專業的判斷:Stufflebeam即極力主張此說。他認為評鑑不再附屬於測驗或是教育研究法的領域,它可以根據教育專家的判斷或是意見,而對教育體系或是過程做評估與診療的工作。其中最顯著的即是美國認可制度的出現。由各教育專業團體對各學校進行評鑑,以確定其學生是否符合所定的學業水準,然後再決定學校設立科系的層次與內容。
二、評鑑的目的
評鑑的目的在了解組織所發生的問題、預估內部與外部環境的配合程度、指引決策或行動、拉近預期與實際間的差距。組織應有明確的政策與目標,這是評鑑的首要條件,其有四條件(黃炳煌,1997):(一)評鑑應當是有用的(useful):評鑑可協助被評鑑對象確認其優點與缺點、問題所在及改進的方向。(二)評鑑應當是可行的(feasible):評鑑應運用評鑑程序,並有效的予以管理。(三)評鑑應當是倫理的(ethical):評鑑應提供必要的合作、維護有關團體的權益、不受任何利益團體之威脅與妥協,謹遵應有之倫理。(四)評鑑應當是精確的(accurate):評鑑應清楚描述評鑑對象之發展,顯示規劃、程序、結果等。並提供有效之研究結論與具體建議。
要言之,評鑑應是有導向性(orientation)、整體性(totality)、繼續性(continuity)、實證性(empirical)、差距性(discrepancy)、貫聯性(context)等六大特性(湯志民,1988)。,評鑑能落實於行動中,才是評鑑最終之目的。
三、評鑑的功能
評鑑應成為一項例行性的工作,用以檢視機構內部運作,外部服務品質,以便使服務日新又新,亦是藉此系統自省、內省,據以修正、調整運作,乃至繼續生存的不二法門,因此評鑑的功能大致可分為六項:(陳瑞榮,1995)
1、激勵的功能:可促進機關團體或個人努力向上,以求最佳之績效。
2、回饋的功能:即檢討反省,蒐集資訊,提示希望達成之成果,提供各項計
劃與決策有用之資料。
3、品評的功能:根據事實確定其價值,評斷其成就。
4、改進的功能:評鑑的目的在改進,改進的決策應由機構全體共同參與,評鑑的實行是群體而非個人可完成。
5、品管的功能:評鑑可使產出維持一定水準,亦即對整個計劃之執行歷程,
具有品質管制的作用。
6、診斷的功能:評鑑透過對現存資料的蒐集和分析,可指出計劃活動或情境中之問題和困難,作為改進之依據。
機構經由評鑑的方式,利用推廣與促銷的方法,配合時代進步的趨勢,達到重建專業精神與專業形象的目的。因此定期進行評鑑,是現今每個機構經營時所需具備的必要過程。
四、評鑑的模式-CIPP模式
(一)、CIPP理論背景
CIPP模式是由Stufflebeam於1960年代晚期所發展。1965年,美國國會通過“初等與中等教育法案,由聯邦各週撥款補助各州的文化不利學生。法案通過之時,議員並同時保留評鑑的權利。為此,Stufflebeam應Ohio State University
Evaluation Center所請,試圖發展出一套較好的評鑑方法以符所需。Stufflebeam為評鑑提出有別於傳統以目標,測驗,和實驗取向的新觀點。此模式理念乃奠基於其為評鑑所提出的名言:評鑑的最重要目的不在於證明,而是在於改進(秦夢群,1997)
(二)、CIPP評鑑類型
CIPP評鑑模式是背景評鑑(context evaluation)、輸入評鑑(input evaluation)、過程評鑑(process evaluation)、成果評鑑(product evaluation)四種評鑑方式的縮寫。其架構為以背景評鑑(context evaluation)來幫助目標的選定,以輸入(input evaluation)來幫助研究計劃的修正,以過程評鑑(process evaluation)來引導方案的實施,以成果評鑑(product evaluation)來提供考核性決定的參考。目前教育評鑑一般是採用CIPP模式,分別從四個向度評鑑,一直有很好的評價。其內容詳述如下(王文科,1994):
1、背景評鑑(context evaluation):
它是最基本型態的評鑑,其目在於用來幫助目標的選定。目標是理論的基礎,其具體做法是定義與計畫有關的環境,描述此環境所包含的理想情境及實際情境,並診斷有礙需求達成及妨礙機會運用的問題。問題的陳述是建立目標的基礎,更是改進計畫之依據。故背景評鑑的實施乃預期了解有關評鑑者資料,它有許多建設性之功用:如可用來使大眾對評鑑者之優點、缺點、需求與困難有所認識;用來說服該機構最迫切需要改進與支援之處;可評估改進計畫完成程度。因此背景評鑑至少必須包含政策背景、環境背景及需求背景三大要素。
2、輸入評鑑(input evaluation):
輸入評鑑的目的在來幫助研究計劃的修正,其實施方式為界定與評量三大項:承辦機構的能力、達成計畫的策略及履行策略的設計。輸入評鑑其目的在決定該用何種資源來達成目標,故輸入評鑑至少要包含:工作計畫、設備、經費、人員資源。
3、過程評鑑(process evaluation):
過程評鑑考核定期提供回饋給執行計劃人。其目標有三:計劃執行中偵測或預測設計之缺失;提供計劃決策所需之資訊;持續計劃進行之程序。藉由了解原先之計劃,並探知進行過程或進行中的活動特色,以追蹤最初計劃之改變,並提供資料確保其效率與成果即是過程評鑑的意義。
4、成果評鑑(product evaluation):
目的在於計劃進行期間及告一段落時,評量解釋計劃。實施方式是界定目標的操作型定義,評量目標活動的準據,將針對預設的絕對標準或相對標準所作評量加以比較、運用背景、輸入、過程等資訊,將結果合理解釋,並提供考核性決定的參考。下列為四種類型的評鑑及模式圖:
|
背景評鑑 |
輸入評鑑 |
過程評鑑 |
成果評鑑 |
目 標 |
界定機構背景;確認對象及其需求之可能方式;診斷需求所顯示的困難;評斷目標是否能滿足已 知的需求。 |
評估及確認下列各項:系統的各種能力、數種可替代的方案實施策略,實施策略的設計、預算及 進度。 |
確認或預測程序設計或實施上的缺點;記錄及判斷程序上的各種 事件及活動。 |
蒐集對結果的描述及判斷;將其與目標以 及背景、輸入 、及過程之訊息相互聯繫;解釋其價值及意義。 |
方 法 |
使用系統分析、 調查、文獻探討 、聽證會、晤談、診斷測驗、以及德懷術。 |
將現有的人力及物質資源,解決策略及程序設計列出清單,並分析其適切、有效及合算的程度;利用文獻探討,訪視成功的類似方案,建議小組以及小型試驗室 等方法。 |
追蹤活動中可能有的障礙,並對非預期中之障礙保持警覺,描述真正的過程;與方案工作人員不斷交往,並觀察 他們的活動。 |
將結果的標準賦予操作性之定義,並加以測量;蒐集與方案有關之各種人員對結果的評斷;從質與量的分析。 |
在變革過程中與作決定的關 係 |
用於決定方案實施的場所、目標與方針;提供判斷決定的一種基 礎。 |
用於選擇下列各 項:支持的來源 、解決策略以及程序設計;提供評斷方案實施狀況的基礎。 |
用於實施並改善方案的設計及程序;提供一份真正過程的記錄,以便日後用以解 釋結果。 |
用於決定繼續 、中止、修正某項變革活動 ,或調整其重點;呈現一份清楚的效果記錄。(包括正面與負面、預期的與非預定的效果) |
註:採自「Stufflebeam的改進導向評鑑」,陳舜芬,1989。教育評鑑的模式,黃光雄編,頁202-203。
註:採自「教育評鑑」,郭秋勳,1996。教育概論,王文科等編,頁30。
(三)、CIPP評鑑模式之優點
適當的評鑑指標可透過品質、需求、要求與成本四個向度來審視其效果。品質(quality):包含人員素質、使用者素質、支援性服務系統(如自動化設備、網路等)品質、財政資源、業務實施品質等;需求(need):包括任務之中心性與對社會價值等二項指標;要求(demand):包括現有顧客及潛在顧客之要求;成本(cost):包括成本的效能及效益兩方面。評鑑人員在蒐集資料後,需做三種評估:(一)輸入評估:對現有人力與物力做一評估,以確認方案是否按預計目標實施。(二)過程評估:對方案實施過程之評估,目的在確定實施過程中是否對產出有所貢獻。(三)輸出評估:對輸入與實施過程交互作用之結果的評估,目的在確定方案是否達成預期目標。所以如果完全實施CIPP途徑,其所得到的資訊,將可助於解答以下問題(黃光雄,1989):
1、有哪些需求?是否普遍而重要?方案的目標反映這些需求的程度如何?(可由關於背景的資訊來解決。)
2、採用哪項包括程序、人員,以及預算的計劃,以便符合需求?除此之外還有那些替代性計劃?為何選擇目前這種?此計劃在需求方面合理、可能成功且合算嗎?(由關於輸入的資訊來解決。)
3、這方案計劃(project plan)執行的程度如何?為何需要修正?基於什麼理由?(由關於過程的資訊來解決)
4、產生那些正面的與負面的,預定的與始料未及的結果?與方案有關的各種人員對結果的價值與優點作何判斷?方案實施對象的受益程度如何?(由關於成果的資訊來解決)。
五、結論與建議
評鑑指標可分為兩大類:一為保健指標(health maintainess
indicators)一為競爭指標(competitive indicators),保健指標是指各項檢查的上下限,而競爭指標是指表現指標。目前教育評鑑一般是採用CIPP模式,分別從背景、輸入、過程及成果四大評鑑來尋求指標。輸入與過程指標可視為保健指標,它是成果指標的必要條件,而成果指標則可視為競爭指標。無論是保健指標與競爭指標都可做為機構自我反省之用,目的在瞭解目前狀況與國內外現勢而策勵自己,謀求組織的成長。(馬信行,1997) 評鑑是品質控制的一種形式。
教育一直被定位為良心事業,然而在投入龐大資源於其中時,我們有權利,也必須要對教育的品質提出要求。而教育評鑑的實施便是了解現象,發現得失,形成價值判斷,提出改進之道的一種方式。誠如Stufflebeam所說:評鑑的最重要目的不在於證明,而是在於改進。確實的做好教育評鑑工作,達到改進教育的功能,才是教育評鑑的立意所在。而在進行教育評鑑時會遭遇的各種困難,不管是來自於技術上、傳統上、政治上及社會上,都對教育評鑑的實際施行形成一定程度的阻礙。這也是教育評鑑需要不斷努力去克服與發展的部分。
參考書目
中國教育學會主編(1998)。教育評鑑。臺北:師大書苑。
王文科(1994)。教育研究法。臺北:五南。
王家通 (1995)。教育導論。台南 : 麗文。
李緒武(1990)。教育評鑑的意義與發展。現代教育,5(3),3-11。
秦夢群(1997)。教育行政—理論部分。台北:五南。
馬信行(1997)。大學評鑑指標適切性之評析,載於陳漢強主編,大學評鑑。台北:五南。
張植珊(1979)。教育評鑑。教育部教育計畫小組編印。
郭秋勳(1996)。教育評鑑。載於王文科、吳清山、徐宗林、郭秋勳、陳奎熹、陳聰文、黃政傑、黃德祥、詹棟樑、雷國鼎共同編著,教育概論。台北 : 五南。
陳舜芬(1989)。Stufflebeam的改進導向評鑑,載於黃光雄主編,教育評鑑的模式,頁181-242。台北:師大書苑。
陳瑞榮(1995)。工業職業學校教師評鑑模式之研究。未出版之碩士論文,國立臺灣師範大學工業教育研究所,台北
黃光雄(1989)。教育評鑑的模式。台北:師大書苑。
黃炳煌(1997)。大學自主與大學評鑑,載於陳漢強主編,大學評鑑(頁51-58)。台北:五南。
湯志民(1988)。視導與評鑑,載於蔡保田主編,學校行政(頁424-426)。高雄:復文。
謝文全(1987)。教育行政-理論與實務。台北:文景。
Stufflebeam, D. L.(1983). The CIPP model for program evaluation. In G. F. Madaus, M.S. Scriven & D. L. Stufflebeam(eds.), Evaluation models:viewpoints on educational and human services evaluation(pp.117-141). Boston:Kluwer-Nijhoff Publising.