第八章 指標(biāo)與效度

評估應(yīng)該：

●反映優(yōu)秀的教學(xué)；

●作為教學(xué)的一部分不斷產(chǎn)生卻不干擾教學(xué)；

●提供與學(xué)生應(yīng)該達(dá)到的理解水平相關(guān)的信息。

一、對指標(biāo)的需求

合適的指標(biāo)強調(diào)工作（針對具體目標(biāo)）中最具啟發(fā)性和最重要的方面，而不只是那些容易看到或容易評分的方面。

我們也需要從目標(biāo)中導(dǎo)出指標(biāo)。

二、從指標(biāo)到量規(guī)

量規(guī)是基于指標(biāo)的評分指南，由固定的測量等級組成（4級、6級或者是任何合適的級別），并對每一個級別的特征進(jìn)行詳細(xì)描述。量規(guī)描述了質(zhì)量等級、熟練程度或者連續(xù)的理解。

量規(guī)回答了這些問題：

●應(yīng)以什么指標(biāo)來判斷和區(qū)別學(xué)生的表現(xiàn)？

●我們應(yīng)該通過哪些方面、哪些內(nèi)容來判斷學(xué)生的表現(xiàn)是否成功？

●應(yīng)該如何描述并區(qū)分質(zhì)量水平、熟練程度以及理解層次之間的不同？

整體型量規(guī)可為學(xué)生作品提供一個綜合的印象，并對產(chǎn)品或表現(xiàn)產(chǎn)生單一的分?jǐn)?shù)或等級排名。

分析型量規(guī)將產(chǎn)品或表現(xiàn)劃分為不同的特征或維度，并分別進(jìn)行判斷。由于分析型量規(guī)單獨地評估每一個被標(biāo)識的特征，所以每一個特征都有一個分?jǐn)?shù)。

三、用量規(guī)評估理解

問題：達(dá)到理解會是什么樣子？在實踐中，復(fù)雜的理解和簡單的理解有什么不同？從最簡單的理解到最復(fù)雜的理解的一系列界定描述是什么樣的？

我們建議一個量規(guī)用于評估“理解”，而另一個量規(guī)用于評估表現(xiàn)的質(zhì)量（包括恰當(dāng)?shù)漠a(chǎn)品和過程）——在表現(xiàn)中體現(xiàn)理解。

四、基于指標(biāo)和量規(guī)進(jìn)行逆向設(shè)計

五、側(cè)面和指標(biāo)

如何更具體？大量真實案例

五、根據(jù)學(xué)生工作來設(shè)計和完善量規(guī)

步驟一：收集能夠說明預(yù)期理解和熟練程度的學(xué)生表現(xiàn)的例子

步驟二：將學(xué)生的作品分類放置并注明分類的原因

步驟三：將這些原因歸結(jié)到統(tǒng)一的特性或者表現(xiàn)的重要指標(biāo)中

步驟四：對每個評估指標(biāo)進(jìn)行定義

步驟五：挑選學(xué)生表現(xiàn)來舉例說明每個評估指標(biāo)的得分點

步驟六：不斷完善

六、效度的挑戰(zhàn)

■關(guān)于理解仍然存在的爭議

*一個沒有獲得理解的學(xué)生能在測試中表現(xiàn)很好嗎？一個已理解的學(xué)生會把關(guān)鍵的事實忘記或混淆嗎（●學(xué)生在表現(xiàn)性任務(wù)中可能做得很好，但是這真的不能表明他們達(dá)到了你所尋求的理解?！駥W(xué)生在展示任務(wù)中可能做得不好，但用其他方式仍然可以發(fā)現(xiàn)他們形成了重要理解。）

七、逆向設(shè)計中的效度自評表

效度是我們對于結(jié)果的理解，而不是測試本身

學(xué)生是否已經(jīng)符合了所提出的指標(biāo)，但仍然不能顯示深刻的理解？

●學(xué)生是否不符合所提出的指標(biāo)，但卻依然顯示出理解？（只要有一個，就不行）

八、信度：對評估模式的信心

評分者間信度 不同時間不同證據(jù)

十、通用指導(dǎo)原則

1、關(guān)于理解的評估所需的證據(jù)要更間接，更復(fù)雜。我們需要深挖答案背后的原因和學(xué)習(xí)者作出這種選擇的意圖。

2、關(guān)于理解的評估需要收集在表現(xiàn)或產(chǎn)品中進(jìn)行“應(yīng)用”的證據(jù)，但這會使評判結(jié)果變得復(fù)雜。如發(fā)揮不穩(wěn)定

3、既然理解包含六側(cè)面，那么是不是有些方面優(yōu)于另外一些方面呢？哪個表現(xiàn)更相關(guān)，又是在什么情況下相關(guān)呢？如何平衡

4、嘗試對相同內(nèi)容同時使用不同的測試形式

5、試著去預(yù)測關(guān)鍵誤解，并且使用簡單的前測和后測來確定這些誤解是否被克服——除了你所使用的其他評估任務(wù)之外

6、讓學(xué)生對答案給出解釋，并且展示答案中那些與主要原則或概念相關(guān)聯(lián)的內(nèi)容

7、假定學(xué)生在解釋時表達(dá)清晰，可能更多是得益于他的語言表達(dá)能力，而非來自真正的理解。

8、利用不同側(cè)面來擴充證據(jù)

十一、本章結(jié)束前的提醒

理解的迭代性質(zhì)、混淆和誤解的可能性，以及相互作用的證據(jù)的必要性使日常檢查勢在必行。

第九章設(shè)計學(xué)習(xí)

首先必須要做的是抵制輕松熟悉的技術(shù)方法的誘惑

一、最佳設(shè)計兼具吸引力與有效性

學(xué)生在課內(nèi)、課外的什么時間最投入？是什么讓學(xué)生如此投入并能夠保持狀態(tài)，這些典型范例中的普適要素是什么？

什么時候?qū)W生的學(xué)習(xí)最有效？在什么條件下會產(chǎn)出最高效的工作？哪些內(nèi)容有利于產(chǎn)生最有效的學(xué)習(xí)，這些典型范例中的普適要素是什么？

二、最佳設(shè)計的特點

●基于真實和明確的挑戰(zhàn)，有清晰的表現(xiàn)目標(biāo)；

●動手操作活動貫穿始終，和傳統(tǒng)教學(xué)相比，前期“教”的負(fù)擔(dān)減輕；

●關(guān)注有趣的和重要的想法、疑問、問題、難題；

●有明顯的真實世界應(yīng)用，因此對學(xué)習(xí)者是有意義的；

●強大的反饋系統(tǒng)，提供從反復(fù)試驗中學(xué)習(xí)的機會；

●個性化的方法，即存在不止一種完成主要任務(wù)的方法，提供適應(yīng)過程所需的空間，及依據(jù)個體風(fēng)格、興趣和需求而定的目標(biāo)；

●清晰的模型和建模；

●預(yù)留時間來關(guān)注反思；

●方法、分組和任務(wù)的多樣性；

●為冒險提供安全環(huán)境；

●教師的角色類似于協(xié)調(diào)者或教練；

●和傳統(tǒng)的課堂體驗相比有更多的沉浸體驗；

●自始至終具有清晰的全局觀念，部分和整體之間不斷進(jìn)行流暢的互動

三、教學(xué)計劃中的WHERETO要素

W ——確保學(xué)生了解所學(xué)單元的目標(biāo)以及原因。

H ——從一開始就吸引學(xué)生并保持他們的注意力。

E ——為學(xué)生提供必要的經(jīng)驗、工具、知識，以及技能來實現(xiàn)表現(xiàn)目標(biāo)。

R ——為學(xué)生提供大量機會來重新思考大概念，反思進(jìn)展情況，并修改自己的設(shè)計工作。

E ——為學(xué)生評估進(jìn)展和自我評估提供機會。

T ——量體裁衣，反映個人的天賦、興趣、風(fēng)格和需求。

O ——合理組織，以使學(xué)生獲得深刻理解，而非膚淺了解。

四、W——學(xué)習(xí)方向（Where）和原因（Why）

我們的目標(biāo)是什么？我們已有哪些基礎(chǔ)？為什么要達(dá)到這個目標(biāo)？學(xué)生具體履行的職責(zé)是什么？評估學(xué)生理解的指標(biāo)是什么

學(xué)生：

●在單元結(jié)束后我必須理解哪些內(nèi)容？如何界定理解？

●最終的義務(wù)是什么？我必須掌握什么知識、技能、任務(wù)和問題，才能夠滿足這些義務(wù)的要求，并能夠展示理解和熟練程度？

●有哪些資源可用來支持我的學(xué)習(xí)和表現(xiàn)？

●我當(dāng)前的任務(wù)是什么？它是如何幫助我履行總體義務(wù)的？

●目前的工作與前期工作的相關(guān)度如何？對于這項工作而言，最重要的是什么？

●我應(yīng)該如何分配時間？在現(xiàn)在和后續(xù)的任務(wù)中，最需要關(guān)注哪方面的內(nèi)容？我應(yīng)該如何規(guī)劃？接下來我該做什么？在該任務(wù)的整體計劃中要優(yōu)先考慮哪些內(nèi)容？

●如何評估最后的工作？當(dāng)前表現(xiàn)中最突出和最欠缺的地方是什么？如何改進(jìn)？

-目標(biāo)明確的工作

-從哪里來（Where from），到哪里去（Where to）學(xué)習(xí)者來自哪里？存在哪些先前知識、興趣、學(xué)習(xí)風(fēng)格和天賦？可能存在什么樣的誤解？

誤解警報：教師必須在教學(xué)大綱中留出空間，以便根據(jù)反饋信息進(jìn)行調(diào)整，并創(chuàng)造機會應(yīng)用反饋信息

五、H——吸引（Hook）和保持（Hold）

什么是有效的、發(fā)人深省的“錨點”，能讓所有學(xué)生都參與到大概念和表現(xiàn)性挑戰(zhàn)中？在哪些經(jīng)驗、難題、怪事、問題和情況下，我可以讓學(xué)生將大概念變得有趣、具體，或使其重要性更清晰？如何呈現(xiàn)這些材料以使學(xué)生對即將開始的主題和工作產(chǎn)生興趣和好奇心？什么樣的條件能保持學(xué)習(xí)者的興趣，尤其是當(dāng)工作進(jìn)展變得困難時？在將風(fēng)險、想象力和提問勇氣削減到最低程度的傳統(tǒng)教育中，最讓人不能接受的是什么？怎樣避免這些問題？

設(shè)計的目標(biāo)既不是一味迎合學(xué)生的喜好，也不應(yīng)導(dǎo)致他們對壞結(jié)果的恐懼。設(shè)計面對的挑戰(zhàn)是要更有效地挖掘內(nèi)在動機。

有時最好的開放問題（或難題）是與非常特殊的謎題、刺激和任務(wù)（如角色扮演和案例研究）相聯(lián)系的，在學(xué)生對這些問題積累足夠的經(jīng)驗后，基本問題自然產(chǎn)生。

對“正式的”基本問題的介紹可以在單元開始時馬上進(jìn)行，也可以稍后完成；可以直接描述，也可以推導(dǎo)得出。對基本問題的回應(yīng)可以在單元開始時就開展，也可以安排在關(guān)鍵的問題解決、教學(xué)或?qū)W習(xí)活動后自然地開展。

其他增加學(xué)習(xí)吸引力的方法包括使學(xué)生沉浸在謎題之中，讓他們接受解決現(xiàn)實問題的挑戰(zhàn)，通過角色扮演來從不同角度探討問題等

將新穎的理論、悖論和不協(xié)調(diào)的內(nèi)容呈現(xiàn)出來，將刺激人們的好奇心和探究欲望

授課者經(jīng)常犯的一個錯誤是：在任務(wù)和基本問題還沒有使學(xué)生頭腦產(chǎn)生“渴望學(xué)習(xí)”的感覺時，就以一種不受歡迎的方式給出了大量超負(fù)荷的信息。

-超越娛樂，關(guān)注本質(zhì)

下面是我們總結(jié)出的能夠激發(fā)智力興趣的條件：

●挑戰(zhàn)學(xué)生智慧的問題、情境與故事（而不僅僅是書本知識），以使學(xué)生立即沉浸其中

●思維激蕩。異常、奇怪的事實，有悖常理的事件或想法以及迎合本能的神秘事件，會使陌生的內(nèi)容變得熟悉，熟悉的內(nèi)容變得陌生

●震撼體驗。此類活動也稱為拓展體驗，在拓展中學(xué)生們必須作為個體遭遇情感、障礙和問題，作為整體共同完成任務(wù)。

●個人連接。當(dāng)學(xué)生有機會與主題建立個人的聯(lián)系，或者對某事感興趣時，學(xué)生往往會更具參與性

●對一個問題的不同觀點或多角度思考。慎重地轉(zhuǎn)變思考問題的角度，可以推動學(xué)生走出自己的舒適區(qū)，激發(fā)他們的好奇心和更深層次的思考

五、E——探索（Explore）和體驗（Experience），準(zhǔn)備（Equip）和使能（Enable）

通過體驗來探索

為了提高表現(xiàn)而準(zhǔn)備

R——反思（Reflect），重新考慮（Rethink）與修改（Revise）

單元和課程的進(jìn)展必須是迭代的，學(xué)生必須充分認(rèn)識到他們要根據(jù)當(dāng)前所學(xué)不斷重新思考和修改已有想法，要通過不斷回溯最初的概念或技術(shù)完成學(xué)習(xí)任務(wù)。

發(fā)展深層次的理解（及向?qū)W生說明需要一種比回憶更積極的方式）的最有效設(shè)計是突出洞察、神入和自知這幾個側(cè)面

E——評價（Evaluate）工作及進(jìn)展

如何引導(dǎo)學(xué)生進(jìn)行自我評估、自我評價、自我調(diào)整？學(xué)習(xí)者將如何參與最終的自我評價以明確未解決問題，設(shè)定未來的目標(biāo)，設(shè)定新的學(xué)習(xí)方向？如何幫助學(xué)生對自己已經(jīng)學(xué)習(xí)的內(nèi)容、未來需要進(jìn)一步探究和改進(jìn)的部分作出判斷？

WHERETO中第二個E的核心就是為所有學(xué)習(xí)者（而不只是針對那些天生就具備反思能力的人）的持續(xù)反思（例如，事情進(jìn)展得如何？任務(wù)是什么？需要怎樣調(diào)整？所以要做什么？現(xiàn)在要做什么？）提供精心設(shè)計的機會。

T——量身定制（Tailor）

我們?nèi)绾尾捎貌煌慕虒W(xué)方法來適應(yīng)多樣化的學(xué)生發(fā)展需求、學(xué)習(xí)風(fēng)格、先前知識和學(xué)習(xí)興趣（同時不改變預(yù)期結(jié)果）？我們?nèi)绾螢閷W(xué)生量身定制學(xué)習(xí)計劃，以便最大限度地提升所有學(xué)生學(xué)習(xí)的參與度和有效性？

內(nèi)容：開放性

過程：通過使用各種資源材料（如不同閱讀水平的文本）和不同的學(xué)習(xí)模式（通過口頭、視覺和書面形式呈現(xiàn)信息），教師可以解決不同偏好的 學(xué)習(xí)風(fēng)格和成就水平之間的差異。允許學(xué)習(xí)者選擇學(xué)習(xí)的方式（例如，自學(xué)或小組學(xué)習(xí)）或交流的方式（口頭、視覺或書面形式），是階段3 中另一種恰當(dāng)?shù)牧可矶ㄖ剖侄巍?/span>

作品：多元評價

九：O——為最佳效果而組織（Organize）

怎樣的學(xué)習(xí)體驗序列能夠最好地發(fā)展和加深學(xué)生的理解，并盡可能地減少誤解？我們?nèi)绾螌毯蛯W(xué)進(jìn)行組織和排序，來最大化學(xué)生的參與度和課堂的有效性？

學(xué)習(xí)順序應(yīng)該反映教育工作者在“最佳設(shè)計”練習(xí)中一直關(guān)注的內(nèi)容：“整體——部分——整體”和“學(xué)習(xí)——做——反思”之間持續(xù)反復(fù)的運動。

將設(shè)計元素有效整合的技巧

-在階段3應(yīng)用理解六側(cè)面：將理解六側(cè)面列出來，然后集體討論可能的活動

思想啟動器：