心理和教育測(cè)量學(xué)越來(lái)越變成一門(mén)如何用統(tǒng)計(jì)手段分析測(cè)驗(yàn)分?jǐn)?shù)的學(xué)科,而非怎樣測(cè)量心理或教育屬性的理論,造成了效度分析和測(cè)驗(yàn)設(shè)計(jì)中的諸多問(wèn)題。本書(shū)在剖析既有問(wèn)題基礎(chǔ)上,提出并構(gòu)建了一種理論驅(qū)動(dòng)的測(cè)量學(xué)模式,提出并系統(tǒng)構(gòu)建了一種理論驅(qū)動(dòng)的測(cè)量學(xué)模式。這種測(cè)量學(xué)模式綜合了當(dāng)前國(guó)際上在測(cè)量基本理論、效度研究、認(rèn)知項(xiàng)目設(shè)計(jì)和自動(dòng)化項(xiàng)目生成、多維測(cè)量模型建模和計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢(shì)。
長(zhǎng)期以來(lái),心理和教育測(cè)量學(xué)越來(lái)越演變成一種去理論化的、過(guò)于功能主義和實(shí)用主義取向的應(yīng)用學(xué)科。這種取向使得心理和教育測(cè)量學(xué)蛻變?yōu)橐婚T(mén)如何用統(tǒng)計(jì)手段分析測(cè)驗(yàn)分?jǐn)?shù)的技術(shù)學(xué)科, 而不是怎樣合理和科學(xué)地測(cè)量心理或教育領(lǐng)域中的屬性或建構(gòu)的測(cè)量理論。
本書(shū)剖析了當(dāng)前心理和教育測(cè)量學(xué)研究范式中的既有問(wèn)題,并在此基礎(chǔ)上提出并構(gòu)建了一種理論驅(qū)動(dòng)的測(cè)量學(xué)模式。該模式綜合了當(dāng)前國(guó)際上測(cè)量基本理論、效度研究、認(rèn)知項(xiàng)目設(shè)計(jì)和自動(dòng)化項(xiàng)目生成、多維測(cè)量模型建模和計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢(shì),按照測(cè)量的本質(zhì)、測(cè)量所需建構(gòu)理論、理論驅(qū)動(dòng)的測(cè)驗(yàn)編制與項(xiàng)目設(shè)計(jì)、基于理論的測(cè)驗(yàn)分析與建模這樣一種思路重構(gòu)了心理和教育測(cè)量學(xué)的基本框架和應(yīng)該關(guān)注的研究問(wèn)題。
本書(shū)不同于常見(jiàn)心理或教育測(cè)量學(xué)的基本思路,即先介紹測(cè)驗(yàn)信度或效度,然后介紹不同類型的已有測(cè)驗(yàn),而是沿著基本概念、工具開(kāi)發(fā)、建模分析和推斷解釋的邏輯思路進(jìn)行架構(gòu),提出了對(duì)什么是測(cè)量、建構(gòu)理論等方面新的理解和認(rèn)識(shí),強(qiáng)調(diào)建構(gòu)理論、項(xiàng)目設(shè)計(jì)和測(cè)量學(xué)建模之間整合關(guān)系。
楊向東,博士,美國(guó)堪薩斯大學(xué)量化心理學(xué)博士,華東師范大學(xué)教育科學(xué)學(xué)院副院長(zhǎng),課程與教學(xué)研究所副教授。主要研究領(lǐng)域?yàn)榻逃郎y(cè)量與評(píng)價(jià)、研究方法和應(yīng)用統(tǒng)計(jì)。已出版著作包括《課堂評(píng)價(jià):促進(jìn)學(xué)生學(xué)習(xí)和發(fā)展》,華師大出版社2012年出版。
第一章 導(dǎo)論
一、心理與教育測(cè)量學(xué)的迷失
二、去理論化和功能主義的測(cè)量研究范式
三、測(cè)驗(yàn)效度與效度檢驗(yàn)的矯枉
(一)去理論化的內(nèi)容效度
(二)功能主義觀下的建構(gòu)效度
(三)效標(biāo)關(guān)聯(lián)效度的內(nèi)涵變遷
(四)偷換概念的效度研究
四、測(cè)驗(yàn)項(xiàng)目設(shè)計(jì):藝術(shù)還是科學(xué)
五、理論驅(qū)動(dòng)測(cè)量學(xué)的回歸
(一)建構(gòu)理論和測(cè)量理論整合的科學(xué)基礎(chǔ)
(二)測(cè)量理論內(nèi)部的變革
六、心理與教育測(cè)量學(xué)中的“測(cè)量”觀
(一)測(cè)量的經(jīng)典觀
(二)測(cè)量經(jīng)典觀的流放和Stevens測(cè)量觀的興起
(三)聯(lián)合測(cè)量理論
七、結(jié)語(yǔ)
第二章 什么是測(cè)量
一、測(cè)量的內(nèi)涵
(一)屬性的可加性結(jié)構(gòu)
(二)連續(xù)量化屬性
(三)連續(xù)性與相同測(cè)量單位
(四)測(cè)量的界定
(五)理解測(cè)量結(jié)果的實(shí)質(zhì)含義
二、測(cè)量在科學(xué)研究中的位置
(一)觀念的演化歷程
(二)科學(xué)理論的闡述方式
(三)測(cè)量在科學(xué)發(fā)展中的作用和局限
第三章 心理與教育領(lǐng)域中的測(cè)量
一、理想心理和教育測(cè)量的特征
二、心理和教育測(cè)量的基本問(wèn)題
(一)心理屬性的本體論問(wèn)題
(二)如何判定心理屬性是否是連續(xù)量化屬性
三、心理與教育屬性測(cè)量尺度的構(gòu)建
(一)哥特曼尺度(Guttman seale)
(二)拉希尺度構(gòu)建法(Rasch scaling)
(三)瑟斯頓尺度構(gòu)建法和項(xiàng)目反應(yīng)理論
四、本章結(jié)語(yǔ)
第四章 建構(gòu)和建構(gòu)理論
一、什么是建構(gòu)
(一)建構(gòu)作為一種理論意義上的變量
(二)理論建構(gòu)、操作定義中的建構(gòu)以及觀測(cè)指標(biāo)之間的關(guān)系
二、建構(gòu)究竟是一種什么性質(zhì)的變量
(一)不同觀點(diǎn)下建構(gòu)的性質(zhì)
(二)心理或教育領(lǐng)域中的建構(gòu)是一種什么性質(zhì)的存在
三、理解建構(gòu)和觀測(cè)指標(biāo)之間的因果關(guān)系
(一)被試間和被試內(nèi)因果關(guān)系(Between-subject or within-subject causalitv)
(二)同質(zhì)性與異質(zhì)性因果關(guān)系(homogenous or heterogeneous causality)
四、心理或教育測(cè)量領(lǐng)域中的建構(gòu)理論
(一)宏觀層面的建構(gòu)理論
(二)中層的建構(gòu)理論
(三)微觀的建構(gòu)理論
五、本章小結(jié):幾個(gè)尚未解決的問(wèn)題
(一)建構(gòu)、領(lǐng)域和任務(wù)
(二)建構(gòu)在哪里?
(三)重新審視因果機(jī)制同質(zhì)性的問(wèn)題
第五章 測(cè)驗(yàn)設(shè)計(jì)和項(xiàng)目生成
一、測(cè)驗(yàn)設(shè)計(jì)與開(kāi)發(fā)模式
(一)測(cè)驗(yàn)設(shè)計(jì)的傳統(tǒng)理論取向
(二)理論驅(qū)動(dòng)的測(cè)驗(yàn)設(shè)計(jì)取向
二、項(xiàng)目設(shè)計(jì)的發(fā)展
(一)功能取向的項(xiàng)目生成方法
(二)層面理論和匹配語(yǔ)句(mapping-sentence)項(xiàng)目設(shè)計(jì)法
(三)認(rèn)知項(xiàng)目設(shè)計(jì)法(cognitive approach to itam design)
三、當(dāng)前趨勢(shì)和未來(lái)發(fā)展方向
第六章 測(cè)驗(yàn)數(shù)據(jù)分析
一、理論驅(qū)動(dòng)的測(cè)量學(xué)分析的基本問(wèn)題
(一)測(cè)量即按照規(guī)則賦值的過(guò)程
(二)測(cè)量即基于證據(jù)的推理過(guò)程
(三)測(cè)量即一種結(jié)構(gòu)理論
(四)測(cè)量的經(jīng)典觀
(五)基于建構(gòu)理論的測(cè)量學(xué)分析
二、理論驅(qū)動(dòng)的測(cè)量尺度分析
(一)可尺度化(scalabmty)與測(cè)量尺度的存在(existence of a scale)
(二)測(cè)驗(yàn)數(shù)據(jù)的維度
(三)測(cè)量尺度特征的評(píng)估
三、實(shí)質(zhì)理論對(duì)測(cè)量尺度的解釋程度分析
(一)測(cè)量工具或尺度的結(jié)構(gòu)性假設(shè)檢驗(yàn)
(二)項(xiàng)目結(jié)構(gòu)背后的認(rèn)知成分分析
(三)建構(gòu)的法則廣度分析
(四)更為復(fù)雜的情況
四、其他方面的測(cè)驗(yàn)學(xué)分析
參考文獻(xiàn)
《理論驅(qū)動(dòng)的心理與教育測(cè)量學(xué)》:
建構(gòu)效度的另一個(gè)方面是法則廣度(nomothetic span),指的是當(dāng)前測(cè)驗(yàn)與其他變量之間的關(guān)系網(wǎng)絡(luò)。法則廣度類似于Cronbach和Meehl(1955)提出的法則網(wǎng)絡(luò),對(duì)應(yīng)的數(shù)據(jù)是當(dāng)前測(cè)驗(yàn)分?jǐn)?shù)與其他測(cè)驗(yàn)分?jǐn)?shù)或變量的相關(guān)矩陣。當(dāng)前測(cè)驗(yàn)與其他測(cè)驗(yàn)或變量相關(guān)關(guān)系的頻率、大小和模式,表明當(dāng)前測(cè)驗(yàn)在測(cè)量個(gè)別差異中的效用和重要程度。如果某建構(gòu)在特定領(lǐng)域中具有核心位置,任何與該建構(gòu)關(guān)系密切的其他變量都應(yīng)該與測(cè)量該建構(gòu)的測(cè)驗(yàn)分?jǐn)?shù)有較高的相關(guān),則對(duì)應(yīng)法則廣度就涉及面較廣。此外,當(dāng)前測(cè)驗(yàn)與其他測(cè)驗(yàn)相關(guān)矩陣的特定模式還在一定程度上表明了當(dāng)前測(cè)驗(yàn)所測(cè)的建構(gòu)[見(jiàn)Cronbach和Meehl(1955),利用法則網(wǎng)絡(luò)推斷測(cè)驗(yàn)建構(gòu)效度的思考]。
Embretson對(duì)建構(gòu)效度的二分法開(kāi)啟了測(cè)量學(xué)模式與認(rèn)知研究相結(jié)合的可能性。在功能主義研究范式下,項(xiàng)目反應(yīng)的因果機(jī)制無(wú)法成為心理學(xué)研究的對(duì)象,“建構(gòu)表征不可能成為一個(gè)獨(dú)立的研究目標(biāo)”(Embretson,1983,p.180)。因而,傳統(tǒng)測(cè)驗(yàn)效度理論關(guān)注更多的是所測(cè)建構(gòu)的法則廣度,利用的多是測(cè)驗(yàn)分?jǐn)?shù)(或項(xiàng)目反應(yīng))之間的相關(guān)矩陣,采用的主要是因素分析式方法。建構(gòu)表征概念的提出,明確地將能夠解釋測(cè)驗(yàn)項(xiàng)目反應(yīng)機(jī)制的建構(gòu)理論置于測(cè)驗(yàn)效度及其檢驗(yàn)的首要位置。在這一框架下,效度理論的內(nèi)涵和驗(yàn)證方法發(fā)生了實(shí)質(zhì)性的改變。測(cè)驗(yàn)分?jǐn)?shù)與其他測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)程度(傳統(tǒng)意義上的效標(biāo)效度)以及不同測(cè)驗(yàn)項(xiàng)目反應(yīng)的潛在維度(傳統(tǒng)意義上的結(jié)構(gòu)效度)雖然仍然是重要證據(jù),但已經(jīng)不是核心證據(jù)。在新的效度理論下,測(cè)驗(yàn)項(xiàng)目解決所需的認(rèn)知加工過(guò)程和結(jié)構(gòu)是否是對(duì)所測(cè)量的建構(gòu)理論的一個(gè)合理表征,變成了效度檢驗(yàn)的核心問(wèn)題。這樣一來(lái),認(rèn)知心理學(xué)的理論和方法也就被合理地納入了測(cè)驗(yàn)建構(gòu)效度及其檢驗(yàn)的理論框架內(nèi)。更為主要的是,建構(gòu)表征概念的提出,使認(rèn)知研究的理論成果和實(shí)驗(yàn)技術(shù)成為一種新型測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)和測(cè)驗(yàn)編制模式的重要基礎(chǔ)。這種項(xiàng)目設(shè)計(jì)通常被稱為認(rèn)知項(xiàng)目設(shè)計(jì)(cognitive item design; Embretson,1994,1998)或項(xiàng)目生成(cognitive item generation; Irvine & Kyllonen,2002).認(rèn)知項(xiàng)目設(shè)計(jì)的基本思路是將認(rèn)知心理學(xué)的研究方法和發(fā)現(xiàn)應(yīng)用到測(cè)驗(yàn)項(xiàng)目的設(shè)計(jì)過(guò)程中。在確定了所要測(cè)量的建構(gòu)之后,設(shè)計(jì)人員運(yùn)用文獻(xiàn)研究、言語(yǔ)報(bào)告、認(rèn)知成分分析技術(shù)以及實(shí)驗(yàn)室研究等多種方法,對(duì)所選擇的認(rèn)知任務(wù)類型進(jìn)行詳盡的任務(wù)分析和研究。在此基礎(chǔ)上,設(shè)計(jì)人員研發(fā)相應(yīng)的認(rèn)知模型,明確描述個(gè)體在解決該類任務(wù)時(shí)所需要的認(rèn)知過(guò)程、策略和知識(shí)結(jié)構(gòu),及其對(duì)任務(wù)難度的影響;谡J(rèn)知模型,設(shè)計(jì)人員鑒別該類測(cè)驗(yàn)任務(wù)的一系列具體的刺激特征,通過(guò)實(shí)驗(yàn)研究建立這些具體特征與任務(wù)解決的不同認(rèn)知成分和過(guò)程之間的關(guān)系。然后,設(shè)計(jì)人員就可以通過(guò)操縱任務(wù)中的這些具體特征,從而控制解決任務(wù)所需要的認(rèn)知過(guò)程及其難度。這樣一來(lái),即使所設(shè)計(jì)的項(xiàng)目沒(méi)有進(jìn)行試測(cè),設(shè)計(jì)人員也可以確定所設(shè)計(jì)的測(cè)驗(yàn)項(xiàng)目的建構(gòu)效度。由于建立了任務(wù)類型中的具體特征與相應(yīng)的認(rèn)知過(guò)程的影響關(guān)系,設(shè)計(jì)人員可以運(yùn)用相應(yīng)的測(cè)量學(xué)模型標(biāo)定任務(wù)特征對(duì)測(cè)驗(yàn)項(xiàng)目的測(cè)量學(xué)特征(如難度或者鑒別力等)的影響程度。更為重要的是,設(shè)計(jì)人員可以通過(guò)變換測(cè)驗(yàn)項(xiàng)目中具體特征的組合,生成具有指定測(cè)量學(xué)指標(biāo)的項(xiàng)目(Embretson,1999),從而使得計(jì)算機(jī)輔助的自動(dòng)化項(xiàng)目生成(automaticitem g eneration)成為可能(Embretson & Yang,2007)。
目前,眾多心理與教育測(cè)量學(xué)家對(duì)認(rèn)知測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)的理論和技術(shù)進(jìn)行了多方面的研究。近年來(lái),該方法被運(yùn)用到心理旋轉(zhuǎn)、隱藏圖形識(shí)別、瑞文矩陣推理、空間折疊、類比推理、序列完成等傳統(tǒng)智力和能力傾向測(cè)驗(yàn)的任務(wù)類型(Irvine & Kyllonen,2002)。隨著研究的深入,對(duì)閱讀理解、數(shù)學(xué)問(wèn)題解決等復(fù)雜認(rèn)知領(lǐng)域問(wèn)題的研究也正在逐步展開(kāi)(Arendasy & Sommer,2007;Daniel&Embretson,2010;Gorin,2005)。以認(rèn)知項(xiàng)目設(shè)計(jì)為基礎(chǔ)的自動(dòng)化項(xiàng)目生成也成為近年來(lái)心理測(cè)量中比較活躍的研究領(lǐng)域(Alves,Gierl,&Lai,2010;Gierl&Haladyna,2012)。
認(rèn)知研究范式使得解釋測(cè)驗(yàn)項(xiàng)目反應(yīng)機(jī)制的建構(gòu)理論成為可能,測(cè)驗(yàn)效度理論和項(xiàng)目設(shè)計(jì)技術(shù)的變革則為建構(gòu)理論與測(cè)量理論相結(jié)合提供了理論框架和實(shí)踐路徑。但是,這些只是解決了“psychometrics”(心理測(cè)量學(xué))中“psycho”(心理)的部分,“metric"(尺度)部分的問(wèn)題仍有待解決。在深層意義上,尺度問(wèn)題的背后是對(duì)心理與教育測(cè)量學(xué)中“測(cè)量”這一概念內(nèi)涵的理解和界定。這種理解深刻影響著心理與教育測(cè)量學(xué)的理論取向和實(shí)踐模式。
……