跳到主要內容

簡易檢索 / 詳目顯示

研究生: 李介中
Lee, Chieh Chung
論文名稱: 廣義估計方程式在題組式測驗的應用
Generalized estimation equation in Testlet-based educational testing
指導教授: 張源俊
Chang, Yuan Chin
口試委員: 盧宏益
周珮婷
學位類別: 碩士
Master
系所名稱: 商學院 - 統計學系
Department of Statistics
論文出版年: 2017
畢業學年度: 105
語文別: 中文
論文頁數: 41
中文關鍵詞: 試題反應理論試題訊息量題組反應理論題組式測驗廣義估計方程式
外文關鍵詞: SCORIGHT
相關次數: 點閱:33下載:14
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在測驗含有題組(testlet)結構時,由於違反了試題反應理論(Item Response Theory, IRT)中局部獨立性的假設,使得IRT的估計方法產生偏誤,過去研究的解決方式為在IRT模型中多加入一個參數,將題組的影響力納入模型中,此即為題組反應理論(Testlet Response Theory, TRT),在貝氏(Bayesian)的架構下,此方法的計算則可透過SCORIGHT軟體來達成。本研究旨在透過另一種方法,即廣義方程式(Generalized Estimation Equation, GEE)去處理測驗中的題組效果。GEE過去常被使用於分析縱貫式(longitudinal)的資料,本研究使用此方法來捕捉題組測驗下作答結果的相關性,並經重新參數化調整係數後使其能對受試者能力值進行估計。
    電腦模擬的結果顯示GEE能有效的處理題組效果帶來的影響。在GEE和貝氏題組模型的比較上,GEE對於程度好和程度差的受試者有較佳的估計效果;而貝氏題組模型則對於程度中等的受試者表現較好,此外我們也針對GEE的估計效率進行了實驗,結果顯示先將受試者依能力分組再進行GEE估計能提升GEE的估計效率。
    在文章中,我們也展示了使用GEE計算題組訊息量的方式,做為題組式測驗下評估該測驗對於各能力區間的受試者在估計準確度上的參考。


    If the tests have testlet structure, the bias may arise when using traditional Item Response Theory(IRT) estimation methods due to the violations to the assumption of local independence. To deal with the testlet effect, previous studies introduced a new parameter to the classical IRT model which called Testlet Response Theory(TRT). Under the Bayesian framework, the estimation can be accomplished on the SCORIGHT program. The purpose of this paper is to use another method named Generalized Estimation Equation(GEE) to model testlet response data. GEE was commonly used to analyze the longitudinal data. We use this method to capture the information from the correlated items and estimated ability of the examinees through re-parametrization.
    Simulation results indicate that GEE can deal with the testlet effect effectively. On the comparison between GEE and Bayesian testlet model, GEE does better on estimation of the examinees who have high or low ability level. In contrast, Bayesian testlet model does better on estimation of medium ability level. In addition, we design the experiment to test the efficiency of GEE. The results show that group the examinees according to their ability before doing the GEE estimation can improve the efficiency of GEE.
    In this paper, we also demonstrate the method to calculate testlet information using GEE which can be taken as reference for assessing estimation accuracy of each ability level in testlet-based testing.

    第一章 緒論 1
    第二章 文獻回顧 4
    第一節 試題反應理論(Item Response Theory, IRT) 4
    第二節 題組反應理論(Testlet Response Theory, TRT) 5
    第三節 廣義估計方程式(Generalized Estimation Equation, GEE) 6
    第三章 研究方法 8
    第一節 估計方法 8
    一、 最大概似估計(Maximum likelihood estimation) 8
    二、 貝氏題組模型 (Bayesian testlet model) 9
    三、 廣義估計方程式(Generalized estimating equation) 10
    四、 分組GEE 12
    五、 多階段分組GEE 12
    第二節 模擬流程 13
    一、 題目設定與題目訊息量 13
    二、 考生能力設定 15
    三、 產生作答結果 15
    四、 參數估計、極端值處理與評估指標 17
    第四章 結果 18
    第一節 在不同能力水準和題組結構下比較MLE與GEE 18
    第二節 工作相關矩陣之設定對GEE估計之影響 19
    第三節 GEE與SCORIGHT估計能力值θ之情形 21
    第四節 不同分組方法對於分組GEE估計結果的影響 24
    第五節 能力值θ呈特定分布下之估計情形 27
    第五章 結論與建議 32
    第一節 結論 32
    第二節 研究限制與未來方向 33
    參考文獻 35
    附錄 36

    中文部分
    余民寧. (1992). 試題反應理論的介紹 (二)--基本概念和假設. 研習資訊, 9, 5-9.
    陳柏熹, 黃宏宇, & 王文中. (2008). 題組之相關特性對電腦化適性測驗測量精準度的影響. 測驗學刊, 55(1), 129-150.
    英文部分
    Dobson, A. J., & Barnett, A. (2008). An introduction to generalized linear models: CRC press.
    Leisch, F., Weingessel, A., & Hornik, K. (1998). On the generation of correlated artificial binary data.
    Liang, K.-Y., & Zeger, S. L. (1986). Longitudinal data analysis using generalized linear models. Biometrika, 13-22.
    Lord, F. M., Novick, M. R., & Birnbaum, A. (1968). Statistical theories of mental test scores.
    Park, C. G., Park, T., & Shin, D. W. (1996). A simple method for generating correlated binary variates. The American Statistician, 50(4), 306-310.
    Sireci, S. G., Thissen, D., & Wainer, H. (1991). On the reliability of testlet‐based tests. Journal of Educational measurement, 28(3), 237-247.
    Wainer, H., Bradlow, E. T., & Wang, X. (2007). Testlet response theory and its applications: Cambridge University Press.
    Wainer, H., & Kiely, G. L. (1987). Item clusters and computerized adaptive testing: A case for testlets. Journal of Educational measurement, 24(3), 185-201.
    Wainer, H., & Thissen, D. (1996). How is reliability related to the quality of test scores? What is the effect of local dependence on reliability? Educational Measurement: Issues and Practice, 15(1), 22-29.
    Wang, X., Bradlow, E. T., & Wainer, H. (2004). User's guide for SCORIGHT (version 3.0): A computer program for scoring tests built of testlets including a module for covariate analysis. ETS Research Report Series, 2004(2).
    Yen, W. M. (1993). Scaling performance assessments: Strategies for managing local item dependence. Journal of Educational measurement, 30(3), 187-213.

    QR CODE
    :::