Item Response Theory

Общим источником для создания IRT послужила так называемая логистическая функция вида ${\displaystyle y={\frac {e^{x}}{1+e^{x}}}}$, известная в биологической науке с 1844 года. С тех пор она широко применялась в биологии для моделирования прироста растительной массы или роста организмов. Как модель психологического и педагогического измерения она начала применяться, начиная с 50-х годов XX столетия. У истоков развития моделей IRT лежали стремление визуализировать формальные характеристики тестовых заданий, попытки преодолеть многочисленные недостатки классической теории тестов, повысить точность измерения и, наконец, стремление оптимизировать процедуру контроля за счёт адаптации теста к уровню подготовленности студента с помощью компьютера[2].

Первоначальная работа IRT как теории возникла в 1950-х и 1960-х годах. Это были участники организации Educational Testing Service: Фредерик Лорд, датский математик Георг Раш и австрийский социолог Полом Лазарсфельдом. Ключевыми фигурами, продвигавшими прогресс IRT, являются Бенджамин Дрейк и Дэвид Андрич.

В числе первых предпосылок к созданию IRT стали те результаты исследовательской работы Альфред Бине и Теодор Симон[5], в которых было отражено стремление авторов выявить — как, образно говоря, «работают» те задания, которые они давали детям разного возраста. Расположив затем на координатной плоскости точки, где по оси абсцисс откладывался возраст (в годах), а по оси ординат — доля правильных ответов в каждой возрастной группе испытуемых, авторы увидели, что полученные точки, после усреднения по каждой группе, напоминают кривую, позже названной характеристической.

В 1936 году M.W.Richardson провела обширное эмпирическое исследование, опросив 1200 студентов по 803 заданиям, в процессе которого студенты, в зависимости от полученного ими тестового балла, были разделены на 12 групп, по сто человек в каждой. Она первой обратила внимание на различающуюся крутизну кривых тестовых заданий и предложила рассматривать меру крутизны как примерную оценку дифференцирующей способности задания[6]. M.W.Richardson была, по-видимому, первой, осознавшей плодотворность использования усреднённых точек для графической презентации формальных характеристик заданий проектируемых тестов[7].

В частности, целью IRT является создание основы для анализа того, насколько хорошо работают оценки, и насколько хорошо работают отдельные элементы оценки. Наиболее распространённая область применения современной теории тестирования — образование, где психометрики используют её для разработки и дизайна экзаменов, поддержания банков вопросов для экзаменов и сравнения трудностей вопросов для последующих версий экзаменов[8]. В этой области, в силу высоких ставок решений, принимаемых по результатам тестирования, аргументация качества измерительного инструментария является крайне важным элементом ответственности разработчика и конкурентным преимуществом его инструмента, и модели современной теории тестирования занимают в этой аргументации одно из ключевых мест.

IRF даёт вероятность того, что человек с заданным уровнем способности ответит на задание правильно.

Трехпараметрическая логистическая модель

Рисунок 1: Пример 3PL IRF.

Трёхпараметрическая логистическая модель (3PL) современной теории тестирования, задает вероятность правильного ответа на дихотомическое задание i (как правило, вопрос с выбором одного ответа из ряда предложенных) как:

${\displaystyle p_{i}({\theta })=c_{i}+{\frac {1-c_{i}}{1+e^{-a_{i}({\theta }-b_{i})}}}}$

Где ${\displaystyle {\theta }}$ обычно следует нормальному распределению (в маргинализированных моделях). После калибровки модели, способность каждого респондента оценивается для сообщения результатов пользователям. ${\displaystyle a_{i}}$, ${\displaystyle b_{i}}$ и ${\displaystyle c_{i}}$ — это параметры заданий. Параметры заданий определяют форму функции ответа на задание. На рисунке 1 изображена модельная характеристическая кривая задания из модели 3PL.

Параметры задания можно интерпретировать как изменение формы стандартной логистической функции:

${\displaystyle P(t)={\frac {1}{1+e^{-t}}}.}$

Параметры, описывающие задания теста:

• b — трудность. Это значение указывает, насколько лёгок или сложен вопрос. ${\displaystyle p(b)=(1+c)/2}$ - вероятность решения задания в точке перегиба функции.
• a — дискриминативность. Это значение говорит, насколько эффективно этот вопрос может различать студентов по уровню их способности (как правило, желаемой является высокая дискриминативность заданий - она показывает, что слабые респонденты задание не решают, а сильные - решают).
• c — вероятность псевдо-случайного угадывания. Это значение указывает, насколько вероятно, что испытуемые могут получить правильный ответ, случайно выбирая его из предложенных опций. ${\displaystyle p(-\infty )=c}$ — ассимптотический минимум. Однако 3PL модель является неидентифицированной при классической фриквентистской оценке параметров 3PL модели или отсутствии ограничений других параметров заданий.

Модели IRT можно разделить на два семейства: одномерные и многомерные. Одномерные модели требуют единственного значения (способности) измерения ${\displaystyle {\theta }}$. Предполагается, что ответы на задания в многомерных моделях IRT зависят от нескольких латентных переменных, характеризующих респондентов.

Модели IRT также можно классифицировать по количеству баллов в задании. Чаще всего задания бывают дихотомическими (возможные баллы - 0 (все неправильно) или 1 (все правильно)). Другой класс моделей применим к политомическим заданиям, где каждый ответ отражает частичную правильность выполнения задания[9]. Общим примером этого являются задания с ответной шкалой Ликерта, например «от 0 до 4».

Число параметров, входящих в аналитическое задание функций, является основанием для подразделения семейств логических функций на классы.

Среди логистических функций различают[10]:

1) Однопараметрическая модель Г. Раша (Georg Rasch)— ${\displaystyle P_{i}(\theta )={\frac {e^{(\theta -b_{i})}}{1+e^{(\theta -b_{i})}}}}$, где ${\displaystyle \theta }$ и ${\displaystyle b_{i}}$ — параметры респондентов и задания i соответственно;

Иногда под знак экспоненты заносится множитель 1.702, который используется для совместимости модели Раша с моделью A.Fergusson, где вероятность правильного ответа на задание выражена интегралом нормального распределения (формулой кумулятивной плотности вероятности нормального распределения), что позволяет использовать вместо логистических кривых хорошо изученную интегральную функцию стандартного нормального распределения.

Рисунок 2: Характеристические кривые заданий (ICC) в модели (1PL)

Модель Раша носит название «1 Parametric Logistic Latent Trait Model» (1PL), а модель A.Fergusson — «1 Parametric Normal Ogive Model» (1PNO). Поскольку модель Раша описывает вероятность решения задания респондентом как функцию одного параметра задания (разности ${\displaystyle \theta _{j}-b_{i}}$; в некоторых интерпретациях - из-за того, что у задания только один параметр ${\displaystyle b_{i}}$), её называют однопараметрической моделью современной теории тестирования.

Взаимодействие двух множеств ${\displaystyle {\theta _{j}}}$ и ${\displaystyle b_{i}}$ образует данные, обладающие свойством «совместной аддитивности» (conjoint additivity). Правильное использование модели Раша позволяет достичь полной независимости параметров респондентов от того, на какие задания они отвечают, и параметров заданий от того, какие респонденты на них отвечают. Это свойство измерений с помощью модели Раша носит название специфической объективности (specific objectivity).

Рисунок 3: Характеристические кривые испытуемых (PCC) в модели 1PL.

Рисунок 4: ICC в двухпараметрической модели 2PL.

Рисунок 5: ICC в трёхпараметрической модели 3PL.

На рис. 2 показаны три характеристические кривые с трудностями заданий -2, 0 и +2 логита (первое самое лёгкое, второе — среднее, третье самое трудное). Из приведённых зависимостей видно, что чем выше уровень подготовленности θ испытуемого, тем выше вероятность успеха в том или ином задании. Например, для испытуемого с ${\displaystyle {\theta _{j}}=0}$ вероятность правильно ответить на первое задание близка к единице, на второе равна 0.5 и на третье почти равна нулю. Отметим, что в точках, где ${\displaystyle {\theta _{j}}=b}$ вероятность правильного ответа равна 0.5. То есть, если трудность задания равна уровню подготовленности испытуемого, то он с равной вероятностью может справиться или не справиться с этим заданием.

На рис. 3 показаны три характеристические кривые испытуемых — «Person Characteristic Curve» (PCC). Показаны графики для трёх испытуемых с уровнем подготовленности -2 логита (самый слабый), 0 логитов (средний) и +2 логита (сильный испытуемый).

Из приведённых зависимостей видно, что чем выше уровень подготовленности, тем выше вероятность правильного ответа на задание. Например, задание с трудностью b = 0 первый испытуемый ( q=-2) практически не сможет выполнить, второй (q = 0) имеет вероятность выполнения задания равную 0.5, третий (q=+2) легко справится с заданием, так как для него вероятность успеха почти равна единице.

2) двухпараметрическая модель А. Бирнбаума: ${\displaystyle P_{i}(\theta )={\frac {e^{a_{i}(\theta -b_{i})}}{1+e^{a_{i}(\theta -b_{i})}}}}$

Если тест содержит задания с различной дифференцирующей способностью (${\displaystyle a_{i}}$), то однопараметрическая модель 1PL не может описать такие данные. Для преодоления этой трудности А.Бирнбаум ввёл ещё один параметр — ${\displaystyle a_{i}}$ (item discrimination parameter), параметр дискриминативности.

Параметр ${\displaystyle a_{i}}$ определяет наклон (крутизну) характеристической кривой i-го задания. Примеры характеристических кривых показаны на рис. 4. Видно, что чем больше ${\displaystyle a_{i}}$ тем круче кривая, и тем выше дифференцирующая способность задания.

3) трехпараметрическяа модель А. Бирнбаума: ${\displaystyle P_{i}(\theta )=c_{i}+(1-c_{i}){\frac {e^{a_{i}(\theta -b_{i})}}{1+e^{a_{i}(\theta -b_{i})}}}}$

где ${\displaystyle c_{i}}$ является третьим параметром задания, характеризующим вероятность правильного ответа на i-е задание.

Для ещё лучшего соответствия эмпирическим данным А.Бирнбаум ввёл третий параметр ${\displaystyle c_{i}}$ — параметр угадывания. На рис. 5 приведены примеры характеристических кривых для трёх заданий с трудностью ${\displaystyle b_{i}}$ = 1, дискриминационным параметром ${\displaystyle a_{i}}$ = 1 и различными параметрами угадывания ${\displaystyle c_{i}}$ = 0, ${\displaystyle c_{i}}$ = 0.25, ${\displaystyle c_{i}}$ = 0.5. Из приведённых графиков видно, что наличие параметр угадывания приводит к пропорциональному сжатию ICC от ${\displaystyle c_{i}}$ до 1.

4) четырехпараметрическая модель А. Бирнбаума: ${\displaystyle P_{i}(\theta )=c_{i}+(d_{i}-c_{i}){\frac {e^{a_{i}(\theta -b_{i})}}{1+e^{a_{i}(\theta -b_{i})}}}}$

где ${\displaystyle d_{i}}$ является четвертым параметром задания, характеризующим вероятность ошибки при ответе на i-е задание. В этой модели характеристическая кривая сжимается подобно 3PL модели, но не от ${\displaystyle c_{i}}$ до 1, а от от ${\displaystyle c_{i}}$ до ${\displaystyle d_{i}}$.

Таким образом, модель 2PL является обобщением модели 1PL на случай с заданиями с разными параметрами дискриминативности, а модель 3PL - обобщением модели 2PL на случай с заданиями с разными параметрами угадывания, и при этом, она в свою очередь является частным случаем 4PL модели.

Также существуют "5PL" модели, описывающие задания с немонотонной характеристической кривой - той, которая отражает возрастание вероятности решения задания до определенного уровня способности, а затем её снижение.

Модель Раша

Характерной чертой моделей семейства моделей Раша (включая политомические модели) является параллельность характеристических кривых заданий (они не пересекаются), см. рис. 3. Это подразумевает, что вероятность решения более легкого задания всегда ниже, чем более трудного - это выстраивает иерархию заданий на всем континууме способности и позволяет её качественно интерпретировать.

Рисунок 6: Пересекающиеся ICC в трёхпараметрической модели.

Совершенно иная картина наблюдается для двух- и трёхпараметрической моделей. На рис.4 это хорошо видно. Задание с ${\displaystyle a_{i}}$ = 0.5 в области положительных значений θ является самым трудным из представленных трёх заданий, то есть вероятность правильного ответа на это задание самая низкая. В области же отрицательных значений q это же задание теперь уже самое лёгкое — вероятность правильного ответа на него наибольшая. Получается, что для слабых учащихся это самое лёгкое задание, а для сильных учащихся — самое трудное. Таким образом, в отличие от моделей Раша, иерархия заданий в 2PL выстраивается не на всем континууме способности, а от одного пересечения характеристических кривых (любых) до другого, после чего начинается новая иерархия заданий, что лишает анализ этих иерархий всяческих практических соображений.

Аналогичная картина наблюдается и для трёхпараметрической модели. На рис.5 показан редкий случай непересекающихся характеристических кривых, так как для них выбраны одинаковые параметры ${\displaystyle b_{i}}$=1 и ${\displaystyle a_{i}}$=1, то есть все три задания имеют одинаковую трудность и одинаковый параметр дискриминативности.

На рис.6 приведён другой пример. Здесь у задания с параметром ${\displaystyle c_{i}}$=0 изменена трудность ${\displaystyle b_{i}}$= -1, что немедленно вызвало пересечение характеристических кривых. Задание с ${\displaystyle c_{i}}$=0 в области θ < -2 является самым трудным. В области -1.5 < θ < -1 это задание легче задания с ${\displaystyle c_{i}}$=0.25 и труднее задания с ${\displaystyle c_{i}}$=0.5. В области θ > -1 задание с ${\displaystyle c_{i}}$=0 является самым лёгким. Подобное пересечение ICCв практике всегда происходит в 2PL и 3PL моделях.

Однако только параллельность характеристических кривых способна привести к свойству специфической объективности, т.е., только модели Раша способны обеспечить достижение независимости параметров респондентов и заданий друг от друга. Тем не менее, это не означает, что специфические проблемы психометрики нельзя решать в 2PL и более старших моделях.

1) Существуют латентные/скрытые параметры респондентов и заданий (которые недоступны для непосредственного наблюдения). Например, в интеллектуальном тестировании — это уровень интеллекта испытуемого и уровень трудности задания (в моделях Раша).

2) Существуют индикаторы, вероятность проявления которых определяется латентными параметрами. Однако, в отличие от параметров, индикаторы доступны для наблюдения. По значениям индикаторов можно судить о значениях латентных параметров.

3) Устаревшая формулировка: Оцениваемый латентный параметр должен быть одномерным (шкала должна измерять одну и только одну переменную). Если условие одномерности не выполняется, то необходимо перерабатывать тест. Все задания, которые нарушают одномерность, должны быть исключены из шкалы или изменены так, чтобы вызывать, потому что это вызывает как нарушение допущений модели, так и загрязняет интерпретацию оценок параметров.

Современная формулировка: Задания должны быть локально независимы на параметрах респондентов. Это означает, что при контроле параметров респондентов, ковариаций между ответами на задания нет. Другими словами - если отобрать всех респондентов с определенным уровнем способности (например, равно 1 логит, и сделать это для каждого возможного значения способности), то их ответы на задания абсолютно случайны. В этом случае, вся информация, связывающая задания - это уровень способности респондентов, который извлекается моделью, и ковариации между остатками (зависимости заданий локально на параметрах респондентов) нет. Эта формулировка обеспечивает большую общность методов преодоления локальной зависимости заданий (неодномерности теста), поскольку позволяет включать в модель дополнительные параметры респондентов (превращая модель в бифакторную или тестлет-модль), отражающие взаимодействие респондентов и тестлетов (групп заданий, демонстрирующих локальную зависимость). В этом случае, дополнительные параметры респондентов выступают как специфические факторы из бифакторных моделей и "впитывают" в себя локальную зависимость. При их контроле, возможно достижение локальной независимости на параметрах респондентов, за счет увеличения количества этих параметров. При этом, это допущение позволяет встроить современную теорию тестирования в т.н. теорию условной ковариации (conditional covariance theory), для всех классов моделей которой характерно это допущение: ${\displaystyle Cov(Y_{i},Y_{j}|\theta )=0}$ для любых ${\displaystyle i\neq j}$, где ${\displaystyle Y}$ - ответы на задания. К теории условной ковариации относятся анализ латентных классов, модели когнитивной диагностики, конфирматорный факторный анализ, байесовские сети, и иные методы моделирования латентных переменных.

• Надёжность психологического теста
• Психологическое тестирование
• Concept inventory
• Differential item functioning
• Person-fit analysis
• Психометрия
• Scale (social sciences)
• Стандартизованный тест

• Lord, F.M. (1980). Applications of item response theory to practical testing problems. Mahwah, NJ: Erlbaum.
• Embretson, Susan E.; Reise, Steven P. Item Response Theory for Psychologists (неопр.). — Psychology Press, 2000. — ISBN 978-0-8058-2819-1.
• Baker, Frank (2001). The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD.
• Baker, Frank B.; Kim, Seock-Ho. Item Response Theory: Parameter Estimation Techniques (англ.). — 2nd. — Marcel Dekker, 2004. — ISBN 978-0-8247-5825-7.
• Handbook of Modern Item Response Theory (неопр.) / van der Linden, Wim J.; Hambleton, Ronald K.. — Springer, 1996. — ISBN 978-0-387-94661-0.
• de Boeck, Paul; Wilson, Mark. Explanatory Item Response Models: A Generalized Linear and Nonlinear Approach (англ.). — Springer, 2004. — ISBN 978-0-387-40275-8.
• Fox, Jean-Paul. Bayesian Item Response Modeling: Theory and Applications (англ.). — Springer, 2010. — ISBN 978-1-4419-0741-7.
• Крокер, Линда; Джеймс, Алгина. Введение в классическую и современную теорию тестов (рус.). — ВЫСШЕЕ ОБРАЗОВАНИЕ СЕГОДНЯ, 2010. — ISBN 978-5-98704-437-5.

• "HISTORY OF ITEM RESPONSE THEORY (up to 1982)", en:University of Illinois at Chicago
• A Simple Guide to the Item Response Theory(PDF)
• Psychometric Software Downloads
• flexMIRT IRT Software Архивная копия от 5 марта 2016 на Wayback Machine
• IRT Tutorial
• IRT Tutorial FAQ
• An introduction to IRT
• The Standards for Educational and Psychological Testing
• IRT Command Language (ICL) computer program
• IRT Programs from SSI, Inc.
• IRT Programs from en:Assessment Systems Corporation
• Latent Trait Analysis and IRT Models
• Rasch analysis
• Rasch Analysis Programs from Winsteps
• Free IRT software
• Пакеты для применения IRT в R
• IRT / EIRT support in Lertap 5 Архивная копия от 4 марта 2016 на Wayback Machine
• ShinyItemAnalysis (2017) приложение для работы с IRT онлайн
• Задачи оценивания параметров модели IRT
• Применение IRT в тестировании учебных достижений