Цензурированная регрессия

В цензурированной модели наблюдается не сама зависимая переменная, а её значения в пределах цензурирования. То есть предполагается, что есть латентная переменная ${\displaystyle y^{*}}$, для которой справедлива обычная регрессионная модель ${\displaystyle y^{*}=x^{T}b+\sigma \varepsilon }$, однако фактически наблюдается другая переменная, которая определяется в общем случае следующим образом:

${\displaystyle y={\begin{cases}y_{min},y^{*}\leqslant y_{min}\\y^{*},y_{min}<y^{*}<y_{max}\\y_{max},y^{*}\geqslant y_{max}\end{cases}}}$

Если ${\displaystyle y_{min}=0,y_{max}=\infty }$, то имеем каноническую цензурированную модель (тобит):

${\displaystyle y={\begin{cases}0,y^{*}\leqslant 0\\y^{*},y^{*}>0\end{cases}}}$

Рассмотрим математическое ожидание наблюдаемой зависимой переменной на примере тобит-модели с нормально распределенной ошибкой:

${\displaystyle E(y)=P(y^{*}\leqslant 0)E(y|y^{*}\leqslant 0)+P(y^{*}>0)E(y|y^{*}>0)=P(y^{*}\leqslant 0)\cdot 0+P(\varepsilon >-x^{T}b/\sigma )(x^{T}b+\sigma E(\varepsilon |\varepsilon >-x^{T}b/\sigma ))}$

Если ${\displaystyle \phi }$-плотность, а ${\displaystyle \Phi }$-интегральная функция распределения случайной ошибки, то

${\displaystyle P(\varepsilon >-x^{T}b/\sigma )=\Phi (x^{T}b/\sigma )}$

${\displaystyle E(\varepsilon |\varepsilon >-x^{T}b/\sigma )=\phi (-x^{T}b/\sigma )/\Phi (x^{T}b/\sigma )}$

Следовательно, окончательно имеем

${\displaystyle E(y)=\Phi (x^{T}b/\sigma )\cdot x^{T}b+\sigma \cdot \phi (x^{T}b/\sigma )}$

Очевидно, это выражение не равно ${\displaystyle x^{T}b}$, следовательно построение обычной регрессии приведет к смещенным и несостоятельным оценкам.

Оценка параметров осуществляется методом максимального правдоподобия. Логарифмическая функция правдоподобия цензурированной модели равна:

${\displaystyle l(b,\sigma )=\sum _{y_{t}=y_{min}}\ln F((y_{min}-x_{t}^{T}b)/\sigma )+\sum _{y_{min}<y_{t}<y_{max}}\ln f((y_{t}-x_{t}^{T}b)/\sigma )+\sum _{y_{t}=y_{max}}\ln(1-F((y_{max}-x_{t}^{T}b)/\sigma ))}$

где ${\displaystyle f,F}$ — плотность и интегральная функция распределения случайной ошибки ${\displaystyle \varepsilon }$.

Максимизация данной функции по неизвестным параметрам позволяет найти их оценки.

Модель Тобина имеет один недостаток. Дело в том, что значение y=0 может означать выбор «не участвовать» (в расходах на отдых, например), а значения ${\displaystyle y>0}$, можно интерпретировать как «интенсивность участия». В тобит-модели и выбор «участвовать-не участвовать» и «интенсивность участия» определяются одними и теми же факторами и факторы действуют в одном направлении. Классический пример фактора и ситуации неоднозначного влияния — количество детей как фактор, влияющий на расходы семьи. Очевидно, что большое количество детей может негативно влиять на решение «отдыхать или нет» (из-за больших расходов), однако, если принято такое решение, то величина расходов (интенсивность участия) на отдых прямо зависит от количества детей.

Хекман предложил разделить модель на две составляющие — модель бинарного выбора для участия, и линейную модель для интенсивности участия и факторы этих двух моделей вообще говоря могут быть разными. Таким образом, в модели Хекмана имеются две латентные переменные, удовлетворяющие следующим моделям:

${\displaystyle y^{*}=x^{T}b+\varepsilon }$

${\displaystyle g^{*}=z^{T}c+u}$

Случайные ошибки моделей предполагаются нормально распределенными. Вторая латентная переменная определяет выбор «участвовать/не участвовать» в рамках стандартной модели бинарного выбора (например, пробит-модели). Первая модель — это модель интенсивности участия при условии выбора «участвовать». Если выбирается «не участвовать», то ${\displaystyle y}$ не наблюдается (равна нулю).

${\displaystyle g={\begin{cases}1,g^{*}>0\\0,g^{*}\leqslant 0\end{cases}}}$

${\displaystyle y={\begin{cases}y^{*},g=1\\0,g=0\end{cases}}}$

Такую модель называют тобит II (соответственно исходная тобит-модель называется тобит I), иногда по аналогии хекит (модель Хекмана). В англоязычной литературе также встречается название sample selection model.

Рассмотрим математическое ожидание наблюдаемой зависимой переменной (при условии ${\displaystyle g=1}$):

${\displaystyle E(y|g=1)=x^{T}b+E(\varepsilon |g=1)=x^{T}b+E(\varepsilon |u>-z^{T}b)}$

Предполагая, что случайные ошибки моделей латентных переменных коррелированы и связаны соотношением

${\displaystyle \varepsilon =\sigma _{\varepsilon u}u+\nu }$

Следовательно

${\displaystyle E(y|g=1)=x^{T}b+\sigma _{\varepsilon u}E(\varepsilon |u>-z^{T}b)=x^{T}b+\sigma _{\varepsilon u}{\frac {\phi (z^{T}b)}{\Phi (z^{T}b)}}=x^{T}b+\sigma _{\varepsilon u}\lambda (z^{T}b)}$

где ${\displaystyle \lambda (z^{T}b)}$ — так называемая «лямбда Хекмана».

Оценка модели Хекмана производится также методом максимального правдоподобия, однако в связи с нестандартностью данной задачи часто применяют упрощенную двухшаговую процедуру оценивания, предложенную Хекманом. На первом шаге оценивается модель бинарного выбора и определяются параметры этой модели. На основе этих параметров можно определить для каждого наблюдения лямбду Хекмана. На втором шаге обычным МНК оценивается регрессия:

${\displaystyle y_{t}=x_{t}^{T}b+\sigma _{\varepsilon u}\lambda _{t}+\eta _{t}}$

Полученные оценки являются неэффективными, но вполне могут быть использованы в качестве начальных значений в методе максимального правдоподобия.

• Усеченная регрессия

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0..
• Носко В. П. Эконометрика для начинающих (Дополнительные главы). — М.: ИЭПП, 2005. С. 379.