Анализ регрессионный
Опубликовано на портале: 21-07-2004
АНАЛИЗ РЕГРЕССИОННЫЙ - статистический метод исследования зависимости (регрессии)
между зависимым признаком Y и независимыми (регрессорами, предикторами) $Х_1,
Х_2, ..., Х_р$ .
Строго регрессионную зависимость можно определить следующим образом. Пусть Y,$Х_{1},Х_2,...,Х_р$ случайные величины с заданным совместным
распределением вероятностей. Если для каждого набора значений $Х_1=х_1,Х_2=х_2,...,Х_р=х_р$
определено условное математическое ожидание $y(x_1,x_2,...,x_p)=E(Y/(Х_1=х_1,Х_2=х_2,...,Х_р=х_р))$ ,
то функция $y(x_1,x_2,...,x_p)$ называется регрессией величины Y по величинам
$Х_1,Х_2,...,Х_р$ , а ее график линией регрессии Y по $Х_1,Х_2,...,Х_р$ ,
или уравнением
регрессии. Зависимость Y от $Х_1,Х_2,...,Х_р$ проявляется в изменении
средних значений
Y при изменении $Х_1,Х_2,...,Х_р$ . Хотя при каждом фиксированном наборе
значений $Х_1=х_1,Х_2=х_2,...,Х_р=х_р$ величина Y остается случайной
величиной с определенным
рассеянием.
Для выяснения вопроса, насколько точно регрессия оценивает изменение Y при
изменении
$Х_1,Х_2,...,Х_р$ , используется средняя величина дисперсии Y при разных
наборах значений
$Х_1,Х_2,...,Х_р$ (фактически речь идет о мере рассеяния зависимой переменной
вокруг
линии регрессии).
На практике линия регрессии чаще всего ищется в виде линейной функции$Y=b_0+b_1Х_1+b_2Х_2+...+b_pХ_р$
(линейная регрессия), наилучшим образом приближающей искомую
кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется
сумма квадратов отклонений реально наблюдаемых Y от их оценок $\hat
Y$
(имеются
в виду
оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную
зависимость): $\sum_{k=1}^N (Y_k-\hat Y_k)^2\to min$ (N - объем
выборки).
Этот подход основан на том известном
факте,
что фигурирующая в приведенном выражении сумма принимает минимальное значение именно
для того случая, когда $Y=y(x_1,x_2,...,x_p)$ . Применение метода наименьших
квадратов
для оценивания параметров модели возможно при выполнении следующих условий: (1) равенства
условных дисперсий: D(Y/X)=const; (2) независимости ошибок от предикторов
и нормального
их распределения с нулевым средним и постоянной дисперсией; (3) попарного нормального
распределения всех признаков модели.
Параметры$b_i$ являются частными коэффициентами корреляции; $b_i^2$
интерпретируется
как доля дисперсии Y, объясненная $Х_i$ , при закреплении влияния остальных
предикторов,
т.е. измеряет индивидуальный вклад $Х_i$ в объяснение Y. В случае коррелирующих
предикторов
возникает проблема неопределенности в оценках $b_i$ , которые становятся
зависимыми от
порядка включения предикторов в модель. В таких случаях необходимо применение методов
анализа корреляционного и пошагового
регрессионного анализа.
Говоря о нелинейных моделях важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьезные вычислительные трудности). При нелинейности первого видас содержательной точки зрения важно выделять появление в модели членов вида$Х_1Х_2$ , $Х_1Х_2Х_3$ , свидетельствующее
о наличии взаимодействий
между признаками $Х_1$ , $Х_2$ и т.д. (см. Взаимодействие
признаков).
Лит.: Болч Б., Хуань Дж. Многомерные статистические методы для экономики. М., 1979; Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. М., 1986; Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия: В 2-х вып. М.: 1982; Статистические методы анализа информации в социологических исследованиях. М., 1979; Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики: учебник. М., 1998; Сошникова Л.А., Тамашевич В.Н., Уебе Г., Шефер М. Многомерный статистический анализ в экономике. М., 1999; Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статистические методы для экономистов и менеджеров. М., 2000.
Строго регрессионную зависимость можно определить следующим образом. Пусть Y,
На практике линия регрессии чаще всего ищется в виде линейной функции
Параметры
Говоря о нелинейных моделях важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьезные вычислительные трудности). При нелинейности первого видас содержательной точки зрения важно выделять появление в модели членов вида
Лит.: Болч Б., Хуань Дж. Многомерные статистические методы для экономики. М., 1979; Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. М., 1986; Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия: В 2-х вып. М.: 1982; Статистические методы анализа информации в социологических исследованиях. М., 1979; Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики: учебник. М., 1998; Сошникова Л.А., Тамашевич В.Н., Уебе Г., Шефер М. Многомерный статистический анализ в экономике. М., 1999; Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статистические методы для экономистов и менеджеров. М., 2000.
Ключевые слова
См. также:
Journal of Political Economy.
1984.
Vol. 92.
No. 6.
P. 1017-1034.
[Статья]
Journal of the Royal Statistical Society.
1995.
Vol. 158.
No. 1.
P. 91-106.
[Статья]
Социологические исследования.
2001.
№ 8.
С. 129-134.
[Статья]
Statistical Science.
1993.
Vol. 8.
No. 4..
P. 356-377.
[Статья]
[Простая новость]
Journal of Econometrics.
1982.
Vol. 20.
No. 2.
P. 325-333.
[Статья]