Обобщённый метод наименьших квадратов — Википедия. Обобщённый метод наименьших квадратов (ОМНК, GLS — англ. Generalized Least Squares) — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов.
Косвенный, двухшаговый и трехшаговый методы наименьших квадратов. Обобщенные методы оценивания параметров эконометрических моделей 156 3.1.1. Обобщенный метод наименьших квадратов 156 3.1.2. Дейл Карнеги Книги.
Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — e. TWe. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной. Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели. Известно, что симметрическую положительно определенную матрицу можно разложить как W=PTP. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков (Pe)TPe.
Для линейной регрессииy=Xb+. Если в качестве весовой матрицы W. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид: b^GLS=(XTV. Поэтому на практике используют доступный вариант ОМНК, когда вместо V используется её некоторая оценка.
Метод наименьших квадратов допускает широкое обобщение. Вместо минимизации суммы квадратов . Метод наименьших квадратов используется для оценки параметров. Обобщенный метод наименьших квадратов ОМНК применяется в случае . Обобщённый метод наименьших квадратов (ОМНК, GLS — англ. Generalized Least Squares) — метод оценки параметров регрессионных моделей, . Реализуют обобщенный метод наименьших квадратов в линейном и.
Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно n(n+1)/2. Следовательно, такой вариант не позволит получить качественные оценки параметров.
На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров . Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры .
С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки .
В этом случае говорят о взвешенном МНК (ВМНК, WLS, Weighted LS). Преобразование P в данном случае заключается в делении данных на СКО случайных ошибок. К взвешенным таким образом данным применяется обычный МНК.
Как и в общем случае, дисперсии ошибок неизвестны и их необходимо оценить из тех же данных. Поэтому делают некоторые упрощающие предположения о структуре гетероскедастичности. Дисперсия ошибки пропорциональна квадрату некоторой переменной. Причем коэффициент пропорциональности не нужен для оценки. Поэтому фактически процедура в данном случае следующая: разделить все переменные на Z (включая константу, то есть появится новая переменная 1/Z). Причем Z может быть одной из переменных самой исходной модели (в этом случае в преобразованной будет константа).
К преобразованным данным применяется обычный МНК для получения оценок параметров: Пусть имеется n наблюдений разбитых на m однородных групп, внутри каждой из которых предполагается одинаковая дисперсия. В этом случае сначала модель оценивают обычным МНК и находят остатки. По остаткам внутри каждой группы оценивают дисперсии . Далее данные каждой j- й группы наблюдений делятся на .
Для первого наблюдения применяется поправка Прайса — Уинстена — данные первого наблюдения умножаются на 1. Случайная ошибка преобразованной модели равна ut. Следовательно применение обычного МНК позволит получить качественные оценки такой модели.
Поскольку коэффициент авторегрессии неизвестен, то применяются различные процедуры доступного ОМНК. Шаг 1. Оценка исходной модели методом наименьших квадратов и получение остатков модели. Шаг 2. Оценка коэффициента автокорреляции остатков модели (формально её можно получить также как МНК- оценку параметра авторегрессии во вспомогательной регрессии остатков et=ret. Авторегрессионное преобразование данных (с помощью оцененного на втором шаге коэффициента автокорреляции) и оценка параметров преобразованной модели обычным МНК. Оценки параметров преобразованной модели и являются оценками параметров исходной модели, за исключением константы, которая восстанавливается делением константы преобразованной модели на 1- r.
Процедура может повторяться со второго шага до достижения требуемой точности. В данной процедуре производится прямой поиск значения коэффициента автокорреляции, которое минимизирует сумму квадратов остатков преобразованной модели. А именно задаются значения r из возможного интервала (- 1; 1) с некоторым шагом. Для каждого из них производится авторегрессионное преобразование, оценивается модель обычным МНК и находится сумма квадратов остатков. Выбирается тот коэффициент автокорреляции, для которого эта сумма квадратов минимальна. Далее в окрестности найденной точки строится сетка с более мелким шагом и процедура повторяется заново. Преобразованная модель имеет вид: yt.
Метод наименьших квадратов, теорема Гаусса-Маркова. Раздел: Рефераты по экономико-математическому. Этот метод носит название доступного обобщенного метода наименьших квадратов. Основные предположения метода наименьших квадратов (МНК). Обобщенный метод наименьших квадратов (ОМНК).
Линейные регрессион- ные модели с гетероскедастичными и автокоррелированными остатками. Обобщен- ный метод наименьших квадратов (ОМНК).
Тогда имеем следующую модельyt=a. Тогда коэффициенты исходной модели восстанавливаются как b^0=a^0/(1.