Многоступенчатые оценки и эффект усадки в моделях временных рядов

 Аннотация: Многие современные статистические модели используются как для понимания, так и для прогнозирования применительно к данным. Когда модели используются для прогнозирования, необходимо оптимизировать параметры с помощью функции потери ошибок прогнозирования. Было показано, что методы оценки, основанные на ошибках прогноза на несколько шагов вперед, приводят к более надежным и менее предвзятым оценкам параметров. Однако правдоподобного объяснения того, почему это так, не хватает. В этой статье мы приводим это объяснение, показывая, что основное преимущество этих оценок заключается в эффекте усадки, происходящем в одномерных моделях естественным образом. Однако это может привести к ряду ограничений из-за чрезмерно агрессивной усадки. Мы обсуждаем прогностические вероятности, связанные с многоступенчатыми оценками, и демонстрируем, что их использование подразумевает для моделей временных рядов. Чтобы преодолеть ограничения существующих многоступенчатых оценок, мы предлагаем геометрическую среднеквадратичную ошибку, демонстрирующую ее преимущества. Мы проводим имитационный эксперимент, показывающий, как оценщики ведут себя при разных размерах выборки и горизонтах прогноза. Наконец, мы проводим эмпирическую оценку реальных данных, демонстрируя производительность и преимущества оценщиков. Учитывая, что основной процесс, подлежащий моделированию, часто неизвестен, мы приходим к выводу, что усадка, достигаемая GTMSE, является конкурентоспособной альтернативой обычным.

DOI: 10.1007/s00180-023-01377-x.

Рабочий документ.

О статье

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ 1: Чтобы лучше понять, о чем я говорю в этом разделе, я бы порекомендовал вам взглянуть на монографию ADAM и, в частности, на главу 11. Фактически, раздел 11.3 основан на этом документе.

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ 2: Все обсуждения в статье относятся только к чисто аддитивным моделям. Если вас интересуют мультипликативные или смешанные модели ETS, вам придется подождать еще семь лет, пока не будет написана и опубликована еще одна статья на эту тему.

Знакомство

Существует множество способов оценки динамических моделей. Некоторые аналитики предпочитают вероятность, некоторые будут придерживаться метода наименьших квадратов (т.е. минимизации MSE), в то время как другие будут использовать расширенные оценки, такие как потери Хубера или M-оценки. А иногда статистики или эксперты по машинному обучению используют оценки на несколько шагов вперед. Например, они будут использовать так называемый «прямой прогноз», подгоняя модель под данные, производя прогнозы на h-ступени вперед в точке выборки от самого первого до самого последнего наблюдения, а затем вычисляя соответствующие ошибки прогноза на h-шаги вперед и (на их основе) среднюю квадратичную ошибку. Математически это можно записать как:

\begin{equation} \label{eq:hstepsMSE}
\mathrm{MSE}_h = \frac{1}{T-h} \sum_{t=1}^{T-h} e_{t+h|t}^2 ,
\end{equation}
where \(e_{t+h|t}\) is the h-steps ahead error for the point forecast produced from the observation \(t\), and \(T\) is the sample sizeMSE

На последнем курсе аспирантуры я решил проанализировать, как работают различные многоступенчатые функции потерь, чтобы понять, что происходит с динамическими моделями, когда эти потери минимизируются и как это может помочь в эффективной оценке модели. Проводя обзор литературы, я заметил, что утверждения о многоступенчатых оценках иногда противоречивы: некоторые авторы говорят, что они более эффективны (т.е. оценки параметров имеют меньшую дисперсию), чем обычные оценки, некоторые говорят, что они менее эффективны; Некоторые утверждают, что они улучшают точность, в то время как другие не находят каких-либо существенных улучшений. Наконец, я не смог найти правильного объяснения того, что происходит с динамическими моделями, когда используются оценки. Итак, я начал свое собственное расследование вместе с Никосом Куренцесом и Ребеккой Киллик (которая была моим внутренним экзаменатором и присоединилась к нашей команде после окончания учебы).

Наше исследование началось с модели единственного источника ошибок, затем привело нас к прогнозным вероятностям и, после этого, к разработке нескольких нетрадиционных оценок. В результате газета выросла и стала менее целенаправленной, чем предполагалось изначально. В итоге он занял 42 страницы и обсуждал несколько аспектов оценки моделей (что делает его чем-то вроде мешанины):

1. Как многоступенчатые оценки упорядочивают параметры динамических моделей;
2. Что многоступенчатые ошибки прогноза всегда коррелируют, когда параметры моделей не равны нулю;
3. Какие прогностические вероятности согласуются с многоступенчатыми оценками (это полезно для обсуждения их статистических свойств);
4. Как общая прогностическая вероятность охватывает все популярные многоступенчатые оценки;
5. И что есть еще один оценщик (а именно GTMSE – Geometric Trace Mean Squared Error), который обладает хорошими свойствами и ранее не обсуждался в литературе.

Из-за размера статьи и разбросанности тем по ней многие рецензенты проигнорировали (1) - (4), сосредоточившись на (5) и, таким образом, отклонив статью на том основании, что мы предлагаем новую оценку, но вместо этого тратим слишком много времени на обсуждение нерелевантных тем. Такого рода комментарии были даны нам редактором журнала Королевского статистического общества: B и рецензентами Computational Statistics and Data Analysis. Хотя мы пытались решить эту проблему несколько раз, учитывая размер бумаги, нам не удалось решить ее полностью. Статья была отвергнута обоими этими журналами и попала в Computational Statistics, где редактор дал нам возможность ответить на комментарии. Мы объяснили, о чем на самом деле статья, и изменили ее направленность, чтобы удовлетворить рецензентов, после чего статья была принята.

Итак, каковы основные выводы этой статьи?

Как многоступенчатые оценки упорядочивают параметры динамических моделей

Учитывая, что любая динамическая модель (например, ETS или ARIMA) может быть представлена в форме пространства состояний Single Source of Error, мы показали, что применение многоступенчатых оценок приводит к включению параметров моделей в функцию потерь, что приводит к регуляризации. В СТВ это означает, что параметры сглаживания сводятся к нулю, при этом усадка усиливается с увеличением горизонта прогнозирования относительно размера выборки. Это делает модели менее стохастическими и более консервативными. Математически это становится очевидным, если мы выразим условную многоступенчатую дисперсию в терминах параметров сглаживания и дисперсии ошибки на один шаг вперед. Например, для ETS(A,N,N) мы имеем:

MSEh∝σ^21(1+(h−1)α^),

\end{equation} где \( \hat{\alpha} \) - параметр сглаживания, а \(\hat{\sigma}_1^2 \) - дисперсия ошибки на один шаг вперед. Из формулы \eqref{eq:hstepsMSEVariance} становится очевидным, что при минимизации MSE\(_h\) расчетная дисперсия и параметры сглаживания также будут сведены к минимуму. Так проявляется эффект усадки: мы заставляем \( \hat{\alpha}\) максимально приблизиться к нулю, а сила усадки регулируется горизонтом прогнозирования \(h\).

В самой статье мы обсуждаем этот эффект для нескольких многоступенчатых оценок (конкретный эффект будет отличаться между ними) и нескольких моделей ETS и ARIMA. В то время как для ETS легко показать, как работает усадка, для ARIMA ситуация более сложная, потому что направление усадки будет меняться с заказами ARIMA. Тем не менее, что можно ясно сказать для любой динамической модели, так это то, что многоступенчатые оценки делают их менее стохастическими и более консервативными.

Ошибки многошагового прогноза всегда коррелируют

Это маленькая находка, сделанная в обход. Это означает, что, например, ошибка прогноза на два шага вперед всегда коррелирует с ошибкой на три шага вперед. Это зависит не от автокорреляции остатков или какого-либо нарушения предположений модели, а только от того, равны ли параметры модели нулю или нет. Этот эффект возникает из-за модели, а не из-за данных. Единственная ситуация, когда ошибки прогноза не будут коррелированы, - это когда модель детерминирована (например, линейный тренд). Это имеет важные практические последствия, поскольку некоторые методы прогнозирования делают явные и нереалистичные предположения о том, что эти корреляции равны нулю, что повлияет на окончательные прогнозы.

Прогностическое правдоподобие в соответствии с многоступенчатыми оценками

Мы показали, что если модель предполагает нормальное распределение, то в случае MSEh и MSCE (среднеквадратичная кумулятивная ошибка) распределение будущих значений также следует за нормальным. Это означает, что для этих моделей существуют функции прогностического правдоподобия, максимум которых достигается при том же наборе параметров, что и минимум многошаговых оценок. Это имеет два последствия:

1. Эти многоступенчатые оценки должны быть последовательными и эффективными, особенно когда параметры сглаживания близки к нулю;
2. Прогностические вероятности могут быть использованы при выборе модели с помощью информационных критериев.

Первый пункт также объясняет противоречие в литературе: если параметр сглаживания в генеральной совокупности близок к нулю, то многоступенчатые оценки дадут более эффективные оценки, чем обычные оценки; В другом случае это может быть менее эффективно. Второй пункт выше мы не использовали, но он был бы полезен, когда для данных нужно выбрать наилучшую модель, а аналитик хочет использовать информационные критерии. Это один из потенциальных путей для будущих исследований.

Как общая прогностическая правдоподобие (GPL) охватывает все популярные многоступенчатые оценки

GPL возникает, когда учитывается совместное распределение ошибок прогноза на 1-h шагов вперед. Это будет многомерная нормальная, если модель предполагает нормальность. В работе показано, что максимум GPL совпадает с минимумом так называемой «обобщенной дисперсии» — детерминанты ковариационной матрицы ошибок прогноза. Эта минимизация уменьшает дисперсии для всех ошибок прогноза (от 1 до h) и увеличивает ковариации между ними, делая многоступенчатые ошибки прогноза более похожими. В идеальном случае, когда модель указана правильно (без пропущенных или избыточных переменных, гомоскедастических остатков и т.д.), максимум GPL будет совпадать с максимумом условной вероятности нормального распределения (см. раздел 11.1 монографии ADAM).

Случайно можно показать, что существующие оценки являются всего лишь частными случаями GPL, но с некоторыми ограничениями на ковариационную матрицу. Я не собираюсь показывать это здесь, читателю предлагается либо прочитать статью, либо ознакомиться с кратким обсуждением в подразделе 11.3.5 монографии ADAM.

GTMSE – среднеквадратичная погрешность геометрической трассировки

Наконец, рассматривая частные случаи GPL, мы заметили, что есть один, который не обсуждался в литературе. Мы назвали его Geometric Trace Mean Squared Error (GTMSE) из-за логарифмов в формуле: 

                                            GTMSE=∑j=1hlog1T−j∑t=1T−je2t+j|t.

GTMSE накладывает сжатие на параметры, аналогичные другим оценкам, но делает это более мягко из-за логарифмов в формуле. На самом деле, логарифмы делают дисперсии всех ошибок прогноза похожими друг на друга. В результате, при использовании GTMSE не фокусируется на больших дисперсиях, как это делают другие методы, а минимизирует их все одновременно аналогичным образом.

Примеры в R

Все оценки, обсуждаемые в статье, реализованы в функциях гладкого пакета в R, включая , , , и . В приведенном ниже примере мы увидим, как работает усадка для ETS на примере данных о продажах Box-Jenkins (это пример, взятый из ADAM, подраздел 11.3.7):

adam()

es()

ssarima()

msarima()

ces()

library(smooth)

adamETSAANBJ <- vector("list",6)

names(adamETSAANBJ) <- c("MSE","MSEh","TMSE","GTMSE","MSCE","GPL")

for(i in 1:length(adamETSAANBJ)){

adamETSAANBJ[[i]] <- adam(BJsales, "AAN", h=10, holdout=TRUE,

loss=names(adamETSAANBJ)[i])

}

Модель ETS(A,A,N), применяемая к этим данным, имеет различные оценки параметров сглаживания:

sapply(adamETSAANBJ,"[[","persistence") |>

раунд(5)

МСЭ МСЭ ГТМСЭ МСКЭ GPL

альфа 1.00000 1 1 1.00000 1 1

beta 0.23915 0 0 0.14617 0 0

Мы видим, как проявляется усадка в случае параметра сглаживания \(\beta\), который уменьшен до нуля MSEh, TMSE, MSCE и GPL, но оставлен нетронутым MSE и немного уменьшен в случае GTMSE. Эти различные оценки параметров приводят к различным траекториям прогнозирования и интервалам прогнозирования, что можно показать визуально:

par(mfcol=c(3;2), mar=c(2;2;4;1))

# Создание прогнозов

lapply(adamETSAANBJ, прогноз, h=10, interval="prediction") |>

# Сюжетные прогнозы

lapply(function(x, ...) plot(x, ylim=c(200,280); main=x$model$loss))

В результате должны получиться следующие сюжеты:

ADAM ETS на данных Бокса-Дженкинса с несколькими оценщиками

Анализируя рисунок, можно сделать вывод, что для этого временного ряда полезно сжатие параметра сглаживания \(\beta\): прогнозы ETS(A,A,N), рассчитанные с помощью MSEh, TMSE, MSCE и GPL, выглядят ближе к фактическим значениям, чем прогнозы MSE и GTMSE. Чтобы более точно оценить их производительность, мы можем извлечь меры погрешности из моделей:

sapply(adamETSAANBJ,"[[","accuracy") |>

round(5)[c("ME","MSE"),]

МСЭ МСЭ ГТМСЭ МСКЭ GPL

МЭ 3.22900 1.06479 1.05233 3.44962 1.04604 0.95515

МСЭ 14.41862 2.89067 2.85880 16.26344 2.84288 2.62394

В качестве альтернативы мы можем рассчитать меры погрешности на основе полученных прогнозов и функции из пакета:

measures()

greybox

lapply(adamETSAANBJ, forecast, h=10) |>

sapply(function(x, ...) measures(holdout=x$model$holdout,

forecast=x$mean,

actual=actuals(x$model)))

Что следует отметить в отношении многоступенчатых оценок, так это то, что они медленнее, чем обычные, потому что они требуют создания прогнозов на 1-(ч\) шагов вперед из каждого наблюдения в выборке. В случае функций прошедшее время может быть извлечено из моделей следующим образом:

гладкий

sapply(adamETSAANBJ, "[[", "timeElapsed")

Таким образом, многоступенчатые оценки потенциально полезны при прогнозировании и могут создавать модели с более точными прогнозами. Это происходит потому, что они накладывают сжатие на оценки параметров, делая модели менее стохастическими и более инертными. Но их производительность зависит от каждой конкретной ситуации и имеющихся данных, поэтому я бы не рекомендовал использовать их повсеместно.