Финансовый аналитик · Методология
Оценка точности за каждым прогнозом
Оценка точности — не маркетинговая цифра, а ваш собственный послужной список. Каждый прошлый прогноз сверяется с тем, что позже подтвердили ваши книги, и строка появляется только тогда, когда этот список её заслужил. Эта страница объясняет, как считается оценка, когда мы отказываемся её показывать и чего мы никогда не утверждаем.
Оценка
Сверяется с вашими месяцами, а не с бенчмарком
За бейджем нет подобранных демо-данных. Прогноз каждого месяца проигрывается ровно так, как он был сделан — только с тем, что модель знала тогда, — и сравнивается с фактом следующих месяцев, вплоть до 3 вперёд. Без знания задним числом, без ретуши.
1
Заморозить
Каждый месячный прогноз хранится как замороженный снимок: во что верила модель и с какими данными в тот день. Снимки никогда не правятся задним числом.
2
Проиграть заново
Когда закрывается новый месяц, старые снимки проигрываются против него: что говорили об этом месяце прогнозы, сделанные месяц, 3 и шесть месяцев назад, — и что произошло на самом деле?
3
Оценить
Бейдж показывает картину на горизонте 3 месяцев и появляется, только если прогнозная выручка отклонилась от фактической не более чем на 15% — именно это значит «точность прогнозов 85%+». Не дотянули до планки — бейдж прячется, а не хвастается.
4
Направление промаха
Помимо размера промаха мы отслеживаем его крен. Если прогнозы систематически завышены, дашборд говорит об этом прямо — «ваши прогнозы выручки были на 4% оптимистичнее факта за последние 9 месяцев» — фраза, которая нужна слишком радужному плану.
Честное «нет»
Когда оценки нет, мы так и говорим
Показатель надёжности, посчитанный на слишком короткой истории, — выдуманная цифра. Пока оценённых месяцев меньше 6, бейдж не появляется вовсе — дашборд показывает «точность ещё набирается» вместо процента-заглушки.
-
Меньше 6 месяцев бэктеста → никакого процента. Оценка начинает существовать тогда, когда существуют доказательства.
-
Месяцы с нулевой базой сравнения отбрасываются, а не угадываются — процентный промах относительно нуля не определён, поэтому такой месяц исключается, а знаменатель не выдумывается.
-
Каждая опубликованная цифра несёт размер выборки. Вы всегда читаете «за N месяцев» и никогда — голый процент без истории за ним.
Измеренный интервал
Насколько широким обычно был промах
Одна оценка говорит, как часто прогнозы попадали; интервал — насколько сильно они обычно отклонялись. Из той же воспроизведённой истории мы берём каждое отклонение факта от прогноза и читаем его 10-й и 90-й перцентили — 80%-ю полосу, которую реально охватывали ваши собственные ошибки. Она показывается по каждой метрике и каждому горизонту — рядом с числом, к которому относится.
-
Полоса измерена, а не смоделирована: это разброс ваших собственных прошлых промахов в том же walk-forward-воспроизведении, которое считает бейдж, — без допущений о распределении и без чужих бенчмарков.
-
Паре «метрика × горизонт» нужно не меньше 8 оценённых прошлых прогнозов, прежде чем интервал будет показан. Ниже порога дашборд говорит «измеряем» — хвосты, прочитанные по нескольким точкам, были бы выдуманным диапазоном.
-
Середина полосы — ваш реальный уклон: если прошлые прогнозы систематически занижали или завышали, полоса смещена относительно прогноза, а не притворяется, что ошибки были симметричны.
Независимая проверка
Две модели и один путь эскалации к человеку
Ваши цифры считает детерминированный код — никогда не языковая модель. Письменный анализ составляет один ИИ-аналитик, а затем его оспаривает вторая, более сильная модель Claude в роли состязательного проверяющего, чья задача — атаковать черновик: каждое утверждение должно соответствовать приведённым цифрам.
-
Проверяющий состязателен по замыслу: это отдельная, более сильная модель Claude с собственной инструкцией атаковать черновик. Если он и аналитик расходятся, решает человек — никогда не третья модель.
-
Если модели расходятся в чём-то существенном, наружу не уходит ничего — вопрос передаётся человеку на решение.
-
Арифметика выполняется в коде и цитируется до исходных записей; модели пишут фразы, а не считают ваши цифры.
Прослеживаемость до источника
Каждая цифра раскрывается до своего происхождения
Каждая цифра в брифинге, прогнозе или нарративе ведёт к записям, из которых она посчитана, — проводкам, счетам, подпискам — вместе с разобранным расчётом. Цифра, которая не может процитировать источник, помечается как оценка, а не выдаётся за факт.
Границы
Чего мы никогда не утверждаем
-
Надёжность в прошлом, а не обещание
Оценка точности подытоживает послужной список на сегодня. Она описывает прошлое и не гарантирует следующий месяц.
-
Связь, а не причина
Когда результат следует за решением, мы описываем его как то, что произошло за период, в котором менялось и многое другое, — и никогда как доказательство, что причиной было решение.
-
Диапазоны, а не оценки стоимости
Показатели стоимости компании даются диапазонами при явно названных допущениях. Это подспорье для планирования — никогда не оценка стоимости, не экспертиза и не инвестиционный совет.
-
Только чтение, всегда
Финансовый аналитик читает ваши книги. Он никогда не делает проводок, не закрывает период и не двигает деньги.
Посмотрите прогноз, который оценивается
Образец показывает сам 13-недельный прогноз денег — тот же движок и те же честные пропуски. Оценку образец показать не может: она появляется только тогда, когда ваши недели и месяцы сверены с вашими книгами.