
Еще одно важное событие на этой неделе — 18-й семинар по экономическим исследованиям Банка России, РЭШ и НИУ ВШЭ, который в этом году был посвящен взаимодействию искусственного интеллекта и экономики. Было интересно! Три моих личных хайлайта:Во-первых, результат Александра Елисеева, который придумал, как проверить гипотезу о том, что ИИ жульничает при прохождении тестов на качество прогноза. Я уже писал о проблеме использованиея ИИ для прогнозирования. Она состоит в том, что для таких моделей не существует тестовых выборок:Как мы обычно проверяем качество прогноза в машинном обучении или эконометрике? Мы делим данные на обучающую выборку (например, 2014–2024 годы) и тестовую выборку (например, 2025 год). Сначала оцениваем параметры модели на обучающей выборке, не «показывая» ей тестовые данные. Затем смотрим, насколько хорошо модель предсказывает, что будет в 2025 году. И сравниваем модельный прогноз с фактическими данными. По сути, это единственный честный способ проверить, способна ли модель предсказывать неизвестное ей будущее, а не просто хорошо описывать прошлое.Проблема в том, что генеративные модели ИИ обучены на огромных массивах данных из интернета. Мы не можем гарантированно «скрыть» от них тестовую выборку. Даже если мы попросим ИИ не «подглядывать» в статистику 2024–2025 годов, он может нас обмануть.Остроумный тест с подменой дат, который предложил Александр, довольно убедительно показывает: да, ИИ жульничает. Например, если вы попробуете попросить его построить прогноз экономического роста на 2020 год, используя исключительно макроэкономические данные до 2018 года, ИИ удивительным образом «угадает», что в 2020 году случится пандемия и соответствующим образом скорректирует своё предсказание.Во-вторых, работа Анны Гусевой и Алины Евстигнеевой о том, как использовать ИИ-агентов для предварительной проверки коммуникации центральных банков. Ошибки в формулировках могут стоить регулятору больших потерь. При этом проверять качество коммуникации на фокус-группа






