gonzo-обзоры ML статей

Подход к оценке прогресса в AGI от DeepMind. С Шейном Леггом в соавторстве. И с Ботвиником, правда он уже в Антропик перешёл.Measuring Progress Toward AGI: A Cognitive FrameworkRyan Burnell, Yumeya Yamamori, Orhan Firat, Kate Olszewska, Steph Hughes-Fitt, Oran Kelly, Isaac R. Galatzer-Levy, Meredith Ringel Morris, Allan Dafoe, Alison M. Snyder, Noah D. Goodman, Matthew Botvinick, and Shane LeggPaper: https://arxiv.org/abs/2605.28405Review: https://arxiviq.substack.com/p/measuring-progress-toward-agi-a-cognitiveCode: N/AModel: N/A# TL;DRЧТО сделали: Авторы разработали научно обоснованный фреймворк для оценки AGI, опирающийся на когнитивную психологию человека. Они разложили общий интеллект на когнитивную таксономию из десяти различных способностей (восемь базовых и две комплексные) и описали трёхэтапный протокол оценки. Это позволяет строить многомерные системные «когнитивные профили» моделей и сопоставлять их с репрезентативными результатами реальных людей.ПОЧЕМУ это важно: Современное тестирование ИИ страдает от загрязнения бенчмарков (data contamination), фокуса на узких академических задачах и субъективных определений интеллекта. Новый фреймворк предлагает перейти от бинарных оценок моделей к непрерывному картированию когнитивных способностей на системном уровне. Это даёт исследователям и регуляторам строгую эмпирическую методологию для выявления уязвимостей в безопасности, отслеживания реального прогресса и выстраивания осознанного регулирования.Для практиков: Для лидеров индустрии и разработчиков эта работа знаменует переход от оценки моделей по статичным академическим тестам к тестированию ИИ как динамических интегрированных систем. Вместо того чтобы объявлять модель «сильным ИИ» на основе одного балла, фреймворк оценивает, насколько хорошо ИИ-система (включая её инструменты и обвязку (scaffolding)) справляется с десятью ключевыми аспектами человеческого познания — такими как планирование, обучение и социальное взаимодействие — по сравнению с репрезентативной

А что, так можно было?Variable-Width Transformers Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim Paper: https://arxiv.org/abs/2606.18246 Review: https://arxiviq.substack.com/p/variable-width-transformers-formerCode: https://github.com/ZhaofengWu/variable-width-transformers Model: N/A # TL;DRЧТО сделали: Встречайте ><former (bowtie-former) — декодерный трансформер переменной ширины, который отказывается от классического дизайна с одинаковым размером скрытого представления на всех слоях. Сеть реализует профиль ёмкости в форме галстука-бабочки (или песочных часов): первые и последние слои остаются широкими, а средние сужаются. Меняющаяся размерность бесшовно контролируется с помощью беспараметрического механизма изменения размерности residual stream (carry-forward), который просто копирует неактивные координаты дальше по сети, избавляя от необходимости обучать проекционные слои.ПОЧЕМУ это важно: Эта работа ставит под сомнение фундаментальное архитектурное допущение о том, что размерность скрытого состояния трансформера должна быть неизменной на всех слоях. Физическое сужение средних слоёв работает как структурный регуляризатор, предотвращая коллапс представлений («компрессионные долины») и балансируя нагрузку на активации. Эмпирические результаты показывают, что ><former снижает общие вычислительные затраты на предобучение до 22% (в FLOPs) и на 15% уменьшает объём KV-кэша и расходы на ввод-вывод при инференсе, стабильно превосходя классические трансформеры аналогичного объёма по качеству на downstream-задачах.Для практиков: Использование переменной ширины слоёв позволяет получить более эффективную модель при том же числе параметров. Механизм переноса неактивных каналов не требует обучения дополнительных весов. Однако для полноценного ускорения в реальном времени на современном железе (GPU/TPU) потребуются специализированные CUDA/Triton-кернелы, так как стандартные компиляторы оптимизированы под статические тензоры одинаково

Universal (Loop) Transformers приходят в модели мира.Looped World ModelsHongyuan Adam Lu, Z.L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haoran Xu, Hao Yang, Ronglai Zuo, Tongda Xu, Yonghao Li, Jian Chen, Hebin Wang, Zeyu Gao, Yang Li, Wei Zhao, Qimin Zhong, Siqi Liu, Yumeng Zhang, Leyan Cui, Zhangyu Wang, Wai LamPaper: https://arxiv.org/abs/2606.18208Review: https://arxiviq.substack.com/p/looped-world-modelsCode: N/AModel: N/A# TL;DRЧТО сделали: Авторы представили Looped World Models (LoopWM) — новую архитектуру трансформеров с рекуррентной глубиной для моделирования мира. LoopWM использует блок трансформера с общими весами, который итеративно уточняет латентные репрезентации среды. Модель опирается на математически гарантированный сжимающий механизм удержания состояния (state retention) и адаптивную стратегию раннего выхода. Идею расширили концепцией «отложенного декодирования» (Deferred Decoding, LoopWM-DD), где роллаут траектории действий происходит исключительно в латентном пространстве, а декодирование откладывается до самого последнего шага.ПОЧЕМУ это важно: Классические модели мира ограничены жёстким компромиссом: для моделирования длинных горизонтов планирования требуются глубокие, тяжёлые по параметрам архитектуры. Однако они склонны к накоплению ошибок роллаута и дороги в развёртывании. LoopWM предлагает итеративную латентную глубину как ортогональную ось масштабирования, позволяя повысить эффективность использования параметров до 100x. Модель LoopWM с 1 миллиардом параметров обходит огромные проприетарные системы, открывая путь к запуску стабильных симуляторов физики на робототехнических Edge-платформах с жёсткими ограничениями по питанию и времени работы.Для практиков: Архитектура позволяет гибко регулировать баланс между точностью и скоростью вычислений на этапе инференса без переобучения модели. За счёт переноса роллаутов в

Вот вам прекрасное субботнее, про constructor theory (писал про неё тут: https://t.me/gonzo_ML/3086).Tests of constructor theoryChiara Marletto, David Deutsch, Vlatko VedralPaper: https://arxiv.org/abs/2606.07352v1Review: https://arxiviq.substack.com/p/tests-of-constructor-theoryCode: N/AModel: N/A# TL;DRЧто сделали: Представили обзор экспериментальной базы и теоретических основ constructor theory. Это новая физическая метатеория (теория о теориях), которая предлагает описывать мир не через траектории объектов и уравнения движения, а через фундаментальные принципы: какие преобразования в природе в принципе возможны, а какие — невозможны.Почему это важно: Такой подход даёт строгий математический инструмент для решения ключевых проблем фундаментальной физики без привязки к конкретным динамическим моделям. Он позволяет косвенно проверять квантовую гравитацию без поиска отдельных неуловимых гравитонов, формулировать точные законы термодинамики для любых масштабов и описывать появление жизни на языке фундаментальной физики.Конструировать тут: https://t.me/gonzo_ML_podcasts/4085

Что-то происходит