Рандомные галлюцинации

📣 CFP AIST 2026Приглашаем подать статью на AIST 2026 – 13-ю международную конференцию по анализу изображений, социальных сетей и текстов.В этом году конференция пройдёт 16–18 октября 2026 в Назарбаев Университете в Астане 🇰🇿✍️ Для NLP-аудитории особенно релевантны темы:– LLM / RAG / text mining– social network analysis– multimodal AI, image/video analysis– data mining и machine learning applicationsЧто важно: участие в конференции и публикация принятых статей полностью бесплатные. Основные статьи будут опубликованы в Springer LNCS, companion volume – в CCIS.🗓 Дедлайны– Abstract: 1 июля 2026– Full paper: 10 июля 2026– Notification: 10 августа 2026– Camera-ready: 18 августа 2026🔗 Чат конференции: https://t.me/aistconference🔗 CFP: https://aistconf.org/calls/papers/🔗 Submission: https://openreview.net/group?id=aistconf.org/AIST/2026/ConferenceВопросы можно задать на org@aistconf.org или в чате конференции.

📜Multimodal Evaluation of Russian-language ArchitecturesМультимодальный бенчмарк, содержащий текст, изображения, аудио и видео, учитывающий культурно‑языковую специфику русского и предлагающий универсальную таксономию мультимодальных способностей языковых моделей📜Detecting Overflow in Compressed Token Representations for Retrieval-Augmented GenerationАвторы предлагают механизм обнаружения случаев, когда компрессия входной последовательности удаляет существенную информацию📜Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function CallingАвторы используют GRPO для улучшения Dialog State Tracking в условиях небольшого количества обучающих данных, показывая, что такой подход позволяет превзойти предыдущие методы даже при меньшем объёме обучающих данных

🚀 Первый день EACL 2026 в Рабате, Марокко!Друзья, сегодня стартовала европейская конференция EACL в солнечном Рабате! Как всегда, буду подробно освещать самые интересные работы по NLP. Начну с краткого обзора работ от наших коллег.📜Wikontic: Constructing Wikidata-Aligned, Ontology-Aware Knowledge Graphs with Large Language ModelsWikontic — многошаговый конвейер построения компактных, онтологически согласованных с Wikidata графов знаний из открытых текстов, который достигает высокого покрытия ответов в многошаговых QA‑задачах при существенно меньших затратах токенов📜DRAGOn: Designing RAG On Periodically Updated CorpusDRAGOn — методология проектирования RAG‑бенчмарков на периодически обновляемых корпусах, сочетающую автоматическую генерацию вопросов‑ответов по извлечённому графу знаний(продолжение следует)

Когда встреча прошла, а заметок — ноль? Команда NLP из НГУ придумала, как спасти вас от этой проблемы. Представляем Pisets — инструмент для конспектирования лекций, интервью и докладов, где стандартные ASR‑модели вроде Whisper или WhisperX часто выдают галлюцинации.🧠 Что внутри?Pisets — это пайплайн из нескольких моделей:1️⃣ Wav2Vec2-сегментер: на длинном аудио сначала выделяются участки, где вообще есть речь2️⃣ AST (Audio Spectrogram Transformer) отбрасываются ложные «речевые» сегменты3️⃣ Whisper выдает финальную транскрипцию с пунктуацией на отфильтрованные и размеченные сегментыРабота была представлена на NAACL 2025 в Industry Track и получила положительные отзывы🔗 arXiv💻 Код👍 Если понравилась работа — можно поддержать авторов upvote’ом в Hugging Face Daily Papers🌐Рандомные галлюцинации

🚀 MedGemma 1.5 4B от Google: мультимодалка для медицины!Google Research выпустил апгрейд открытой модели MedGemma 1.5 4B — компактный генеративный ИИ для здравоохранения. Работает с текстом + изображениями: высокое разрешение MRI/CT, серии рентгена грудной клетки, локализация анатомии и разбор меддокументов. Задавай вопросы по снимкам — получай результат. Звучит как идеальный ассистент рентгенолога 👨🏻‍⚕️.💊Особенности4B параметров — запускается локально, без отправки чувствительных данных в облако.Релиз MedASR — ASR для преобразования речи в текст специально для медицинского домена.🥇БонусХакатон MedGemma Impact Challenge на Kaggle с призами $100k. Опиши проблему (на основе одного из 4 сценариев или придумай свой сценарий), оцени эффект и реализуемость. Получи приз.🧠ВыводыЧто вообще всё это значит? Большие медицинские модели уже давно есть у компаний: возьмите любую проприетарную мультимодальную модель общего назначения — она с приличным качеством понимает CT/MRI-снимки. Google идёт дальше: выкладывают небольшую модель, обученную под 4 сценария использования, и запускают хакатон, на котором предлагают придумать проблемы под эти сценарии или новые. В скором времени нас ждёт буст в использовании LLM для медицинских кейсов.🌐Рандомные галлюцинации

Как мы знаем, многократная генерация и majority vote — это надёжный, но вычислительно затратный способ получить фактологичную генерацию (self-consistency). Авторы статьи Confidence Improves Self-Consistency in LLMs из Google предложили подход под названием Confidence-Informed Self-Consistency (CISC), где происходит взвешенный majority vote на основе confidence модели.​⚙️Чем отличаются CISC от простого self-confidence1️⃣ Оба метода получают множество генерации2️⃣ При self-consistency просто выбирается наиболее часто встречающийся ответ3️⃣ CISC добавляет self-assessment step, где каждой генерации модели назначается уверенность (confidence)4️⃣ Для CISC выбирается ответ путём взвешенного majority vote на основе self-assessment💻Что использовалось в качестве self-assessment1️⃣ Response Probability — нормализованная вероятность всей генерации2️⃣ Verbal Confidence мы просим LLM оценить уверенность в ранее сгенерированном выводе3️⃣ P(True) мы просим модель оценить уверенность в бинарном формате (либо 0, либо 1) и вычисляем вероятность, которую модель присваивает токену 1📦 Бенчмарки и МоделиGSM8K, MATH, MMLU-Pro, Big-Bench-HardGEMMA2, QWEN2.5, Mistral📈РезультатыМетод P(True) даёт наилучшие результаты, обеспечивая среднее сокращение вычислительных затрат на 41% и 46% при бюджете в 5 и 10 генерации соответственно.🌐Рандомные галлюцинации

Итак, как мы знаем, галлюцинации можно определять на уровне всего респонса, на уровне спанов и на уровне атомарных фактов. С галлюцинациями на уровне всей генерации понятно, но как обстоят дела с поспановыми и на уровне клемов. В работе MUCH: A Multilingual Claim Hallucination Benchmark сделан шаг вперед: от поспановых к формированию «клеймов», но все еще на уровне спанов.📜О чём статьяАвторы делают попытку перейти к детекции галлюцинаций на уровне клеймов, но при этом оставаться на уровне спанов, чтобы можно было применять методы оценки неопределенности (UQ). Клеймами они называют спаны внутри генерации (на картинке).⚙️Как работает пайплайн1️⃣ В качестве основы для датасета используются данные из соревнования Mu-SHROOM только для English, French, Spanish and German — далее будет понятно, почему только для этих языков2️⃣ С помощью инструмента на основе правил much_segmenter генерация разбивается на спаны, которые авторы называют клеймами. Правила применяются только к вышеуказанным языкам3️⃣ С помощью GPT-4o GPT-4.1 и контекста из Википедии (аналогично PsiloQA), происходит аннотация каждого клейма-спана4️⃣Применяют различные методы UQ в частности CCP, SAR, Maximum Likelihood, Token Likelihood, Token Entropy для получения UQ всего спана📈Результаты1️⃣В качестве схемы аггрегации лучше всего сработало произведение UQ всех токенов клейма 2️⃣Метод CCP показал себя лучше всех, но не сильно. Max Likelihood получил ROC-AUC 0.772 против 0.732 для CCP, однако вычислительно он значительно более эффективен🌐Рандомные галлюцинации

«A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs»Здесь авторы представляют предобученные головы неопределённости (UQ heads) — дополнительные модули, которые можно подключить к различным LLM для оценки уверенности в ответах. Эти головы обучаются на признаках внимания и вероятностях токенов, а их архитектура позволяет эффективно выявлять галлюцинации на уровне утверждений.Полученные UQ heads показывают state-of-the-art результаты на нескольких наборах данных, хорошо обобщаются на новые языки и модели (включая Mistral, Llama и Gemma 2).📍 Hall C Session 13🕓 Fri. Nov 7 10:30–12:00📎4532-Main

Продолжаю описывать статьи, принятые на EMNLP«Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models»Работа посвящена оценке неопределённости в генерации LLM — важной задаче для выявления галлюцинаций и недостоверных ответов. Авторы предлагают новый способ обучения модели безусловной неопределённости, которая учитывает взаимозависимости между шагами авторегрессионной генерации. Для этого они используют признаки из attention весов и вероятностей на каждом шаге, а также предлагают двухэтапную процедуру обучения с рекуррентными признаками.Результат — значительное повышение качества selective generation, где модель должна «замолкать», если не уверена.📍 Hall C Session 13🕓 Fri. Nov 7 10:30–12:00📎4520-Main

Несколько дней осталось до EMNLP 2025 в Сучжоу 🇨🇳. В этом посте я расскажу о наших статьях, принятых на конференцию. Начну с двух работ по адаптивному RAG. Адаптивный RAG позволяет модели обращаться к внешним источникам только тогда, когда собственных знаний недостаточно.1️⃣«LLM-Independent Adaptive RAG: Let the Question Speak for Itself»В этой работе мы показали, что можно делать адаптивный RAG без доступа к внутренним представлениям модели для оценки ее неуверенности — по внешним признакам вопроса: типу вопроса, частоте упоминания сущностей и др. Несмотря на простоту подхода, он часто не уступает методам на основе неопределённости. Минус — для качественной работы нужно учитывать много внешних факторов📍Hall C Session 5 🕓 Wed. Nov 5 16:30-18:00📎930-Main2️⃣«Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA»В этой работе мы использовали единственный признак вопросов — их вечнозелёность для адаптивного RAG. Вечнозелёные вопросы — это такие, на которые ответы не зависят от времени (например, «Кто был первым президентом США?»). Для таких вопросов RAG не нужен — достаточно знаний самой LLM. Об этом подробнее я писал на Хабр📍 Hall C Session 11 🕓 Thu. Nov 6 16:30-18:00 📎923-Main3️⃣ «When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA»В этой работе мы предложили метод генерации синтетических данных для обучения моделей детекции галлюцинаций на уровне токенов. С помощью модели, обученной на нашем датасете, мы заняли призовое место в соревновании SHROOM по постановочной детекции галлюцинаций в многоязычном сеттинге.📍 Hall C Session 3 🕓 Wed. Nov 5 13:00-14:00📎2080-Find4️⃣«When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs»В статье проведено сравнительное исследование пяти методов повышения устойчивости LLM к изменениям формата и пунктуации в промптах. Авторы сравнили fine-tuning и in-context learning на 8 моделях из семейств Llama,

Сегодня, 25 октября, в стенах НИУ ВШЭ проходит одно из ключевых событий российской AI-сцены — постерная сессия Fall into ML 2025, организованная Институтом искусственного интеллекта и цифровых наук ФКН ВШЭ. На сессии представлены работы исследователей, принятые на ведущие международные конференции уровня A* в 2025 году — NeurIPS, ICLR, ACL, EMNLP, CVPR, SIGIR и др.Среди постеров есть работы и с нашим участиемПостер 9️⃣When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQAEMNLPElisei Rykov, Kseniia Petrushina, Maksim Savkin, Valerii Olisov, Artem Vazhentsev, Kseniia Titova, Alexander Panchenko, Vasily Konovalov, Julia BelikovaПостер 3️⃣9️⃣When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMsEMNLPMikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg SomovПостер 4️⃣2️⃣ Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QAEMNLPSergey Pletenev, Maria Marina, Nikolay Ivanov, Daria Galimzianova, Nikita Krayko, Mikhail Salnikov, Vasily Konovalov, Alexander Panchenko, Viktor MoskvoretskiiПостер 6️⃣6️⃣ LLM-Independent Adaptive RAG: Let the Question Speak for ItselfEMNLPMaria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor MoskvoretskiiПостер 9️⃣8️⃣ SPY: Enhancing Privacy with Synthetic PII Detection DatasetNAACL SRWMaksim Savkin, Timur Ionov, Vasily KonovalovПодходите с 16-18 не опаздывайте. Постерная сессия это прекрасная возможность познакомиться с нашими исследованиями и с нами лично.🌐Рандомные галлюцинации

🚀 Совсем скоро начнётся EMNLP — одна из самых значимых конференций в NLP. Для многих молодых учёных это первая крупная конференция, и после собственного доклада часто кажется, что «миссия выполнена». Но на самом деле главное — не только выступить, но и грамотно прожить саму конференцию.💡 Как провести EMNLP осознанно и с пользой1️⃣ Изучите расписание конференции заранее. Оно обычно публикуется за пару недель — отметьте интересные постеры и орал-сессии.2️⃣ Выберите доклады, близкие вашим темам. Используйте поиск по ключевым словам или даже ChatGPT, чтобы ничего не упустить.3️⃣ Посмотрите эти работы на arXiv. Пробегитесь глазами по статьям, сформулируйте 1–2 вопроса авторам. Это отличный способ для начала диалога.4️⃣ Приходите заранее на постерные сессии. Познакомьтесь с соавторами лично — часто именно там рождаются коллаборации и интересные идеи.5️⃣ Если приехали с группой, распределите зоны. Пусть каждый отвечает за свою часть постеров — так охватите больше интересных людей.6️⃣ Возьмите с собой флайеры. Коротко о ваших статьях на конференции. Когда кто-то заинтересуется вашим стендом — дайте ему флайер, чтобы он мог узнать больше.📚 Конференции — это не отдых, а большая работа. Но если вы мечтаете о научной карьере и подходите к ней системно — EMNLP может стать мощным рывком вперёд.📜 Программа конференции🕒Время проведения: 4 Ноября — 9 Ноября 🇨🇳 Место проведения: Сучжой, Китай🌐Рандомные галлюцинации

Сегодня расскажу про нашу свежую статью «When Models Lie, We Learn: Multilingual Span-Level Hallucination Detection with PsiloQA», которую приняли на EMNLP 🎉Кстати, если работа вам понравилась прошу проголосовать за нее на HuggingFace Daily Papers.В работе мы предложили метод генерации синтетических данных, содержащих естественные (не инсценированные) галлюцинации, размеченные на уровне спанов. Но ценность этой работы — не только в содержании, а ещё и в том, как она родилась.Я давно убеждён: NLP — это прикладная область. А в прикладных областях особое значение имеют соревнования — от Kaggle до академических вроде SemEval, DSTC и других. Участие в них позволяет:1️⃣ прокачивать технические навыки2️⃣ понимать, что коммьюнити считает актуальным и сложным3️⃣ находить идеи, достойные статьиЭта работа — как раз результат одного из таких опытов.📜О чём статьяМы разработали пайплайн для генерации датасета с естественными галлюцинациями. Мы не просили LLM намеренно ошибаться (как в HalluEval), а детектировали реальные примеры. Так мы получили многоязычный датасет PsiloQA для поспановой (span-level) детекции галлюцинаций и протестировали на нём разные подходы.⚙️Как работает пайплайн1️⃣ Берём пару первых абзацев статьи из Википедии (или любого источника знаний). 2️⃣С помощью GPT-4o получаем вопрос–ответ для этого контекста.3️⃣ Просим открытую модель ответить на этот же вопрос. Получаем ответ-кандидат.4️⃣ GPT-4o, имея контекст, вопрос, исходный ответ и ответ-кандидат, размечает галлюцинации в кандидате.5️⃣ Делаем постфильтрацию (убираем пустые или отказные примеры).📈Результаты1️⃣Пайплан позволяет генерировать датасеты разных доменов, размеров и языков с минимальными затратами.2️⃣Все галлюцинации — естественные, LLM никто не просил галлюцинировать намеренно. Таким образом, для детекции можно использовать методы на основе внутренних представлений моделей, тем более что мы добавили инфрмации о модели.3️⃣Датасет подходит для тестирования LLM на множестве языков.4️⃣Кросспроверка по

Давно мы не разбирали статьи на канале — пора исправлять это упущение. Сегодня на разборе работа с броским названием «Do Androids Know They’re Only Dreaming of Electric Sheep?» (ACL 2024 Findings).📜О чем статья?Авторы исследуют задачу детекции галлюцинаций на уровне отдельных спанов и на уровне всего ответа при условии что есть доступ ко внутренним состояниям модели. Важно: рассматриваются grounded-сценарии, то есть все необходимые знания уже есть во входе модели. В качестве задач берут:1️⃣ абстрактивное суммирование,2️⃣ диалог, опирающийся на знания,3️⃣ data‑to‑text генерацию.🔬МетодПостановка явно «просится» под пробинг скрытых представлений модели. Проверяют три варианта:1️⃣ линейный пробинг вектора текущего токена,2️⃣ attention‑pooling по всем токенам до текущего,3️⃣ ансамбль этих двух подходов.📊Результаты1️⃣ Лучшая точность достигается, если брать скрытые представления слоев где‑то между 10–20‑м слоями.2️⃣ Ансамблирование по всем слоям почти не добавляет качества → гипотеза о «разных типах галлюцинаций на разных слоях» не подтвердилась.3️⃣ Llama‑2‑7B и Llama‑2‑70B показывают схожие результаты → маленькая модель вполне достаточна.4️⃣ Не наблюдается трансфера между датасетами → универсального «сигнала галлюцинаций» для всех задач нет.#paper🌐Рандомные галлюцинации

AI360 Weekend. Диалог поколений в мире математики и ИИ.В выходные принял участие с коллегами из AIRI и Сбера в дискуссии на тему «ИИ и справедливость: новая экономика, новая конкуренция». Это был очень интересный диалог с новым поколением, со студентами, которые будут определять повестку в науке и индустрии в нашей стране через несколько лет, стоять у истоков новых технологий, закладывая фундамент сегодня. 📎Программа «ИИ 360» разработана экспертами Сбера, ШАДа и вузов-участников — ведущими исследователями и разработчиками в области ИИ.🔥Самое продуктивное общение было в формате random coffee. Как и обещал - собрал несколько статей нашего дружного коллектива AIRI RSI + Safe AI Lab AIRI-MTUCI, которые могут интересны для совместных исследований. Hijacking Aligned Compact Models via Stealthy Automation. Проверяем на прочность ллмки промптами на редких диалектах арабского языка.Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy. Теоретическое обоснование и границы сохранения приватности цифрового следа в сети. Geopolitical biases in LLMs: what are the “good” and the “bad” countries according to contemporary language models. Изучаем, как бороться с предвзятостью в ответах на вопросы про исторические события.I Have Covered All the Bases Here. Совершенствуем рассуждающие большие языковые модели с помощью разреженных автокодировщиков.Spread them Apart: Towards Robust Watermarking of Generated Content. Невидимая и устойчивая маркировка генеративного контента.➡️В канале специально открыл direct, чтобы можно было списаться и найти общие темы.#ИИ360 #ИскусственныйИнтеллект #Сбер #Образование #Наука #AIRI #SafeAI🌐The Oleg