Ольга Ведерникова про AI и данные

Откуда нейросеть всё знает?Нет, про общие вопросы понятно — модели обучили на огромных массивах открытых данных из интернета, книг, исследований и т.д. Недавно была даже новость, что Anthropic закупила миллионы бумажных книг и организовала чуть ли не целую фабрику по их оцифровке для обучения своих моделей.А вот откуда корпоративный ИИ знает про внутренние документы и данные компании, как может провести проверку бизнес-плана, составить договор или ответить на вопросы по продажам или внутреннему регламенту?Ведь модель на то и языковая, что сама по себе работает с текстом и не хранит внутри себя внутренние знания конкретной компании заранее. Она не «знает» ваши документы так же, как знает общие закономерности языка. Тем более не может сама по себе обратиться к корпоративной системе, найти нужный документ, сверить версии и проверить расчёты.Несколько лет назад меня ответ на этот вопрос удивил своей незамысловатостью и простотой. Даже разочаровал в какой-то степени – никакой романтики инженерной мысли.Идея оказалась в том, что перед тем, как отдать вопрос или задание модели, к исходному тексту просто добавляется нужная дополнительная информация.И модель получает на вход не только вопрос или задачу, но и всю необходимую информацию для подготовки ответа или решения — например, фрагменты тех самых регламентов, договоров, документации, данные из корпоративных систем и т.д. То есть она отвечает не только на основе самого запроса, а на основе специально собранного для неё контекста. И дальше модель работает уже с тем, что ей передали. Это может быть текст, таблица, выдержка из базы знаний, результат поиска, данные из CRM или ERP и т.д. Всё это называется контекстом. На первый взгляд здесь и правда как будто нет никакой сложной работы: давай модели то, что нужно, а дальше она сама всё сделает.Но главная сложность как раз в подготовке этого контекста.Вручную это сделать можно, но в корпоративной среде на массовом потоке такой подход быстро перестаёт работать: слишком много исто

Сапожник с сапогами - как ИИ помогает тем, кто анализирует данныеИИ классно программирует, но всё нужно проверять. А если всё проверять, то уходит больше времени и сил, чем если программировать самому. Проверять и исправлять чужой код (пусть и сгенерированный лучшим ИИ:) - то ещё удовольствие. В обработке и анализе данных всё чётко и понятно, шаг влево - шаг вправо, и всё разъезжается. И когда ИИ начинает самовыражаться или что-то предполагать (а это бывает всегда), - контролировать это приходится на каждом микроскопическом шаге. Это никому не нравится. Написали статью про то, как аккуратно применять ИИ в дата-инжиниринге, и что сделать, чтобы это имело смысл.https://blogs.epsilonmetrics.ru/ai-v-etl/

«Честный знак»: как внедрить маркировку и не перегрузить 1С«Честный знак» — это государственная система маркировки, которая присваивает товарам уникальные коды и отслеживает их движение по всей цепочке поставок.Для многих компаний это уже не просто «галочка» для регулятора, а вопрос устойчивой работы связки внутренней системы, например 1С:ERP, и государственной системы ГИС МТ.На первый взгляд такая интеграция выглядит как стандартная доработка 1С. Но на практике прямая интеграция 1С с внешними сервисами создаёт опасную зависимость. «Зависший» запрос к ГИС МТ может заблокировать работу пользователя в 1С, а для большого склада это уже может означать остановку отгрузок и переход на ручную обработку документов.Поэтому наш кейс интересен не самим фактом интеграции — таких проектов на рынке много. Интерес здесь в архитектурной идее: мы не стали перегружать 1С новой логикой, а вынесли всю работу с ГИС МТ в отдельный интеграционный слой.Внутри 1С остался только быстрый и понятный обмен. Для нас это общий принцип: когда в компании появляются новые задачи, мы по возможности не встраиваем всю новую логику в 1С, а выносим её в отдельный слой обработки.Теперь, когда я сканирую код «Честного знака» в магазине, я радуюсь покупке чуть больше: за этой простой проверкой стоит большая инженерная работа.Подробно разобрали этот кейс здесь: https://blogs.epsilonmetrics.ru/1s-i-chestnyj-znak-uskorit-markirovku/

Обаятельный и шустрый ИИ-агент, который серьёзно экономит бюджет на закупкахЕсть ИИ-агенты серьёзные, есть умные, есть смелые, есть весёлые и старательные. А есть — симпатичные, о которых именно в пятницу хочется рассказать:)! Наш кейс про поиск товаров по фотографии на китайских площадках — именно такой.В детских книжках у положительных героев часто есть сноровка. Это как раз про этот кейс. Смысл такой: закупщики в сетевых розничных магазинах постоянно анализируют разные площадки, и у них есть свои чаты, форумы и тд., где они общаются и делятся интересными находками.Работают в тандеме, но на разных скоростях:Скаут (глаза в полях): Он живет на выставках, например, в Гуанчжоу, бродит по рынкам Шэньчжэня или просто заходит к конкурентам. Его задача — найти «алмаз». Он делает фото на телефон прямо с полки или у стенда и отправляет его в рабочий чат.Закупщик (аналитика и бюджет): Он работает в офисе и получает этот поток фото. Он должен найти этот товар на 1688, Alibaba или Tmall, понять реальную цену, найти оригинал среди подделок и посчитать ROI.В общем, нюансы профессии, как говорится, долго объяснять.. И наш кейс тогда сразу станет серьёзным, а он не такой.В двух словах, между «скаут нашёл» и «закупщик проанализировал» — часы работы.Что даёт ИИ-агент?Для скаута: Сделал фото -> отправил в бот. Всё. Дальше работает ИИ.Для закупщика: Пока скаут идёт к следующему стенду, ИИ-агент уже «обошёл» китайские площадки. Он сам распознал товар по фото, нашел все лоты на 1688 и Alibaba, отфильтровал подделки и выдал готовую таблицу с ценами и рейтингами поставщиков.Когда кейс становится серьёзным?Наш симпатичный бот на деле решает бизнес-задачу. Когда закупщик получает не просто фото, а верифицированный отчёт от ИИ-агента, время на принятие решения сокращается в десятки раз.Это уже не просто «поиск по картинкам», а автоматизация процесса выбора поставщика, защита от контрафакта и экономия миллионов на этапе закупки. Идеальный слайд для инвестиционного комитета, верно? Читать: По

Какой ИИ нужен юридическому департаменту: кейс автоматизации подготовки процессуальных документовКогда мы работали над ИИ-системой для автоматизации судебных документов, внутри команды у неё довольно быстро появилось рабочее название — «Харви».Ассоциация понятная: если думаешь про идеального юриста, на ум сразу приходит Харви Спектер — блестящий, непобедимый адвокат-звезда из сериала «Форс-мажоры («Suits»).Но довольно быстро стало ясно, что наш проект — это не совсем Харви.Во-первых, имя Harvey уже занято коллегами из Кремниевой Долины. Одноимённый американский LegalTech-стартап на этой неделе подтвердил новый раунд на $200 млн при оценке $11 млрд. (увы, мы похожи только по смыслу, а не по миллиардам, но сейчас не об этом🙂).А во-вторых — что важнее — в реальной ежедневной работе юристу нужен не столько эффектный фронтмен, выступающий в суде, сколько надёжный тыл. Тот, кто держит под контролем весь массив деталей, быстро находит нужное и избавляет от необходимости начинать каждый документ с нуля.Поэтому нашему ИИ больше подошёл бы образ Донны — гениального и всезнающего ассистента, на котором на самом деле держится успех звёздного юриста.Наша система не ходит в суды, но забирает на себя огромный кусок реальной работы. Как именно работает ИИ-система:🔸разбирает входящие судебные документы;🔸извлекает из них юридически значимые данные;🔸опирается на нормативную базу и судебную практику компании;🔸собирает проект процессуального документа (например, за 15 минут вместо привычных 4-5 часов).Мы подробно разобрали этот кейс в новой статье. Внутри — архитектура, техническое решение, расчёт бюджета и ROI. https://blogs.epsilonmetrics.ru/ii-dlya-yuristov-sudebnye-dokumenty/

ML — это классика. Классика прикладного ИИ, затраты на которую быстро окупаются.Когда сегодня говорят про корпоративный ИИ, машинное обучение вспоминают всё реже.На слуху в основном LLM, ИИ-агенты и ассистенты на основе RAG.При этом у многих компаний до сих пор не решены базовые задачи — прогнозирование спроса, динамическое ценообразование и предиктивная аналитика. Хотя именно они напрямую влияют на финансовый результат — особенно в ритейле, финтехе, логистике и производстве.Часто бывает и так, что в компании уже работают десятки ИИ-ассистентов, есть ИИ Service Desk, а анализа данных как не было, так и нет. А он очень нужен.Если говорить о ритейле, то лучше всего это видно на маркетплейсах. Wildberries, Ozon и другие площадки сегодня — это уже не просто платформы для продаж, а гигантские поставщики данных. Они отдают колоссальный объём информации: воронки конверсий, CTR карточек, частотность поисковых запросов, тепловые карты складов, динамику ниши и данные по ценам и остаткам конкурентов.Для data-инженеров и ML-специалистов это настоящий клондайк: оцифровано почти всё. И если правильно использовать данные маркетплейсов вместе с другими данными, то можно ответить на вопросы, которые интересуют бизнес: что и сколько закупать, когда входить в сезон, где будет дефицит, а где спрос только начинает расти.Причём для селлеров это не просто интерес, а вопрос выживания. Ведь правила игры маркеплейсов становятся всё жёстче: растут комиссии, дорожают хранение и логистика, усиливается давление рекламных акций, а алгоритмы площадок могут быстро отправить карточку товара вниз в выдаче. В таких условиях без точного прогнозирования маржинальность быстро стремится к нулю — прибыль «съедается» затратами на хранение неликвида и штрафами за «пустые полки».Когда у компании в управлении 30 000 SKU в пяти категориях, категорийный менеджер физически не может отследить динамику каждой позиции.Поэтому выигрывает тот, кто использует данные и алгоритмы, чтобы предсказывать спрос, а не реагир

«Коллеги, а где почитать про кейсы внедрения ИИ?» — один из самых частых вопросов на профессиональных форумах.И это неудивительно: при всём объёме размышлений «о высоком» (будущее труда, исчезновение профессий, AGI и всё такое прочее) и при всех смелых прогнозах (например, глава Microsoft AI, недавно говорил, что уже в ближайшие 12–18 месяцев ИИ сможет автоматизировать работу «белых воротничков»), реальных внедрений ИИ, о которых можно предметно говорить, по-прежнему мало. А пишут о них – и того меньше.Большинство относится к довольно ограниченному кругу простых решений: чат-боты и ассистенты на базе RAG, голосовые агенты и агенты Text-to-SQL.Поэтому многие воспринимают ИИ довольно узко — как инструмент личной продуктивности. Написать письмо, проанализировать договор или КП, сделать резюме созвона, перевести документ, найти информацию и разложить её по ячейкам в таблице — всё это полезно, но локально.По таким незамысловатым примерам мне лично трудно понять, как именно ИИ заменит всех «белых воротничков», тем более в ближайший год-полтора.Такой ИИ помогает отдельному сотруднику работать быстрее, но почти не меняет экономику процесса в целом: стоимость операции не снижается, а пропускная способность бизнеса по-прежнему привязана к численности сотрудников.Системный эффект появляется тогда, когда ИИ встраивается в конвейер и берёт на себя не единичные задачи, а целые классы рутинных операций.Причём чем «скучнее» такие внедрения, тем лучше. Разнесение платежей в 1С, отчётность, ответы на вопросы на маркетплейсах, сравнение договоров, автоматизация закупок, обработка лабораторных исследований, подготовка проектной документации — всё это выглядит довольно приземлённо на контрасте с философскими разговорами про новое будущее.Мы заметили закономерность: там, где есть действующий процесс, ИИ начинает приносить самый понятный эффект за счёт его автоматизации.Ниже — наши кейсы, в которых ИИ решает конкретные рабочие задачи, с подробными разборами и цифрами:👉 https://resources.

Graph RAG: что реально даёт граф в RAG-системеБольше года назад мы написали статью про Graph RAG. С тех пор она стала самой читаемой в нашем блоге, а один раз даже привела нас на личную встречу с владельцем крупного издательства.После неё к нам пришло много вопросов: чем Graph RAG принципиально отличается от обычных RAG-систем, в каких случаях он действительно помогает и что нужно, чтобы это работало.За это время и сама тема Graph RAG заметно «повзрослела», а у нас накопились реальные внедрения, которые позволили на практике оценить её плюсы и минусы.Поэтому мы выпустили продолжение. В новой статье ответили на эти вопросы, показали, какие именно проблемы удалось решить, какие метрики улучшились после добавления графа знаний к обычному RAG и сколько стоит поддержка графовой структуры.Отдельно выделили 5 типов вопросов, с которыми обычный RAG справляется плохо, а Graph RAG — хорошо.Все примеры и цифры — из наших кейсов.Если ИИ всё ещё не понимает сложные вопросы из вашей предметной области, возможно, именно Graph RAG — самое эффективное решение из всей широкой палитры современных технологий.Вот статьи:1. Сначала — базовая:Graph RAG: как RAG, только c графом знанийhttps://blogs.epsilonmetrics.ru/graph-rag-kak-rag-tolko-c-grafom-znanij/2. Потом — прикладная:Graph RAG на практике: 5 типов вопросов, которые ломают обычный RAG (и как мы их решили)https://blogs.epsilonmetrics.ru/graph-rag-na-praktike/

И это всё о нём. О настоящем корпоративном ИИДля большинства бизнесов ИИ – это всего лишь направление в автоматизации, - решения должны быть окупаемыми и понятными. Как станок или швейная машина.И одновременно это - параллельная реальность. Какой уж тут станок, какая швейная машина! Романтизированный образ мыслей и представлений славной плеяды умников и умниц дата-сайентистов, фантастические планы прагматичных политиков и военных, сага о противостоянии Дарио и Трампа, многомиллионные контракты разработчиков, философские споры, китайские боевые гуманоидные роботы! И при всём при этом - интерес пользователей, которые решают житейские задачки или делают домашку. Пестроцветие идей и понятий, - и всё - про ИИ:)! Это часто сбивает с толку, когда нужно разобраться в прикладных возможностях ИИ для автоматизации.Неудивительно, что рассказать о корпоративном ИИ хочется в форме чёткой схемы. В статье я хотела показать саму структуру, в которой работает ИИ, – можно сказать, конструкцию из абстракций и очень приземлённой реальности. И простыми словами объяснить, как мы это понимаем.Описания в этой статье расположены по слоям: прочитав и разглядев эту структуру, можно познакомиться с важными для корпоративного ИИ понятиями, технологиями и их типами.https://blogs.epsilonmetrics.ru/arhitektura-korporativnogo-ii/А в кейсах - посмотреть, как это используется в конкретных проектах и реальных внедрениях ИИ в компаниях.https://resources.epsilonmetrics.ru/cases/

10 развилок на тернистом пути ИИ из пилота в продПилоты с ИИ сегодня любят все. Они быстро собираются, эффектно выглядят на презентациях и в годовых отчётах. Но когда дело доходит до промышленной среды, очарование рассеивается: бизнес требует окупаемость, ИТ не пускает в боевой контур, ИБ настаивает на переделке архитектуры, юристы просят зафиксировать ответственность, а финансисты — итоговую стоимость.Поэтому пилотов много, а промышленных внедрений — мало.Хит вопросов перед стартом ИИ-проекта:🔸Где будет размещена система: внутри контура, снаружи или и здесь, и там? 🔸Внутренние данные: как подключить корпоративную базу, не нарушая требования безопасности?🔸Ресурсы: откуда взять столько GPU? Если нельзя в облако, а своей инфраструктуры нет — что тогда?🔸Доверие и контроль: насколько мы можем верить модели и как её поддерживать?🔸Метод: просто промптить, строить RAG или сразу уходить в fine-tuning?🔸И главное — экономика: цена операции и ROI на масштабе.Ответить на них помогают «развилки» — точки выбора из типовых вариантов. Смысл развилок — собрать ИИ-систему, которая «вписывается» в условия и ограничения конкретной организации.Если кратко, то они помогают решить, как система будет устроена, сколько будет стоить и что нужно для контроля и эксплуатации:🔸Бизнесу нужна окупаемость, инновациям — «вау»-эффект, ИБ и ИТ — контроль. Пока эти три картины мира не сведены в один проект, внедрение не получится.🔸Экономика. То, что в пилоте стоило копейки, на промышленных объёмах может стать кратно дороже. Разброс цены одной и той же операции широкий: от долей цента до десятков центов и выше — в зависимости от модели, объёма данных на входе, количества шагов и требований к скорости в пиковые периоды. Плюс могут появиться ФОТ команды эксплуатации и другие неочевидные затраты.🔸Экономику нельзя «докрутить потом». Её нужно проектировать: считать не «токены», а стоимость выполненного бизнес-действия — и заранее закладывать несколько способов снижения стоимости. Например, определит