Пробовали Groq или Cerebras для инференса?Скорость генерации там такая, что привычный трейдофф "размер модели vs скорость ответа" исчезает. Обычно для быстрого инференса приходится брать модель поменьше. А тут берёшь большую и всё равно получаешь быстрые ответы.Причём:1. Можно взять модель побольше без потери в latency2. Можно позволить себе test-time compute: chain-of-thought, best-of-n, больше токенов на ризонингИз минусов — моделей поддерживают совсем немного и цена чуть выше. Но попробовать однозначно стоит ⌨️
Похожие каналы
Все →Последние посты
Советую. У меня там друган работает, публикуется на А* конференции, — заработал на пылесос дайсон и блочный лук
🎄Новогодние вакансии в дуно 🎄Вы часто спрашивали, как попасть к нам в команду. И мы вас услышали! В этот раз у нас настоящий новогодний апдейт: мы открываем набор в основную команду 🎁Открыты две вакансии — выбирайте, что ближе: хотите заниматься рисерчем и растить хирш или прикладными проектами и растить метрики? Теперь можно и то, и другое.🪖 Research Engineer в области RLВы будете работать над практическими R&D-проектами, от робототехники и управления беспилотным транспортом до рекомендательных систем и макроэкономического моделирования.🧪Research Scientist в области RLВы будете заниматься написанием статей на top-tier конференции (NeurIPS, ICLR, ICML), проводить эксперименты и предлагать новые исследовательские идеи.Узнать подробности и податься можно по ссылкам выше.- - —@dunnolab

Claude до сих пор не поддерживает structured output?В 2025 это must haveДа, claude сможет работать с простыми JSON схемами на выходе.НО если у меня вложенная структура? Десятки разных enum типов? Ограничение на длину списков и тд?Показывать пример JSON-а в промпте? — this is so 2023К счастью, хотя бы tool use у них со строгой схемой.Еще и API-шка супер дорогая, еще и кредиты (покупные!) сгорают за год. Они у меня так сожгли пару десятков долларов 😱Кто как Claude использует? 4.5 sonnet в курсоре? Как-то еще?

Попался, Atlas Chrome!Залогинился в твиттер через новый браузер от OpenAI — Atlas.И мне твиттер вот такой имейл прислал 😰

Qwen3-VL Наконец вышли завершающие размеры в серии Qwen3-VL — 4B и 8B. В двух форматах: instruct и thinking И в двух точностях: bf16 и fp8 До этого вышли MoE версии: 235B-A22B, 30B-A3B Qwen-VL это моя любимая модель ♥️, мне понравилось с ней работать в…Посмотрите, что Qwen3-VL умеет из коробки — предсказать JSON со списком bounding box для произвольной задачи 🐱

Qwen3-VLНаконец вышли завершающие размеры в серии Qwen3-VL — 4B и 8B.В двух форматах: instruct и thinkingИ в двух точностях: bf16 и fp8До этого вышли MoE версии: 235B-A22B, 30B-A3BQwen-VL это моя любимая модель ♥️, мне понравилось с ней работать в поколении Qwen2.5-VL. На моей задачи многоклассовой классификации удалось выбить ~0.95 F1Я пробовал gemma-3(n), SmolVLM(2), Phi-4, Phi-3.5 — все они так себе. Только Kimi-VL хорошо работала, но была существенно тяжелее.В планах попробовать Qwen3-VL для text-only задач. Кажется, должна работать прям хорошо⛓️ Коллекция на хагинфейсе

This is misspelled, but we can't change it because that would be a breaking change👋 Забавная "бага" в либе openai-agents-pythonpsправильно: occured -> occurred

DeepSeek-V3.2-ExpВышел новый дипсик!🔹построен на основе V3.1-Terminus (неделю+ вышла моделька)🔹DeepSeek Sparse Attention (DSA) для ускорения инференса при длинных контекстах🔹по API цена ниже на 50%🔗 ссылка на модель

Qwen3-Omni-30B-A3B-CaptionerТут Qwen на днях выпустили модель, которая хорошо умеет описывать аудио файлы.То есть у нее хороший audio understanding, и тут разговор не про распознавание речи. Модель понимает:multiple speaker emotions, multilingual expressions, and layered intentions. It can also perceive cultural context and implicit information within the audio, enabling a deep comprehension of the underlying meaning behind the spoken words. In non-speech scenarios, the model demonstrates exceptional sound recognition and analysis capabilities, accurately distinguishing and describing intricate layers of real-world sounds, ambient atmospheres, and dynamic audio details in film and media.Я прогнал через модель звук из видео «Бурановские Бабушки»: В кругу друзей. (всего 223 просмотра — поднажмем!) Получилось достаточно хорошо (см. скрин). Модель даже понимает, к какой секунде относится каждая часть контента. НО! Нельзя задать промпт, модель принимает только аудио. То есть нельзя, например, попросить оценить акцент вашей речи, — можно только получить полное общее описание.Вопрос — в каком продукте такая модель могла бы понадобиться?⛏ модель😛 демка