Новости сообщества LessWrong

Есть вещи, о которых мы даже не подозреваем | Брайан ТомасикПорой кажется, что сторонники эффективного альтруизма одержимы «квантифицированной эффективностью»: метриками, показывающими результативность чего-либо — будь то QALY на доллар, управление временем, результаты опросов или оптимизация диеты и физических упражнений. Квантификация полезна и часто может выявить серьёзные пробелы, которые можно упустить, если применять только качественное, а не количественное мышление. Также квантификация может привести к выводам, которые не были очевидны до обработки данных. Цифры позволяют проводить гораздо больше вычислений, чем способен делать наш мозг сам по себе.В то же время я опасаюсь, что некоторые сторонники эффективного альтруизма слишком сильно увлекаются квантификацией и перестают видеть лес за деревьями. Стоит помнить принцип «мусор на входе, мусор на выходе»: метрики хороши лишь настолько, насколько хороши те рассуждения, на основании которых мы решили, что именно эти метрики стоит оптимизировать. Кроме того, они могут упускать какие-то ключевые соображения. Чрезмерно оптимизируя что-то по узким или даже довольно широким метрикам, вы можете приносить в жертву какие-то важные элементы ценного, которые просто не измерялись. Оптимизация по метрике может создавать иллюзию прогресса, в то время как более широкий взгляд на ситуацию показал бы, что всё гораздо более размыто, чем казалось. Порой качественное, масштабное мышление человеческого мозга лучше справляется с подобными макроуровневыми проблемами, чем другие из доступных нам инструментов. Холден Карнофски обсуждает этот и другие связанные вопросы в эссе «Passive vs. rational vs. quantified».Одна из областей, в которых оптимизация по метрикам сталкивается с серьёзными трудностями, — это открытие, выражаясь словами диснеевской Покахонтас, «вещей, о которых ты даже не подозревал» [things you never knew you never knew]. Непонятно, как вообще строить метрики для измерения тех аспектов проблемы, о которых мы ещё даже не

Леонид Хоменко написал серию постов про неявное знание и его важность в контексте работы с LLM.Когда мы хорошо что-то знаем или умеем, мы часто забываем, как сложно нам было этому научиться. И когда мы пытаемся это своё знание кому-то передать, мы нередко недооцениваем количество информации, которое для этого необходимо. Леонид пишет об этом в контексте обучения и в контексте работы с LLM, однако мне представляется, что описанная идея актуальна много где.Я не во всём согласен с автором с точки зрения практических выводов, но само понятие выглядит довольно полезным инструментом.

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. В ближайшее время будет обсуждаться книга Кевина Симлера и Робина Хансона "Слон в голове" ("The Elephant in the Brain") - книга о неосознаваемых или скрытых по другим причинам человеческих мотивах.Робин Хансон в своё время вместе с Юдковским создал блог Overcoming Bias, от которого позже отделился LessWrong. Юдковский утверждал, что цинизм профессора Квиррелла из "ГПиМРМ" частично позаимствован у Хансона. Как я понимаю, в книге это будет заметно.Встречи проходят по понедельникам, онлайн, в Google Meet (но это может измениться). Начало в 20:30 по московскому времени (UTC+3). Подробности: https://t.me/minireading

🐉 Открыт набор на Technical AI Safety курс по оценке LLM: подходы, бенчмарки и методологияEvals for AI Safety — это методология измерения качества, надежности и безопасности ИИ-систем. В условиях повсеместного внедрения языковых моделей в продакшн умение корректно оценивать их возможности и риски становится приоритетным навыком.Как устроен курс:🔘Анализ методологии evals на основе современных и классических статей в области🔘Менторы из Apollo research, AI Lab SKOLKOVO, AIRI Institute, Яндекс и др🔘Обучение в мини-группах, по 4-6 человек🔘Формат: оффлайн в Москве или онлайн🔘Ожидаемая нагрузка: 10-15 часов в неделю🔘Стоимость: бесплатно, отбор на конкурсной основеЦель курса: Дать базу для начала карьеры в области оценки ИИ и понимание того, какую роль evals играет в AI Safety. Программа знакомит с основными концепциями evals, учит анализировать существующие бенчмарки, проектировать собственные оценки и разрабатывать дизайн экспериментов в области evals. Участники курса освоят Inspect AI (один из самых популярных фреймворков для оценки LLM).Кого мы ждем: 🔘Студентов STEM-направлений, планирующих карьеру в области ИИ🔘IT-специалистов, желающих освоить навык тестирования языковых моделей🔘Продвинутых и начинающих специалистов в области ML, которые хотят углубиться в методологию оценки моделейПодробнее: тутПодать заявку на участие в курсе, а также на фасилитацию можно до 22 февраля: тутЕсли вам интересно менторство, преподавание, сотрудничество с курсом или вы хотите задать вопрос, то напишите Юле

Для тех, кто больше любит смотреть или слушать. В конце июля прошлого года на канале Елизаветы Осетинской вышло большое интервью с Дмитрием Волковым, руководителем исследований в Palisade Research - некоммерческой организации, занимающейся вопросами безопасности ИИ. В интервью Дмитрий рассказывает, какую опасность потенциально может представлять искусственный интеллект, какие исследования на эту тему проводятся уже сейчас и что с этим можно делать.Интервью рассчитано на очень широкую аудиторию.https://www.youtube.com/watch?v=au5fU-nbZmc

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет вышедшая в прошлом году книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies".Встречи будут проходить по понедельникам. Первая встреча пройдёт уже сегодня, начало в 21:00 по московскому времени (UTC+3). Однако, в дальнейшем встречи будут начинаться в 20:30 (по московскому времени).Группа читательского клуба в телеграме: https://t.me/minireadingВстречи проходят в онлайне (в настоящее время в Google Meet, но это может меняться). Подробности в упомянутой группе.

Глеб Горов, автор телеграм-канала "Рациональный Гуманист", выложил запись эфира со Славой Меритон по теме "Честность против эффективности".Поскольку на выбор темы эфира в какой-то степени повлияли именно мои вопросы и замечания, немного напишу, что я по этому поводу думаю.Я полностью согласен с тезисом, что не имеет никакого смысла тратить слишком много времени на вычисление шансов на успех. Если можно что-то быстро "взять и сделать", и потенциальные потери в случае неудачи не выглядят существенными, то, конечно, проще всего "взять и сделать".Однако у меня сложилось впечатление, что участники эфира под оценкой шансов подразумевают что-то очень сложное и действительно малореалистичное. Я же скорее под оценкой шансов подразумеваю что-то вроде метода, упомянутого Элиезером Юдковским в "Лицензии героя":Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного ... И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.Очевидно, что это очень неточный метод, и тем более он будет неточным для человека, который не "калибровался" в этой сфере (т.е. не записывал ранее своих предсказаний на эту тему и не оценивал результаты). Однако мне представляется, что, во-первых, начать калиброваться в этой области никогда не поздно, и это будет скорее полезно. Во-вторых, мне представляется, что даже из самых несовершенных интуитивных оценок на эту тему можно делать какие-то выводы.Если вы ощущаете, что готовы поставить на свой успех 10 против 1, то, действительно, можно задаться вопросом, а почему вы ещё не начали свой путь к этому успеху. И наоборот, если даже ставка 1 против 10 вас как-то не вдохновляет, то стоит задуматься, а действительно ли успех того стоит. (На всякий случай отмечу, что на уровне интуитивной калибровки не стоит оценивать шансы меньшие, чем 1:100 - чтобы быть уверенным в своей калибровке на таких шансах, вам, оч

Анонс: Честность vs Эффективность. Эфир со Славой МеритонВ последних постах я очень много говорил на тему инструментальной пользы уверенности. Некоторые преданные подписчики в комментариях справедливо замечали, что попытки «накачать» уверенность выглядят как самообман, искажающий карту реальности.Действительно, есть ощущение конфликта между Эпистемической честностью (видеть мир таким, какой он есть) и Инструментальной эффективностью (действовать так, чтобы побеждать).Чтобы разобраться, как это работает на самом деле, я решил позвать человека, который варится в контексте рациональности гораздо дольше меня и имеет свою позицию по теме.В ближайший понедельник, 22 декабря в 19:00 по МСК, мы поговорим со Славой Меритон.Слава — одна из заметных фигур в русскоязычном рациональном сообществе и у неё есть интересный взгляд на эту проблему, который немного перпендикулярен нашему спору. Её тезис примерно такой: пока одни ревностно высчитывают свои (обычно низкие) вероятности успеха, другие просто берут и делают.Поговорим о том:— Не становится ли сам подсчет вероятностей ловушкой, убивающей агентность?— Где проходит граница между «полезным игнорированием сложностей» и глупостью?— И насколько допустимо менять свою карту для того, чтобы быстрее добираться до пунктов назначения?Формат:Голосовой эфир прямо здесь, в канале. Мы начнем с диалога, но значительную часть времени уделим общению с вами. Так что приходите, задавайте вопросы, спорьте.Запись, конечно, тоже сделаем и потом выложим на YouTube, но лучше быть онлайн, чтобы поучаствовать в дискуссии.Ставьте напоминание: Понедельник, 22 декабря 19:00 МСК

⭐️ Sci.STEPS 2026менторское сопровождение в исследовательских и карьерных задачах📍Где: онлайн🗓Когда: 2 февраля - 30 апреля 2026⏰Дедлайн подачи: 28 декабряSci.STEPS дают менторскую поддержку под широкий набор задач, связанных с научными и карьерными треками. Обязательных встреч с ментором немного: программа скорее про коммитмент и помощь в приоритизации. Подходит, напрмер, если вам нужно податься в PhD или магистратуру, собрать нормальное резюме или наконец-то сесть за ресёрч, но оно всё откладывается.В этом сезоне много русскоговорящих менторов и много менторов из разных университетов мира. Если вы собираетесь поступать в один из них, то это хорошая возможность узнать про внутреннюю кухню академии в конкретном месте. Есть менторы по ML и AI Safety (их немного, но они есть, так что лучше заполнять заявки оперативно).Что предоставляют:⭕️регулярные встречи с ментором⭕️доступ к материалам и тематическим мероприятиям⭕️поддержку сообщества Sci.STEPSЧто можно делать в рамках программы: ⭕️формулировать и уточнять карьерные и исследовательские цели⭕️работать над заявками в академию или индустрию⭕️работать с ментором над навыками и проектами⭕️участвовать в общих встречах и нетворкатьсяКого ждут (требования):⭕️Студентов, аспирантов и молодых специалистов, заинтересованных в научной или исследовательской карьере⭕️Вы можете подаваться с safety проектом не только к профильному ментору по safety📌 Один из авторов канала стал ментором в этом сезоне Sci.STEPS, так что AI Safety там тоже представлено. 🔗Подробности: тут🔗Подать заявку: тут

⭐️The $10K Existential Hope Meme Prize:Конкурс мемов и коротких видео📍Где: Онлайн💰Призы: 10 000 USD⏰Дедлайн подачи: 23 ноября 23:59 AoEМы описывали самые разные возможности в области ЕА и AI Safety, но эта пока самая неожиданная. Премия «Existential Hope» приглашает авторов со всего интернета представить свои самые вдохновляющие, мотивационные и воспевающие прогресс мемы или короткие видео о победе над экзистенциальными рисками, технологическом будущем, глобальном сотрудничестве итд. 💰Автор лучшего мема получит приз в размере 10 000 долларов.Формат работ: ⭕️Мемы: Статичное изображение или GIF.⭕️Видео: 2 минуты или меньше.⭕️Короткий текст: твит или инфографика.Правила: ⭕️Запрещено платное продвижение контента выставленного на конкурс.⭕️Вы должны быть правообладателем контента, который подаете на конкурс (чужие работы можно использовать только с согласия авторов).⭕️Можно подавать несколько работ. ⭕️Можно подавать работу индивидуально, от команды или организации. Как поучаствовать: ⭕️Создайте свой мем или видео.⭕️Опубликуйте его в социальных сетях.⭕️Зарегистрируйте работу, указав ссылку на ваш пост через эту форму.⭕️Ждите итогов конкурса. 🔗Убедиться, что мы это не придумали: тут🔗Подать работу на конкурс : тутP.S. В жюри Стивен Пинкер...

Новый перевод на сайте - юмористическая зарисовка Скотта Александера "Жития святых рационалистов". Автор в шуточной форме рассказывает, что считается добродетелями с точки зрения сообщества.https://lesswrong.ru/5135

Как многие, наверное, уже знают, на этой неделе вышла новая книга Элиезера Юдковского "If Anyone Builds It, Everyone Dies". В связи с этим энтузиасты составили список способов, как можно заказать книгу для тех, кто живёт в России:https://docs.google.com/document/d/10Luo48j7XvFtwaN7YaLRsfwYI3lGsz1ki6nGD6qSAv4/view

Про нас внезапно написали в Forbes. Пока только в русскоязычном, впрочем, написали так, что, вероятно, лучше бы не писали вовсе. Основные темы: можно ли использовать мозг как компьютер и является ли LW культом.Мой ответ получился несколько объёмным: https://telegra.ph/I-eshchyo-raz-o-tom-yavlyaetsya-li-LessWrong-kultom-09-18

https://www.youtube.com/watch?v=H9WJ1jnicq8Доклад Романа Малова об инфрабайесианстве (https://www.lesswrong.com/w/infra-bayesianism) - новом подходе в эпистемологии и теории принятия решений, который развивается людьми с LW. В докладе описывается, что это, почему оно понадобилось, и где это предполагается применять.

Этой осенью, как обычно, по всему миру пройдут встречи поклонников творчества Скотта Александера. Узнать, будет ли встреча где-то недалеко от вас, и когда и где именно она будет, можно по ссылке: https://www.astralcodexten.com/p/meetups-everywhere-2025-times-and