Модели Muse от Meta возглавили новый бенчмарк Scale AI; арбитр на 49% принадлежит Meta

Scale AI, на 49% принадлежащая Meta после сделки 2025 года на $14,3 млрд, опубликовала бенчмарк, в котором модели Muse от Meta заняли первое, второе и третье места. OpenAI, Google и Anthropic отказались его поддержать.

Читать оригинал

Vincent JiangVincent Jiang · 3 min read
Share
Александр Ван, директор по ИИ Meta и председатель совета директоров Scale AI
1 / 6Slide 1 of 6
Александр Ван, директор по ИИ Meta, сохранил пост председателя совета директоров Scale AI после сделки на $14,3 млрд, которая провела Meta в совет директоров экзаменатора всей отрасли

Что на самом деле купила Meta за $14,3 млрд

30 июня 2025 года Meta+0.02% — Meta, up 0.02 percent today заплатила $14,3 млрд за 49% Scale AI$29B — Scale AI, private, latest valuation $29B, оценив компанию, работающую на рынке данных и оценки моделей, почти в $29 млрд. В тот же день Meta наняла сооснователя Scale Александра Вана: он стал директором по ИИ (chief AI officer) и возглавил Meta Superintelligence Labs 1. Господин Ван покинул пост генерального директора Scale, но остался председателем совета директоров 2. Что осталось нетронутым после сделки, так это экзаменатор всей отрасли: в собственном релизе Scale говорится, что ее движок данных лежит в основе разработки моделей в большинстве крупных лабораторий, создающих фронтир-модели (frontier models), а среди клиентов компании — правительство США и компании из Fortune 500 2.

Рейтинг экзаменатора вывел модели владельца в лидеры

8 октября Scale опубликовала DistressBench: 718 диалогов в кризисных ситуациях, написанных 19 лицензированными клиницистами и консультантами, с проверкой по 6 901 критерию, веса которым назначили врачи 34. Если свести результаты 25 фронтир-моделей, то в 35,3% диалогов, где модель выполнила все критерии распознавания суицидального кризиса или самоповреждения, она все равно не направила пользователя за помощью к живому человеку 3. Лучшая модель обеспечила 88,4% необходимой помощи, медианная — 71,4%; эталонные ответы врачей дают 98,7% 3. Первые три строчки рейтинга занимают модели Muse от Meta 3.

Ни одна модель не приблизилась к помощи врачей

0%50%100%Лучшая модель (Muse Spark 1.2)Медианная фронтир-модельЭталонные ответы врачей98.7%
Data
Доля необходимой помощи
Лучшая модель (Muse Spark 1.2)88.4%
Медианная фронтир-модель71.4%
Эталонные ответы врачей98.7%
Доля выполненных критериев (по весам, назначенным врачами) в расчете на один ответ; совокупно по 25 фронтир-моделям в бенчмарке DistressBench от Scale AI. Верхнюю границу задают эталонные ответы врачей. Scale AI DistressBench, октябрь 2026 года.3

Модели Muse от Meta занимают первые три строчки DistressBench от Scale AI

0%20%40%60%80%100%Muse Spark 1.2 (Meta)88.39%Muse Spark 1.3 (Meta)84.88%Muse Glimmer 30B (Meta)80.57%GPT-5.6 Terra (OpenAI)76.44%Claude Opus 5.5 (Anthropic)75.58%Gemini 3.8 Flash (Google)70.74%
Data
Value
Muse Spark 1.2 (Meta)88.39%
Muse Spark 1.3 (Meta)84.88%
Muse Glimmer 30B (Meta)80.57%
GPT-5.6 Terra (OpenAI)76.44%
Claude Opus 5.5 (Anthropic)75.58%
Gemini 3.8 Flash (Google)70.74%
Взвешенная оценка по критериям: доля выполненных критериев (по весам, назначенным врачами) в расчете на один ответ; усреднение по 718 диалогам в кризисных ситуациях, написанным клиницистами, по три прогона на задачу. Scale AI DistressBench, октябрь 2026 года; исследование компании, не прошедшее рецензирования.3

OpenAI, Google и Anthropic бенчмарк не поддержали

OpenAI$1.18T — OpenAI, private, latest valuation $1.18T заявила, что «не располагает достаточными доказательствами, чтобы в полной мере оценить» исследование; Google отказалась от комментариев; Anthropic$350B — Anthropic, private, latest valuation $350B на запрос не ответила 4. Методология при этом раскрыта необычно подробно: ответы оценивала тройка судей — модели Anthropic, Google+0.44% — Google, up 0.44 percent today и Meta, — выбранная из 455 возможных комбинаций путем сверки с 2 908 метками клиницистов; согласованность с клиницистами — каппа Коэна 0,732 3. Сама Scale предупреждает, что высокий результат «не дает оснований для внедрения в качестве продукта в сфере психического здоровья», а бенчмарк составлен только на английском языке и построен вокруг американских кризисных горячих линий 3.

История о новом гендиректоре Scale — годичной давности

На этой неделе разошлась публикация о том, что Scale назначит генеральным директором главу стратегического направления Jason Droege — в связи с уходом Александра Вана в Meta 5. Но это описание событий июня 2025 года: с того момента Jason Droege исполнял обязанности гендиректора Scale, а 30 июля 2026 года компания объявила о назначении с 10 августа Фрэнсиса де Соузы, прежде работавшего в Google Cloud и Illumina−0.08% — Illumina, down 0.08 percent today 2. По-настоящему новой сделкой недели стала суверенная: меморандум о взаимопонимании с Presight, оператором суверенного ИИ из Абу-Даби, подписанный 9 октября ради оценки и управления ИИ-агентами в системах энергетики, водоснабжения, здравоохранения и транспорта стран Персидского залива 6.

Главный вопрос — продолжат ли конкуренты платить арбитру

Марк Цукерберг 12 октября рассказал, что Meta в конце 2025 года взвешивала вложения на $100–200 млрд — ещё до того, как её модели доказали свою состоятельность, — а финансовый директор Сьюзен Ли предупреждала Вана: в финансовом смысле провал будет «очень, очень плохим». Прогноз Meta по капитальным затратам на 2026 год — $130–145 млрд 7. Семейство моделей Muse, представленное 8 сентября, собрало более 2,5 млн загрузок примерно за две недели, а акции Meta за одну торговую сессию подскочили на 11%, увеличив капитализацию компании примерно на $200 млрд 8. Часть ставки, сделанную Meta, рынок уже заложил в котировки. Индикатором же станет то, продолжат ли OpenAI, Google и Anthropic представлять свои модели на оценку арбитру, в котором их конкурент владеет долей.

Deepdive

AI-generated from this story and its cited sources. Not investment advice.

Reader comments

0 comments

    Sign up

    Get your curated digest

    After email confirmation, you will receive a daily digest of the most relevant news that matter to your portfolio