Modelos Muse da Meta lideram novo benchmark da Scale AI; o árbitro pertence em 49% à Meta
Detida em 49% pela Meta desde um acordo de US$ 14,3 bilhões em 2025, a Scale AI publicou um benchmark que coloca os modelos Muse da empresa em primeiro, segundo e terceiro lugares. OpenAI, Google e Anthropic recusaram-se a endossá-lo.
Vincent Jiang · 3 min read
O que, de fato, os US$ 14,3 bilhões da Meta compraram
Em 30 de junho de 2025, a Meta+0.02% — Meta, up 0.02 percent today pagou US$ 14,3 bilhões por 49% da Scale AI$29B — Scale AI, private, latest valuation $29B, o que atribuiu à empresa de dados e avaliação um valor próximo de US$ 29 bilhões. No mesmo dia, a Meta contratou o cofundador Alexandr Wang como diretor-chefe de inteligência artificial (chief AI officer) para comandar o Meta Superintelligence Labs 1. Wang deixou o cargo de CEO da Scale, mas seguiu como presidente do conselho 2. O que a Meta deixou para trás é o avaliador do setor: um comunicado oficial da própria Scale diz que seu motor de dados sustenta o desenvolvimento de modelos na maioria dos grandes laboratórios de fronteira, além de atender ao governo dos EUA e às empresas da Fortune 500 2.
O ranking do avaliador coloca os modelos da dona no topo
Em 8 de outubro, a Scale publicou o DistressBench: são 718 conversas de crise escritas por 19 clínicos e conselheiros licenciados, avaliadas segundo 6.901 critérios ponderados por clínicos 34. No conjunto dos 25 modelos de fronteira, em 35,3% das conversas em que um modelo cumpriu todos os critérios para reconhecer uma crise de suicídio ou automutilação, ele ainda assim falhou em encaminhar o usuário para ajuda humana 3. O melhor modelo prestou 88,4% do cuidado necessário, e a mediana, 71,4%, contra 98,7% das respostas de referência dos clínicos 3. As três primeiras colocações do ranking são dos modelos Muse da Meta 3.
Nenhum modelo chega perto do cuidado prestado pelos clínicos
Data
| Parcela do cuidado necessário prestada | |
|---|---|
| Melhor modelo (Muse Spark 1.2) | 88.4% |
| Modelo de fronteira mediano | 71.4% |
| Respostas de referência dos clínicos | 98.7% |
Modelos Muse da Meta ocupam as três primeiras colocações no DistressBench da Scale AI
Data
| Value | |
|---|---|
| Muse Spark 1.2 (Meta) | 88.39% |
| Muse Spark 1.3 (Meta) | 84.88% |
| Muse Glimmer 30B (Meta) | 80.57% |
| GPT-5.6 Terra (OpenAI) | 76.44% |
| Claude Opus 5.5 (Anthropic) | 75.58% |
| Gemini 3.8 Flash (Google) | 70.74% |
OpenAI, Google e Anthropic declinam endossar o benchmark
A OpenAI$1.18T — OpenAI, private, latest valuation $1.18T disse não ter "evidências suficientes para avaliar integralmente" o estudo. O Google declinou comentar; a Anthropic$350B — Anthropic, private, latest valuation $350B não respondeu 4. O método é divulgado com um detalhamento incomum: o painel de três juízes — formado por modelos da Anthropic, do Google+0.44% — Google, up 0.44 percent today e da Meta — foi escolhido entre 455 combinações possíveis, testadas contra 2.908 rótulos de clínicos, e sua concordância com os clínicos chega a um κ de Cohen de 0,732 3. A própria Scale adverte que uma pontuação alta "não autoriza a implantação como produto de saúde mental", e o benchmark é apenas em inglês, construído em torno de linhas de atendimento a crises dos EUA 3.
A história do CEO que circula já tem um ano
Uma reportagem que circula esta semana afirma que a Scale promoverá o chefe de estratégia Jason Droege a CEO com a saída de Wang para a Meta 5. Isso é notícia de junho de 2025: Droege passou a comandar a Scale como CEO interino a partir de então, e o anúncio feito pela Scale em 30 de julho de 2026 nomeia Francis deSouza, vindo do Google Cloud e da Illumina−0.08% — Illumina, down 0.08 percent today, como CEO a partir de 10 de agosto 2. O acordo genuinamente novo desta semana foi soberano: um memorando de entendimento com a Presight, operadora de IA soberana de Abu Dhabi, assinado em 9 de outubro para avaliar e governar agentes dos sistemas de energia, água, saúde e transporte do Golfo 6.
Observar se os rivais seguem pagando o árbitro
Zuckerberg disse em 12 de outubro que a Meta chegou a avaliar um compromisso de US$ 100 bilhões a US$ 200 bilhões no fim de 2025, antes de seus modelos provarem o próprio valor. A CFO Susan Li alertou Wang de que um fracasso seria "muito, muito ruim" em termos financeiros; a orientação de capex para 2026 está em US$ 130 bilhões a US$ 145 bilhões 7. O Muse, lançado em 8 de setembro, atraiu mais de 2,5 milhões de downloads em cerca de duas semanas e provocou um salto de 11% em uma única sessão, somando cerca de US$ 200 bilhões em valor de mercado 8. O mercado já precificou o lado da Meta na aposta. O termômetro será se OpenAI, Google e Anthropic seguem se submetendo a um árbitro que tem o concorrente como sócio.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
