블룸버그, FLUX를 아동성착취 '공급망'에 지목…블랙포레스트랩스 자체 연구에서도 자사 모델 '7개 중 네 번째로 취약'

책임을 묻는 '파일'에 BFL 자신의 서명이 들어 있다

미국과 유럽의 아동성범죄 수사관들은 자신들의 사건에서 등장하는 오픈 웨이트(open-weight) 도구로 독일 블랙포레스트랩스PVT~$4B — 블랙포레스트랩스, private, latest valuation ~$4B(BFL)의 FLUX 모델을 지목했다. 스테이블 디퓨전, 알리바바▼−1.26% — 알리바바, down 1.26 percent today의 Qwen, 텐센트의 훈위안(Hunyuan)과 나란히다. 블룸버그가 10월 6일 공개한 조사↗ ¹의 내용이다. 이 조사에 파묻혀 있는 세부 사실 하나는 BFL 자신의 것이다. BFL이 안전업체 신더(Cinder)와 공동 발표한 연구는 학대 이미지 취약성을 테스트한 오픈소스 이미지 모델 7개 가운데 자사 모델 하나를 네 번째로 '위반(violative)' 사례가 많은 모델로 평가했다. 회사 측은 해당 모델은 출시 전에 테스트됐고 공개된 적이 없다고 밝혔다 ¹.

유럽 당국이 현재 아동학대에 쓰이는 오픈 모델과 변형 모델을 500개 넘게 추적하고 있다. 2년 전에는 10여 개에 불과했다. 쏜(Thorn)의 전 데이터과학 책임자는 오픈 모델을 AI로 생성된 학대물의 '핵심 수단(primary mechanism)'이라고 지목했다 ¹. 미국 아동착취 신고센터에 접수된 AI 관련 신고는 2023년 4700건에서 2025년 150만건을 넘어섰다 ¹.

안전 조절 다이얼은 호스팅 서비스에만 있다

BFL의 호스팅 API에는 'safety_tolerance'라는 안전 설정이 노출돼 있다. 0이 가장 엄격하고 4가 가장 느슨하며 기본값은 2다 ². 정책 총괄 벤 브룩스(Ben Brooks)는 "비주얼 인텔리전스가 열려 있으면서도 책임 있을 수 있음을 입증하는 데 헌신하고 있다"며 "묘책은 없다"고 말했다 ¹. 다운로드 버전에는 이 계량기가 빠져 있다. FLUX 3의 오픈 웨이트는 몇 주 안에 공개될 예정이며 ³, 개인 노트북에서 실행한 프롬프트는 로그에 남지 않고 검수자에게도 닿지 않는다 ¹.

법은 최후의 방어선이 아니다. 미네소타주의 누드 생성 도구 금지법에는 위반 1건당 최대 50만 달러의 벌칙이 붙어 있다. 그러나 미국 제8연방항소법원은 10월 2일 미네소타주의 집행에 제동을 걸었다↗. 항소가 진행되는 동안 이 법을 xAIPVT$200B — xAI, private, latest valuation $200B에 적용하지 못하도록 한 것이다 ⁴. 이전 세대 오픈 이미지 모델의 맹주였던 스테이빌리티 AI는 이미 피고로 앉아 있다. 이 회사가 '성적으로 노골적인 콘텐츠의 수익 잠재력' 위에 사업을 세웠다는 소송이다 ¹.

구글은 상처에 소금을 뿌렸다

FLUX 3 Image의 정가는 1K 해상도 이미지 1장당 0.048달러↗다. 2K에서는 0.100달러, 4K에서는 0.607달러다 ⁵. 출시 기념 반값 프로모션은 10월 8일 미 태평양 시간 오전 8시에 끝난다 ³. 구글이 10월 6일 답을 내놨다↗ ⁶. 나노바나나 2.1(Nano Banana 2.1)은 표준 등급에서 1K 이미지 1장당 0.0336달러, 4K에서 0.113달러에 이미지를 뽑아낸다↗ ⁷. 1K와 2K 가격은 정확히 절반이고, 배치 처리 시에는 다시 절반으로 내려간다 ⁷. 입력 토큰 요금은 100만 토큰당 1.50달러로 3배 인상됐다 ⁷. 4K에서는 이미지당 토큰 수가 2,520개에서 3,780개로 늘었다 ⁷. 그 결과 4K에서의 할인 폭은 절반이 아니라 4분의 1에 그친다.

'오픈 프리미엄'의 대가는 누가 치르나

BFL은 비상장 기업이다. 이 회사가 파는 상품은 종량제 신뢰다. 알파벳▼−0.44% — 알파벳, down 0.44 percent today은 이제 로그가 남고 가드레일이 깔린 대안을 모든 등급에서 오픈랩 정가보다 싸게 팔고 있다 ⁵⁷. 엔비디아▼−2.70% — 엔비디아, down 2.70 percent today는 9월 오픈모델 허브 허깅페이스 인수에 합의했다. 올해 이용자가 1300만 명으로 거의 두 배 불어난 허깅페이스다 ¹. 엔비디아가 물려받는 것은 수사관들이 묘사한 바로 그 생태계다.

이 판의 결말을 가를 날짜는 세 개다. 출시 기념 프로모션이 끝나는 10월 8일 ³, FLUX 3 웨이트 공개와 그에 붙는 라이선스 ³, 그리고 10월 29일이다. 이날 구글은 기존 나노바나나 2 엔드포인트 서비스를 종료한다 ⁶. xAI가 항소심 서면을 제출해야 하는 기한도 이날 만료된다 ⁴. 본지는 10월 2일 BFL의 편집 정밀도 해자가 머지않아 그냥 풀려날 것이라고 짚었다 ⁸. 그런데 그보다 먼저 도착한 것은 책임 서류철이었다.