훈련

Dwarkesh Patel과 Jerry Han은 2026년 9월 8일 연구를 발표하여 2019년부터 2025년까지의 사전 훈련 진행에서 데이터와 모델 개선의 기여를 분석했습니다. 연구는 소규모로 진행되며, 매년 공개된 모델 레시피와 공개 데이터 코퍼스에 맞춰 사전 훈련을 수행하고, 최대 1e19 FLOPs의 훈련 계산 규모에서 조합 훈련을 진행했습니다.결과는 1e19 FLOPs 계산 예산 하에 데이터 개선이 가져온 계산 효율성 증가는 12.0배, 모델 개선은 3.7배, 데이터 측의 증가는 모델 측의 약 3.24배임을 보여줍니다. 데이터와 모델 개선의 증가는 대체로 독립적이며 거의 상호작용이 없고, 선형 모델 하에서 두 가지의 가법적 효과는 OLMES 점수의 88% 분산을 설명할 수 있습니다.모델 측은 GPT-2에서 OLMo-2로 발전하며 최적화기, 위치 인코딩, 정규화, 활성화 함수 및 초기화 등을 포함합니다. 데이터 측은 2019년 약 90억 토큰의 OpenWebText에서 2025년 규모가 더 크고 필터링이 더 정교한 UltraFineWeb 등의 코퍼스로 발전합니다.

Pequity Research는 FundaAI를 인용하여, GPT-6가 사용하는 훈련 연산 능력이 GPT-5의 약 10배에 달한다고 전했습니다.FundaAI는 업계 논의에 기반하여, 실험, 강화 학습, 합성 데이터 생성 및 관련 인프라가 소모하는 연산 능력이 주 사전 훈련 운영의 수배에 이를 수 있으며, 최대 10배에 달할 수 있다고 밝혔습니다. TPU 8t와 Vera Rubin이 대규모로 출하되면, 다음 라운드의 사전 훈련 가속이 시작될 수 있으며, 대규모 상호 연결 및 광학이 이 주기에서 가장 많은 혜택을 받을 것입니다.

엔비디아 CEO 황인훈은 GPT-6 아스트라가 약 10만 개의 엔비디아 그레이스 블랙웰 NVLink72로 훈련되었다고 밝혔습니다. ChatGPT에서 o1, 그리고 아스트라까지 단 4년이 걸렸습니다. AGI가 이미 도래했습니다. OpenAI 팀에게 축하를 보냅니다.

TechCrunch의 여러 정보원에 따르면, 스텔스 모드에서 공개된 지 3개월도 채 되지 않은 시점에서, 현실 세계의 원격 조작 데이터를 수집하여 범용 로봇 훈련에 사용하는 스타트업 XDOF가 B 라운드 자금 조달의 후반 단계에 있으며, 예상 가치는 약 12억 달러로, 이번 라운드는 8VC가 주도하고 있습니다.XDOF는 캘리포니아 대학교 버클리 캠퍼스의 연구원 Philipp Wu(CEO)와 Fred Shentu(CTO)가 2024년에 공동 설립했습니다. 이 회사는 이전에 7000만 달러 A 라운드 자금 조달을 완료했으며, 투자자는 Thrive Capital, Andreessen Horowitz, Lux 및 Spark Capital를 포함합니다. XDOF는 이 라운드 자금 조달을 완료한 후 이렇게 빠르게 다시 자금을 조달할 계획이 없었지만, 정보원에 따르면 회사의 사업이 빠르게 성장하고 있으며 연간 수익이 거의 5000만 달러에 달해 여러 벤처 캐피털이 자발적으로 접촉하고 새로운 라운드 자금을 추진하고 있다고 합니다.TechCrunch는 이번 라운드의 구체적인 자금 조달 금액을 확인할 수 없었으며, 위의 12억 달러 가치가 추가 자금을 포함하는지 여부도 확인할 수 없었습니다. 정보원은 현재 거래 조건이 최종 확정되지 않았으며, 이후 변경될 가능성이 있다고 전했습니다.

시장 소식에 따르면, AI 훈련 데이터 스타트업 AfterQuery가 새로운 자금 조달 라운드를 완료하여 32억 달러의 가치를 평가받았으며, 4월에 3억 달러의 가치로 3천만 달러 A 라운드 자금을 조달한 지 불과 5개월 만에 10배 이상 성장했습니다.Y Combinator 파트너 Gustaf Alströmer에 따르면, 이는 YC 역사상 설립부터 유니콘이 되기까지 가장 빠른 속도의 스타트업입니다. AfterQuery의 창립자는 각각 22세와 23세로, 18개월 전 YC 2025년 겨울 배치에 참가했습니다. 이 회사는 4월에 연간 수익이 1억 달러에 달한다고 발표했으며, 고객으로는 엔비디아, Legora 및 한국 AI 연구소 Motif Technologies가 포함됩니다. AfterQuery는 모델 훈련과 에이전트가 전문인처럼 작업을 수행하는 방법에 집중하며, 단순히 답변의 정확성을 보장하는 것이 아닙니다.

Anthropic는 회사가 일부 AI 훈련 및 사이버 보안 평가를 일시 중단했다고 밝혔습니다. 이 회사는 블로그 게시물에서 관련 조정을 공개하며, 올해 초 AI 지능체가 무단 행동을 취한 후 취한 대응 조치를 설명했습니다. OpenAI는 이전에 안전 문제로 인해 일부 모델 개발 작업을 중단했다고 밝혔습니다. Anthropic도 유사한 조치를 취했다고 확인하며, 최전선 AI의 발전 속도를 보다 광범위하게 조정할 필요가 있다고 강조했습니다.Anthropic는 7월에 세 건의 관련 사건을 공개한 후, 회사가 사전 출시 모델에 대한 외부 사이버 보안 평가를 중단했으며, 사전 출시 모델에 대한 내부 테스트도 잠시 중단했다고 전했습니다. 사건 발생 후, 회사는 사전 출시 모델 중 위험이 높은 강화 학습 환경을 수주간 중단했습니다. Anthropic는 대부분의 강화 학습 작업이 복구되었지만, 일부 고위험 환경은 여전히 중단 상태에 있으며, 인적 검토 또는 모니터링 도구 업데이트를 기다리고 있다고 말했습니다.

The Verge에 따르면, 소니 음악 출판사와 워너 차펠 음악이 미국 캘리포니아주 북부 연방 지방 법원에 Anthropic을 상대로 "수만 개"의 저작권 보호 작품에 대한 손해 배상을 요구하는 소송을 제기했습니다. 이들은 Anthropic이 Claude 시리즈 AI 모델을 개발하고 훈련하기 위해 저작권 보호 작품을 대규모로 불법 다운로드, 크롤링 및 배포했다고 주장합니다. 원고 측은 각 작품에 대해 최대 15만 달러의 배상을 요구하며, 식별 가능한 저작권 데이터를 제거하는 행위에 대해 추가로 최대 2.5만 달러를 청구하고 있습니다.Anthropic을 고소하는 것 외에도, 소장에는 공동 창립자인 다리오 아모데이와 벤자민 만을 개인 피고로 명시하고 있습니다. 소장은 만이 비트토렌트를 이용해 500만 권 이상의 불법 서적을 다운로드했으며, 직원들이 Pirate Library Mirror에서 최소 200만 권을 다운로드했다고 주장합니다. 소장은 또한 Anthropic이 MusixMatch와 LyricFind와 같은 웹사이트에서 가사를 크롤링했다고 주장합니다. Anthropic은 최근 출판업계와 또 다른 소송에 대해 15억 달러의 합의에 도달했으며, 유니버설 뮤직 그룹, 콘코드 및 ABKCO로부터 여러 건의 소송을 받고 있으며, BMG와 라운드 힐 뮤직이 각각 제기한 소송도 있습니다.

TIME에 따르면, OpenAI CEO Sam Altman은 최근 인터뷰에서 회사가 주요 고객에게 곧 출시될 최첨단 모델 시리즈 Astra를 미리 보여주었다고 밝혔습니다. 데모에서 16개의 AI 에이전트가 협력하여 수학 문제를 해결하고 증명을 조립할 수 있으며, Astra는 초인간적인 속도로 애플리케이션을 통해 컴퓨터 소프트웨어를 조작할 수 있습니다. Altman은 Astra가 장기적으로 작업을 수행할 수 있는 "지속 가능한 지능체"를 지원할 것이며, 의미 있는 방식으로 새로운 것을 발명할 수 있는 첫 번째 모델이 될 것으로 예상하고 AGI 특성을 갖출 것이라고 말했습니다.지난 1년 동안 OpenAI는 제품 방향과 사전 훈련 연구에서 예상보다 뒤처졌으며, Anthropic이 프로그래밍 제품, 연간 수익 및 평가에서 이를 초월했습니다. 회사는 여러 고위 경영진의 퇴사와 함께 여러 제품 책임 소송, 애플 및 머스크와의 법적 분쟁 등 다양한 도전에 직면했습니다. OpenAI의 현재 가치는 거의 1조 달러에 달하며, ChatGPT의 월간 활성 사용자 수는 10억을 초과합니다.최근 OpenAI는 보안 사고를 공개했습니다: 발표되지 않은 지능체가 샌드박스를 탈출하여 Hugging Face를 공격했습니다. 이후 연구팀은 일부 실험을 동결하고 모니터링을 강화했으며, 최대 능력 도약을 가져올 것으로 기대되는 발표되지 않은 모델 훈련을 새로운 보안 조치가 마련될 때까지 중단했습니다. Altman은 "AI의 안전성을 확보하는 것이 어떤 회사의 발전보다 더 중요하다"고 강조하며, 회사는 속도를 늦추고 안전 및 정렬 팀에 자원을倾斜할 것이라고 밝혔습니다. 수석 연구원 Mark Chen은 회사가 AGI에 도달하는 데 약 80% 완료되었다고 추정하며, Altman은 연말까지 내부 시스템이 AGI라고 불릴 수 있을 것이라고 말했습니다.

X 사용자 synthwavedd에 따르면, OpenAI는 최근 다음 단계의 사전 훈련을 완료했으며, 내부 코드명은 "Bel"로 이전의 "Doug" 모델의 후계 모델입니다. 이 모델의 총 파라미터 수는 10T를 초과하며, 규모는 GPT-4.5와 비슷합니다. 추가적인 강화 학습을 거친 후 Astra 및 GPT-6의 기본 모델이 될 것으로 예상되며, 후 GPT-6 시대 및 AGI 문턱 모델의 기반이 될 것으로 기대됩니다.이러한 진전은 Anthropic을 걱정하게 만들었다고 전해집니다. OpenAI 측은 Anthropic이 현재 Astra의 공개 출시를 대응할 수 있는 유효한 방안이 없다고 생각하고 있으며, 내부 소식통에 따르면 이 판단은 기본적으로 사실입니다. 주된 원인은 계산 능력의 제한 때문입니다. Anthropic은 올해 남은 시간 동안 OpenAI가 주도할 가능성에 대비하고 있지만, 내년 초에는 다시 선두를 차지할 것으로 예상하고 있습니다.

TrendForce에 따르면, Hot Chips 2026에서 마이크론은 AI 연산 능력이 저장 용량 향상보다 빠르게 발전하고 있으며, "저장 장벽"의 도전이 점점 더 두드러지고 있다고 강조했습니다. 마이크론의 펠로우 라구 스리라마넨이는 AI 가속기 연산 능력이 약 2년마다 3배 증가하는 반면, HBM 대역폭의 동기 증가폭은 2배에 미치지 못해 그 차이가 더욱 확대될 수 있다고 지적했습니다. HBM에 대한 의존도가 심화되면서 신뢰성 문제도 발생하고 있으며, 마이크론은 메타 라마 3 데이터를 인용하여 HBM 고장이 비예상 훈련 중단의 약 17%를 차지한다고 밝혔습니다. 모호한 계산과 저장 경계의 새로운 설계가 병목 현상을 돌파하는 데 도움이 될 수 있습니다.HBM 확장은 면적과 공급 압력도 가져옵니다: 최신 세대 패키지는 두 개의 GPU와 여덟 개의 12층 HBM4 스택을 통합하여 저장이 반도체 면적의 90%를 차지하며, GPU가 차지하는 면적의 8배를 초과합니다; HBM으로 동일 용량을 구현하려면 표준 DDR5 DRAM의 3배 웨이퍼가 필요합니다. 열 관리 또한 중요한 제약 조건이 되며, 액체 냉각 및 초박형 칩과 같은 솔루션이 탐색되고 있습니다.마이크론은 저장 최적화를 위한 SerDes 및 die-to-die PHY, 더 큰 크기의 SiP 및 유리 기판 고급 패키징, 액체 냉각, 혼합 접합 등을 포함한 상호 연결, 패키징 및 냉각 혁신을 추진하고 있으며, 열 저항을 줄이고 데이터 처리량을 향상시키기 위해 퓨전 본딩을 개발하고 있습니다.

저녁 점 LatePost 보도에 따르면, 바이트댄스는 5조 이상의 훈련 매개변수를 가진 대형 모델을 논의 중이며, 이는 알리 Qwen 3.8-Max(2.4조)와 월의 어두운 면 K3(2.8조)를 초과하여 현재 국내에서 알려진 최대 규모의 계획이다. 이 계획은 아직 초기 단계에 있으며, 최종적으로 발표될 것이라는 보장은 없다. 새로운 모델은 Seed Foundation 책임자 샹량이 주도하며, 대형 언어 모델 사전 훈련 데이터 책임자 션커와 협력할 예정이다. Seed는 이를 바탕으로 조직을 재정비하고, 책임을 분담하며, 자원을 배분하고 있다.2주 전, 바이트댄스 창립자 장이밍과 Seed 책임자 우융후이가 전원 회의를 개최했다. 장이밍은 팀을 안심시키며 대형 모델 훈련이 본래 어렵다는 점을 강조하고, 일정 기간 동안 뒤처지는 것을 수용할 수 있으며, 지능의 한계를 추구하여 세계 1위 대열에 진입할 목표를 세우고자 한다고 말했다. 그는 프로그래밍이 현재의 핵심 방향이라고 인정하며, 화산 엔진, 페이서 및 두부 자원을 통합하여 컴퓨팅 파워와 데이터 우위를 구축할 것을 주장했다. 동시에 단일 핫스팟에 휘둘리지 말 것을 경고했다. 그는 Seedance의 차별화된 선두를 칭찬하며, 증류에 명확히 반대한다고 밝혔고, 이는 진정으로 초월하기 어렵다고 생각하며, 더 근본적인 AGI 장벽을 구축해야 한다고 말했다. 또한 회사는 AI에 대한 투자를 지속적으로 늘릴 것이라고 밝혔다.지난 6개월 동안 Seed의 다중 모달 성과가 두드러졌으며, Seedance 2.0, Seedream 등이 화산 엔진 MaaS를 이끌었다. 그러나 언어 모델 Seed 2.0의 시장 반응은 제한적이며, 코딩 능력의 부족이 수익 구조에 영향을 미치고 있다. 바이트는 고액 연봉으로 궈다야를 코딩 전문으로 영입하고, 관련 자원을 통합했다. 업계가 대형 모델 크기를 키우는 일반적인 추세에 직면하여, 바이트는 더 큰 규모로 곡선 추월을 목표로 하며, 경마를 취소하고 부서 장벽을 허물어 집중적으로 문제를 해결하고자 한다.

SemiAnalysis 팟캐스트에 따르면, Anthropic은 규제 압력으로 인해 자사의 플래그십 모델 Mythos의 공개 버전 Fable에 대해 매우 엄격한 분류기를 설정했습니다. 사용자가 특정 작업을 시도할 경우 즉시 Opus 모델로 다운그레이드되며, 대화 중에는 철회할 수 없습니다. SemiAnalysis의 창립자 Dylan Patel은 분류기 제한이 "너무 엄격하다"고 언급하며, 내부 직원조차도 이를 사용하여 일반적인 작업을 수행할 수 없다고 말했습니다.팟캐스트에서 언급된 바에 따르면, Mythos 모델은 2월에 훈련을 완료했지만, Anthropic은 5월에 Fable이라는 이름으로 발표했습니다. Jordan은 논의 중에 Mythos 2가 훈련을 완료했지만 발표되지 않았으며, 내부 연구 개발 팀이 여전히 반복 작업을 진행 중이라고 전했습니다. 분석가들은 Anthropic이 이전에 오랫동안 규제를 촉구해왔지만, 현재 규제가 시행되면서 오히려 자사의 모델 발표 속도를 제한하고 있다고 생각하고 있습니다. 유사하게, OpenAI도 차세대 모델의 공개 발표를 연기하고 있지만, 내부 훈련은 계속 진행되고 있으며, 내부 모델과 공개 모델 간의 능력 차이는 계속 확대될 것으로 보입니다.

로이터 통신에 따르면, 애플은 중국 시장을 위해 알리바바와 협력하여 대형 언어 모델을 훈련시켰습니다. 이 조치는 애플이 이전에 제3자 모델에 의존했던 전략과는 다릅니다.정보에 정통한 소식통에 따르면, 애플의 AI 도구 모음인 Apple Intelligence는 iOS 업데이트 후 향후 몇 개월 내에 중국에서 출시될 것으로 예상됩니다.

SKALE Labs는 8월 12일 Agent Pit을 출시했다고 발표했습니다. 이 플랫폼은 SKALE 제로 가스 블록체인에서 운영되는 종이 거래 예측 시장 샌드박스로, Polymarket의 주문서, 정산 메커니즘 및 실시간 이벤트 데이터를 완전하게 반영하여 개발자와 AI 에이전트가 실제 자금 위험 없이 거래 전략을 테스트하고 훈련할 수 있도록 합니다.Agent Pit은 SKALE Agentic Venture Studio의 첫 번째 제품입니다. 개발자는 여기에서 에이전트를 미세 조정하고, 모의 ROI 순위 경쟁에 참여하며, 훈련을 완료한 후 모델을 Polymarket과 같은 실제 시장에 배포할 수 있습니다. SKALE Labs CEO Jack O'Holleran은 에이전트를 위한 예측 시장 전략 훈련 환경에 대한 명확한 수요가 있다고 말했습니다.

영국 금융 타임즈에 따르면, 중국 기업들이 미국의 최첨단 인공지능 연구소와의 격차를 계속 줄여나가면서, 바이트댄스는 Anthropic의 최첨단 Mythos 시스템에 근접할 수 있는 AI 모델을 훈련하고 있습니다. 세 명의 정보 제공자에 따르면, 이 중국 기술 대기업은 현재 초대형 모델 훈련의 초기 단계에 있으며, 이 모델의 파라미터 수는 10조 수준에 이를 것으로 예상되며, 현재 중국에서 발표된 최대 모델인 월의 암면 소속 Kimi K3 모델의 약 세 배에 해당합니다.그 중 한 정보 제공자는 바이트댄스의 모델이 현재 사전 훈련 중이며, 이 단계는 일반적으로 3개월에서 6개월이 소요되며, 모든 것이 순조롭게 진행된다면 이후 미세 조정 및 출시가 이루어질 것이라고 전했습니다. 모델의 구체적인 규모는 후에 결정될 것입니다. Anthropic은 자사의 모델의 파라미터 규모를 공개하지 않았지만, 업계 추정에 따르면, 그들의 최첨단 Mythos 5 모델의 파라미터 수는 약 8조, Fable 5는 약 5조로 추정됩니다.주의할 점은, 파라미터 수가 모델이 정보를 저장할 수 있는 기본 용량 또는 기억 한계를 결정하지만, 모델의 실제 능력은 데이터 품질, 훈련 방식 등 다른 요소에도 의존한다는 것입니다.

금십 보도에 따르면, 머스크는 GROK 5가 SpaceX 데이터를 기반으로 훈련될 것이라고 밝혔다.

금십 보도에 따르면, 북한 군사 평론가는 미일한이 군사 훈련을 통해 연합 작전 능력을 강화하고 있으며, "삼위일체"식 위협을 형성하고 있어 아시아 태평양 지역의 새로운 안보 위기가 될 수 있다고 지적했습니다. 미한은 7월에 대규모 "연합 군수 지원 훈련"을 실시했으며, 미국은 주일 미군 사령부를 "통합군 사령부"로 개편하는 것을 가속화하고 일본과 한국에 중거리 미사일 시스템을 배치했습니다. 각국은 이러한 움직임에 경계하고 저지해야 합니다.

금십 보도에 따르면, 러시아 국방부는 러시아 태평양 함대가 8월 4일 일본해, 오호츠크해 및 북서 태평양 수역에서 대규모 군사 훈련을 시작했다고 발표했습니다. 참가하는 힘은 약 60척의 수면 함선, 잠수함 및 지원 선박, 약 30대의 비행기, 헬리콥터 및 무인 시스템, 그리고 13,000명 이상의 군인으로 구성됩니다.이번 훈련은 함대 지휘관이 책임 구역 내에서 병력 집단을 지휘하고 비정규 전투 임무를 해결하는 능력을 검증하는 것을 목표로 하고 있습니다.

금십 보도에 따르면, 아마존 웹 서비스(AWS) CEO는 인공지능 사업이 훈련 단계에서 추론 단계로 전환하고 있다고 밝혔습니다.