OpenAI: 최전선 강화 학습 훈련 전에 안전 증명을 제출해야 합니다

OpenAI는 2026년 9월 28일 안전 관련 기사를 발표하며, 모든 최전선 강화 학습 훈련을 계속하기 전에 구조화된 안전 문서를 제공해야 한다고 주장했습니다. 이상적으로 이러한 문서는 항공, 원자력 등 안전이 중요한 산업에서 사용되는 증거 기반의 구조화된 위험 논증 수준에 도달해야 합니다. OpenAI는 이를 노력의 방향으로 삼고 있으며, AI 능력의 출현으로 인한 복잡성 때문에 동일한 엄격함을 달성하기 어렵다는 점을 인정합니다.

이 기사는 최전선 강화 학습 훈련에 초점을 맞추고 있으며, 내부 및 외부 배치에 필요한 더 광범위한 정렬 속성은 다루지 않습니다. 문서에서 제안하는 내용은 현재의 관행에 해당하며, 앞으로도 계속 진화할 것으로 예상되며 OpenAI 내부에서 시행되고 있습니다. 기술적 방어는 모델 정렬, 격리 및 모니터링을 포함해야 하며, 여기에는 긍정적 강화 보상 투기 방지, 오프라인 정렬 평가 및 스트레스 테스트, 자동 점검자가 사고 체인을 보지 못하도록 하는 것, 다층 인프라 보안, 샌드박스 레드팀, 고대역폭 샘플 간 통신 제한 및 불변 저장 에이전트 기록이 포함됩니다.

운영 기준에는 팀 간 사전 이의 제기, 고위 경영진의 거부권이 있는 승인, 훈련 책임자가 안전 논증 및 사건 대응에 책임을 지는 것, 실패 시 중단, 내부 감독, 감사 접근 및 심각도에 따른 업그레이드가 포함됩니다. 심각한 불일치 사건에 대해 OpenAI는 원본 기록에 대한 통제된 접근, 근본 원인 분석, 운영 및 문화 회고를 제안하며, 사건 파생 평가를 회귀 테스트로 삼습니다. 조사 종료 후 결과를 공개하고, 회고 및 운영 변경을 진행하며, 영향을 받은 제3자에게 신속하게 통지합니다.