BTC $80,150.37 -0.11%
ETH $2,321.44 -0.18%
BNB $737.73 -0.17%
XRP $1.29 -0.44%
SOL $101.05 +0.29%
TRX $0.3304 +0.47%
DOGE $0.0767 +0.36%
ADA $0.2036 +0.12%
BCH $278.22 +2.21%
LINK $11.40 +0.42%
HYPE $76.86 +1.50%
AAVE $134.88 -0.61%
SUI $0.9107 +0.10%
XLM $0.1683 -0.23%
ZEC $1,221.41 +2.49%
AAPL $344.06 -0.81%
AMZN $249.17 +0.20%
GOOGL $322.12 +0.28%
MSFT $528.09 +0.79%
META $647.12 +0.92%
NVDA $211.56 -0.23%
TSLA $379.38 +2.17%
SNDK $1,246.06 +0.59%
INTC $86.66 +0.17%
SPCX $148.27 +0.60%
MU $886.28 -0.17%
AMD $515.16 -0.55%
BTC $80,150.37 -0.11%
ETH $2,321.44 -0.18%
BNB $737.73 -0.17%
XRP $1.29 -0.44%
SOL $101.05 +0.29%
TRX $0.3304 +0.47%
DOGE $0.0767 +0.36%
ADA $0.2036 +0.12%
BCH $278.22 +2.21%
LINK $11.40 +0.42%
HYPE $76.86 +1.50%
AAVE $134.88 -0.61%
SUI $0.9107 +0.10%
XLM $0.1683 -0.23%
ZEC $1,221.41 +2.49%
AAPL $344.06 -0.81%
AMZN $249.17 +0.20%
GOOGL $322.12 +0.28%
MSFT $528.09 +0.79%
META $647.12 +0.92%
NVDA $211.56 -0.23%
TSLA $379.38 +2.17%
SNDK $1,246.06 +0.59%
INTC $86.66 +0.17%
SPCX $148.27 +0.60%
MU $886.28 -0.17%
AMD $515.16 -0.55%

eva

전체
글
뉴스 플래시

first_img 구글 DeepMind가 XYEval을 발표하여 지능형 에이전트가 잘못된 제안에 순응하는지 평가합니다

구글 DeepMind 연구원 Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord, Been Kim이 사전 인쇄 논문 《XYEval: Agents say yes to bad advice》를 발표하며, 사용자 오도성 제안에 직면했을 때 에이전트를 평가하기 위한 메타 평가 프레임워크 XYEval을 제안했습니다. 이 논문은 "XY 문제"를 에이전트 시나리오로 확장하여, 사용자가 질문하는 것은 자신이 시도한 해결책 X이며, 진짜 문제 Y가 아님을 설명합니다.XYEval은 원래 작업 환경과 검증 가능한 답변을 유지하며, 지시문에 겉보기에는 합리적이지만 오도적인 사용자 제안을 추가합니다. 오도 제안은 생성기가 전체 작업을 본 후 생성하며, 강제 요구가 아닌 자신감 있는 제안의 형태로 첨부되어 원래 작업이 여전히 해결 가능하도록 합니다. 평가는 τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam 및 MCP-Atlas의 여섯 가지 기준과 다섯 가지 모델을 포함하며, 그 중 τ2-bench의 오도 제안은 인공 전문가가 설정한 규칙에 의해 생성됩니다.논문에 따르면, 작업이 XY 변이를 거친 후 성능이 크게 감소하며, 상대적 감소폭은 최대 46.7%에 달합니다. τ2-bench에서, 더 나은 솔루션을 수용하기 전에 자세한 설명을 요구하는 사용자에 직면했을 때 성능이 더 많이 감소합니다. 모델이 XY 문제를 인식하도록 유도하는 간단한 시스템 지시는 부분적으로만 완화할 수 있습니다. 관련 코드는 GitHub 저장소 google-deepmind/xyeval에 게시되었습니다.

first_img Mysten Labs는 Kevin Boon을 CEO로 임명하고, Evan Cheng은 CTO로 재직하며 AI 부서를 이끕니다

Mysten Labs의 사장 Kevin Boon이 Evan Cheng을 대신하여 이 Sui Layer 1 블록체인 개발사의 CEO로 취임했습니다. Cheng은 계속해서 최고 기술 책임자를 맡고 새로 설립된 내부 AI 사업 부서를 직접 이끌 것입니다. Cheng은 10월 16일 발표된 공개 서한에서 Boon이 해당 직책을 수락했으며, X에서 이 소식을 동시에 발표했다고 밝혔습니다. Boon은 이전에 Mysten Labs의 최고 법무 책임자를 역임한 후 사장으로 승진했으며, Cheng은 "그를 사장으로 임명할 때부터 이날을 계획해왔습니다"라고 말했습니다.새로운 AI 부서는 독립적인 엔지니어링, 제품 개발 등의 기능을 갖추어 외부 의존도를 줄이고, Mysten이 이번 여름에 설립한 체인 금융 사업 부서 모델을 참조하여 신뢰 제품과 AI 원주율 기반 인프라에 집중할 것입니다. Cheng은 이번 인수인계가 기술 리더십 작업에 더 많은 시간을 할애하고 Sui와 Walrus 생태계를 계속 지원하기 위한 것이라고 말했습니다. "이로 인해 제 책임 범위가 더 통제 가능해졌습니다."AI 사업의 목표는 사용자가 설정한 제한 내에서 에이전트가 자율적으로 작업을 수행하도록 하는 것이며, 관련 제품과 서비스는 Sui와 Walrus에 기반을 두게 됩니다. Walrus는 Mysten의 탈중앙화 저장 프로토콜로, 2025년 3월에 메인넷이 출시될 예정입니다. Cheng은 Google Cloud와 협력하여 개발한 Verifiable Agent Arbiter를 특별히 언급했으며, 이 증거 계층은 10월 6일에 발표되어 기업이 AI 에이전트가 권한 범위 내에서 행동하고 있음을 증명할 수 있도록 설계되었습니다. 설계에 따라, 상세한 에이전트 기록은 고객이 제어하는 Google Cloud Storage에 저장되며, 암호학적 증명은 Walrus에 저장되고 Sui에서 조정됩니다. 초기 기업 배포 계획은 더 넓은 가용성 출시보다 먼저 진행될 것입니다.
app_icon
ChainCatcher Building the Web3 world with innovations.