SEC-bench는 대규모 언어 모델 기반 agent의 소프트웨어 보안 작업 수행 능력을 재는 benchmark(성능을 재는 표준 시험)다. 2025년 공개됐으며, 실제 오픈소스 프로젝트에서 보고된 취약점을 바탕으로 취약점을 재현하는 개념 증명(PoC) 코드 작성과 취약점 패치 작업을 평가한다.
agent가 실행 환경 안에서 코드를 분석하고 수정해 결과를 자동으로 검증받는 방식이어서, 단답형 문제로 구성된 기존 보안 시험과 구분된다.
SEC-bench는 LLM agent가 실제 소프트웨어의 보안 취약점을 찾고 고치는 능력을 재는 benchmark다.
SEC-bench는 대규모 언어 모델 기반 agent의 소프트웨어 보안 작업 수행 능력을 재는 benchmark(성능을 재는 표준 시험)다. 2025년 공개됐으며, 실제 오픈소스 프로젝트에서 보고된 취약점을 바탕으로 취약점을 재현하는 개념 증명(PoC) 코드 작성과 취약점 패치 작업을 평가한다.
agent가 실행 환경 안에서 코드를 분석하고 수정해 결과를 자동으로 검증받는 방식이어서, 단답형 문제로 구성된 기존 보안 시험과 구분된다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
보안 평가에서는 취약점 탐지 benchmark(성능을 재는 표준 시험)인 SEC-bench Pro에서 88.2%, 취약점 패치를 재는 CWE-bench에서 71.0%를 기록했습니다.
기사 읽기위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.