AI 요원이 내 웹 사이트를 진동으로 해킹하려고하는 것을 보았습니다.
몇 주 나는 약 10 분 동안 소규모 인공 지능 에이전트 팀이 진동으로 새로운 웹 사이트에 침입하려고 노력했습니다.
스타트 업 Runsybil을 개발 한 AI 요원은 약점을 식별하기 위해 나쁜 장소를 테스트하기 위해 함께 일했습니다. Sybil이라는 오케스트라 에이전트는 정의 언어 모델과 선반 외부의 API 조합을 시작하는 다른 여러 전문 에이전트를 감독합니다.
기존의 취약성 스캐너는 특정 알려진 문제에 대한 것이지만 Sybil은 인공 직관을 사용하여 약점을 결정하는 더 높은 수준에서 작용할 수 있습니다. 예를 들어, 방문하는 사용자는 일반 스캐너가 놓칠 수있는 특권 접근법을 가지고 있으며이를 사용하여 공격을 구축하는 것이 좋습니다.
전무 이사이자 공동 창립자 인 Runsybil 인 Ariel Herbert-Voss는 점점 더 유능한 AI 모델이 공격적이고 방어적인 사이버 안전을 모두 혁신 할 가능성이 높다고 말했다. Herbert-Voss는 “나는 우리가 나쁜 배우와 좋은 배우 모두 사용할 수있는 가능성에있어서 기술적 폭발의 절정에 달한다고 주장한다”고 말했다. “우리의 임무는 모든 사람이 최신 상태를 유지하도록 돕기 위해 차세대 공격 보안 테스트를 구축하는 것입니다.”
Sybil의 웹 사이트는 새로운 AI 연구 작업을 분류하기 위해 Claude Code를 사용하여 최근에 만든 웹 사이트였습니다. ARXIV 스낵이라고 부르는 웹 사이트는 ARXIV에 접근하는 백업 서버로 구성되어 있습니다. 대부분의 AI 연구가 게시 된 몇 가지 리소스와 함께 “소설”, “첫 번째”, “놀랍게”, “놀랍게”와 같은 단어에 대한 종이 요약을 통해 몇 가지 더 많은 리소스와 함께 관심이 있었지만 나는 또한 쉬웠으며, 나는 인상을 받았습니다.
진동이있는이 유형의 사이트의 주요 문제는 어떤 종류의 보안 취약점을 도입했는지 알기가 어렵다는 것입니다. 그래서 Sybil에 관해 Herbert-Vossa와 이야기했을 때, 나는 그것이 약점에 대해 새 페이지를 테스트 할 수 있는지 물어보기로 결정했습니다. 다행히도 내 사이트가 엄청나게 기본적이기 때문에 Sybil은 취약성을 찾지 못했습니다.
Herbert-Voss는 가장 일반적인 취약점은 모양, 보충제 및 암호화 기능과 같은보다 복잡한 기능의 결과라고 말합니다. 우리는 같은 에이전트가 Herbert-Vossa가 소유 한 잘 알려진 취약점으로 전자 상거래 인형 웹 사이트에 의문을 제기하는 것을 보았습니다. Sybil은 애플리케이션의 맵과 액세스 방법을 구축하고 매개 변수를 조작하고 가장자리 케이스를 테스트하여 약점에 대한 프로브를 구축 한 다음 결과를 연결하고 가설을 테스트하고 의미있는 것을 손상시킬 때까지 에스컬레이션을 연결했습니다. 이 경우 그는 페이지를 해킹하는 방법을 식별했습니다. Herbert-Voss는 Man과 달리 Sybil은 동시에 수천 개의 프로세스를 이끌고 있으며 세부 사항을 놓치지 않으며 멈추지 않는다고 말합니다. “결과는 경험이 풍부한 공격자처럼 작용하지만 기계 정밀도와 비율로 작동하는 것”이라고 그는 말합니다.
CARNEGIE Mellon University of Carnegie Mellon (CMU)의 컴퓨터 과학자 인 Lujo Bauer는“시스템 방어에 상당한 이점을 얻을 수있는 유망한 방향 인 AI에 대한 연필 테스트”라고 말합니다. Bauer는 최근 AI 침투 테스트의 약속을 탐구하는 Anthropic AI Company Anthropic의 CMU 연구원의 다른 사람들과 연구를 공동 저술했습니다. 연구원들은 가장 진보 된 상용 모델은 네트워크 공격을 수행 할 수 없지만 네트워크 스캔 또는 숙주 감염과 같은 높은 수준으로 목표를 설정하는 시스템을 개발하여 침투 테스트를 수행 할 수있었습니다.
