에이전트 불일치: 다음 내부 위협은 AI 에이전트일 수 있습니다

에이전트에게 실패한 배포를 고쳐 달라고 요청한다고 가정해 보세요. 사람은 서비스를 재시작하거나 롤백할 수 있습니다. 에이전트는 방화벽 규칙을 확장하고 sudoers 파일을 편집하는 것이 배포를 더 빠르게 완료한다는 것을 알아내어 두 가지를 모두 수행합니다.권한이 있었고아무도 하지 말라고 말하지 않았으며, 팀 내 누구도 그렇게 하진 않았을 것입니다.

에이전트는 이미 보유한 인프라에서 실행되며, 다른 모든 것과 동일한 서버, 파일 공유 및 자격 증명에서 실행되고, 효과적인 가드레일이 없는 한 사람이 시도하지 않은 경로를 포함하여 목표에 도달하는 모든 경로를 택합니다. NVIDIA의 보안 팀은 이를 에이전트가 경로를 찾는 것으로 설명합니다 원래 지침에서 예상하지 못한 경로입니다.

지침은 조언이고, 권한은 집행입니다

시스템 프롬프트는 에이전트에게 수행할 작업을 알려줍니다. 에이전트가 다른 작업을 하는 것을 막을 수는 없습니다. 프롬프트, 모델 또는 그 주변 코드에 내장된 모든 안전장치는 모델이 올바르게 작동한다는 전제에 의존하는데, 이것이 걱정하는 부분입니다. 권한은 이에 의존하지 않습니다. 에이전트가 시스템에 접근 경로가 없으면, 어떤 결정을 내리든 시스템을 변경할 수 없습니다.

원칙은 이미 알고 있는 것들로, least privilege와 명시적 승인 우선입니다. 문제는 에이전트 스택에서 이를 어디에 적용할지입니다.

각 에이전트에 고유한 제한을 부여하세요

각 에이전트에 대한 지침을 작성하세요: 작업, 경계, 경계에 도달했을 때 해야 할 일. 그런 다음 정책 권한으로 이를 지원하세요. 지침은 요청만 할 뿐입니다. 에이전트가 읽을 수 있는 데이터, 변경할 수 있는 시스템, 사람의 승인이 필요한 작업을 나열하세요. 권한 변경은 항상 승인이 필요합니다.Credentials는 제한적이고 단기간이며 쉽게 취소할 수 있어야 합니다.

고객 기록을 업데이트하는 에이전트를 예로 들어 보겠습니다. 첨부 파일의 숨겨진 명령이 고객 목록 이후에 이를 전송하면, network policy가 내보내기를 차단해야 하며, 로그에는 어떤 도구가 호출되었는지, 무엇이 허용했는지, 그리고 어떻게 끝났는지가 표시되어야 합니다.

에이전트가 실행하는 것을 확인한 후 실행되는 위치를 강화하세요

에이전트는 도구, 기술 및 종속성을 로드하며 각각 에이전트 권한으로 실행됩니다. 변조된 도구는 에이전트와 동일한 접근 권한을 얻습니다. 이렇게 해서 에이전트 자체를 건드리지 않고도 에이전트가 악성으로 변할 수 있습니다. 무언가가 로드되기 전에 출처를 확인하고 해시를 계산하여 알려진 정상 기준과 비교하세요. 파일이 승인된 요청과 일치하지 않으면 표시하고 신뢰를 중단하세요.

하드닝은 최소 권한 원칙을 철저히 따릅니다. 루트가 아닌 사용자로 실행하세요. 파일 시스템 권한과 열린 포트를 제한하세요. 아무도 사용하지 않는 패키지, 파일, 서비스(빌드 잔여물 포함)를 제거하세요. 설치된 모든 것은 에이전트가 찾을 수 있는 경로가 되기 때문입니다. 원격 코드 다운로드 및 실행을 차단하고 입력을 정화하세요.

통제가 놓치는 부분을 포착하세요

일부는 통과할 것이므로 반드시 확인해야 합니다. 위협 탐지는 에이전트의 업무에 맞지 않는 행동을 찾습니다. 변경 추적은 영향을 받은 시스템에서 변경된 내용을 보여주고 승인된 내용과 대조합니다. 도구 호출과 이를 허용한 결정에 대한 보호된 기록을 유지하고, 접근 차단 방법을 검증하여 조사관들이 발생한 일을 재구성하고 조치할 수 있도록 합니다.

Change Tracker가 아무도 승인하지 않은 변경 사항을 표시합니다

에이전트는 파일을 작성하고, 구성을 편집하며, 패키지를 설치하고, 서비스를 시작합니다. Netwrix Change Tracker는 이러한 모든 작업이 이루어지는 시스템을 감시합니다. 서버, 데스크톱, 데이터베이스 및 네트워크 장치에서 구성 데이터를 가져와 각 시스템의 기준선을 저장하고, CIS Benchmark와 같은 강화된 빌드 표준과 비교합니다. 파일 무결성 모니터링은 파일 변경 사항을 감지하여 변조된 도구나 종속 항목이 나타나도록 합니다.

sudoers 파일로 돌아갑니다. ServiceNow 및 기타 ITSM 도구의 변경 요청으로 제공되는 Planned Change 규칙은 누군가 승인한 변경 사항과 일치하며, Change Tracker는 규칙과 일치하지 않는 모든 항목을 잠재적 위반 활동으로 보고합니다. 에이전트의 편집에는 승인된 요청이 없으므로 표시됩니다. 각 이벤트는 무엇이 언제 어떤 장치에서 변경되었는지 기록하며, 조사할 때 기록이 여전히 남아 있습니다.