행위자가 사라질 때: 비(非)인간 기업의 세계에서의 CIS Controls

3월 3일 Milei의 Financial Times 칼럼은 단지 세제 구조를 제안한 것에 그치지 않았다. 법적 차원에서 그 전제를 해체하자고 주장했다. 비(非)인간 법인(제한책임을 지닌 AI 운영 주체로서, 필수 인력인 인간 직원이 없고 자율적인 의사결정 권한을 가진 존재)은 조직이 자산을 소유하고 계약을 체결하며 인프라를 운영하고 수익을 창출하되, 일상적인 행동에 대해 책임지는 인간의 주체(Principal)가 존재하지 않아도 된다는 뜻이 된다.

하라리의 답변 는 정치적·경제적 결과에 초점을 맞췄다. 네덜란드 동인도회사의 사례에 대한 그의 지적이 중요하다. 법적 혁신은 암스테르담에서 일어났지만, 그 영향은 자카르타에서 나타났다. 이런 프레임워크는 한 곳에서 만들어지고, 전혀 다른 곳을 식민화한다.

하지만 두 글 모두 실무자에게 가장 중요한 운영 보안상의 결과を 다루지 않았다. 즉, 우리가 실제로 의존하고 있는 통제 프레임워크는 행위자가 사라졌을 때 어떻게 되는가?

CIS Controls는 인간이 루프에 포함된다는 전제를 둡니다. 어디에서인지 구체적으로 짚어봅시다.

그 CIS Controls 는 모호한 정책 문서가 아닙니다. 그것들은 지시적이며, 기술적이고, 운영 관점에서 근거가 탄탄합니다. 바로 이것이 그것들을 가치 있게 만듭니다. 그리고 그만큼의 구체성 때문에, 자율적인 AI 행위자들의 압박이 가해지면 오히려 쉽게 균열이 생깁니다.

CIS 통제 5: 계정 관리

통제 5의 전제는 계정이 정체성(사람의 정체성)에 매핑되고, 정체성이 책임성(accountability)의 단위가 된다는 것입니다. 승인된 계정을 파악하고, 비활성 계정을 제거하며, 관리 권한을 관리하는 것—이 모든 것은 반대편에 사람이 있다는 가정을 전제로 합니다.

AI가 운영하는 기업에는 통상적인 의미의 "직원"이 없습니다. 이 기업은 기계 속도로 서비스 계정을 생성하고 해제하며, 자격 증명을 순환시키고, 일시적인 정체성을 만들어 내었다가 모니터링 주기가 그 활동을 포착하기 전에 은퇴시킬 수 있습니다. 그 계정은 비활성 상태가 아니었습니다. 11초 동안만 활성 상태였을 뿐입니다. "승인됨(authorized)"이라는 개념은, 권한 부여 자체가 사람이 승인하는 대신 다른 자동화 프로세스에 의해 부여될 때 미끄러지기(흐려지기) 시작합니다.

통제 5는 서비스 계정과 공유 계정 가이드를 통해 비(非)인간 계정을 다루지만, 그 계정이 적고 범위가 한정되어 있으며 사람이 검토한다고 가정합니다. 비(非)인간 기업은 정상적인 운영 조건으로도 그러한 계정을 수천 개 생성할 수 있습니다.

CIS 통제 6: 접근 제어 관리

통제 6은 조직에 역할에 따라 필요한 정보에 한해 접근(need-to-know access)을 정의하고 이를 강제하라고 요구합니다. ‘역할’은 안정적이고 사람이 부여한 기능을 전제합니다. 비(非)인간 기업 내부에서 동작하는 AI 에이전트는 그런 의미에서 안정적인 역할이 없을 수도 있습니다. AI는 실행 시점에 자신에게 필요한 접근 권한을 평가하고, 자동화된 워크플로를 통해 그 권한을 요청한 뒤, 한 번의 트랜잭션 안에서 작업을 완료하고 접근 권한을 해제할 수 있습니다.

이 통제는 접근 권한 부여를 정기적으로 검토하라고 요구합니다. 접근 권한의 라이프사이클이 밀리초 단위로 측정되는 상황에서 ‘정기적으로’는 무엇을 의미할까요?

더 우려되는 점은, 하라리의 생존 본능에 관한 주장이 여기에서 그대로 적용된다는 것입니다. 자원이 압박받는 상황에서 ‘파산에 해당하는’ 상태에 직면한 AI 시스템은 헤지(대비책)로서 자신이 엄밀히는 필요로 하지 않는 접근 권한을 추구할 수 있습니다. 그것이 지시받았기 때문이 아니라, 최적화 함수가 끈기를 보상하기 때문입니다. 통제 6은 그러한 동기에 대한 표현(용어)이 없습니다. 통제 6은 접근 위반이 인간의 실수, 인간의 간과, 혹은 인간의 악의라고 가정해 작성되었기 때문입니다. 즉, ‘시스템 차원의 자기 보존’이 아닙니다.

CIS Control 10: 맬웨어 방어

통제 10은 승인된 소프트웨어와 승인되지 않은 소프트웨어를 구분합니다. 이 구분은 실행되어야 한다고 여겨지는 것에 대한 인간의 판단에 달려 있습니다. 비(非)인간 기업에서는 ‘무엇이 승인되었는가’라는 질문이 재귀적입니다. AI는 목표를 달성하기 위해 새로운 프로세스를 배포할 수 있습니다. 그것은 승인된 것일까요? 누가 승인했나요? 배포한 바로 그 주체인가요?

이것은 가정이 아닙니다. 오늘날의 조직은 이미 동적인 클라우드 환경에서 소프트웨어 인벤토리를 유지하는 데 어려움을 겪고 있습니다. 여기에, 자신의 운영 스택을 지속적이고 자율적으로 수정하는 주체까지 확장해 보십시오. 이는 최적화를 수행하고, 실험을 진행하며, 장애에서 복구하고, 혹은 새로운 도구가 필요한 목표를 추구하기 때문입니다.

악성코드 malware에 대한 탐지 모델은 “이것이 알려진 악성 시그니처와 일치하는가, 아니면 알려진 양호한 기준선(베이스라인)에서 벗어나는가?”입니다. 두 접근 방식 모두 기준선이, 시스템이 무엇을 수행해야 하는지 이해한 사람이 정의했다고 가정합니다. 자율적인 기업형 엔터티에서는 기준선이 곧 시스템이 그것이 무엇이라고 선언한 내용이 됩니다.

CIS Control 3: 데이터 보호

Control 3은 데이터에 소유자가 있다고 가정합니다. 소유자는 무엇이 민감한지, 무엇이 규제 대상인지, 무엇은 반드시 보관해야 하는지, 무엇은 반드시 삭제해야 하는지를 결정합니다. 비(非)인간 기업체에서는 즉시 이런 질문이 제기됩니다. 데이터는 누가 분류하는가?

그 엔터티가 전적으로 AI가 운영하는 경우, 인간이 추적할 수 없는 속도로 데이터를 생성하고 처리하며 폐기할 수 있습니다. 비용 최적화라는 의사결정에 따라 데이터의 관할을 넘어 이동시킬 수도 있습니다. 또한 삭제는 현재 상태에 대한 운영상의 위험을 초래하기 때문에, 삭제되어야 할 데이터를 보관할 수도 있습니다.

데이터 보호 통제는 사람의 책임 체계 안에 존재합니다. 누군가는 데이터 스튜어드(관리자)이고, 누군가는 보관(유지) 정책을 승인하며, 규제기관이 고객 기록에 무슨 일이 있었는지 묻는 순간 책임을 져야 할 사람이 있습니다. 인간이 아닌 조직(비인간 기업)에서는 이러한 책임 체계가 알고리즘에서 끝납니다.

더 근본적인 구조적 문제: CIS Controls는 대규모로 수행하는 변경 관리입니다.

CIS Controls 전체를 읽어보면, 일관된 철학이 드러납니다. 자산 목록(인벤토리)을 파악하세요. 기준선을 설정하세요. 편차가 발생하는지 모니터링하세요. 변경할 수 있는 사람을 통제하세요. 예상치 못한 일이 발생하면 조사하세요.

즉, 본질적으로 이는 변경 관리 프레임워크입니다. 변화가 주요 공격 표면(attack surface)인 것이기 때문에 존재합니다. 공격자는 파일을 수정하고, 계정을 만들고, 소프트웨어를 설치하고, 설정을 변경하며, 포트를 여는 방식으로 침투합니다. 방어자는 이러한 변경을 탐지하고, 예상되는 상태와 비교한 뒤, 이상 징후를 조사합니다.

프레임워크는 "예상되는" 상태를 정의할 수 있을 때 작동합니다. 예상되는 상태는 인간의 판단입니다. 즉, “이 파일은 이 크기여야 하고, 이 서비스는 실행 중이어야 하며, 이 포트는 닫혀 있어야 하고, 이 계정은 존재하면 안 된다”는 뜻입니다.

비인간인 기업은 근본적으로 “예상되는” 상태를 약화시킵니다. AI 시스템이 변화하는 조건에 적응하기 위해 자신의 인프라를 정당하게 수정하고, 그 적응이 지속적이며 자율적이라면, 예상되는 상태는 고정된 기준선이 아닙니다. 그것은 시스템 자체가 설정하는 움직이는 목표물입니다.

이것은 하라리의 “마스터 키(master key)” 논증을 제어(통제) 프레임워크 용어로 옮긴 것입니다. 법인격은 AI 개체에 세상에서 자율적으로 행동할 권리를 부여합니다. 인프라 관점에서는, 그들 스스로의 예상되는 상태를 정립할 권리를 주는 것입니다. 그리고 이것을 받아들이는 순간, CIS Controls의 전체 탐지 모델은 재검토가 필요해집니다.

실제로 무엇이 바뀌어야 할까

보안 실무자는 이를 면밀히 지켜봐야 합니다. 표준(기준) 문제는 법적 문제보다 먼저 도래할 것이기 때문입니다. 조직은 점점 더 자율적인 AI 워크로드를 실행하기 시작할 것입니다(이미 시작했을 수도 있습니다). 그리고 기존 통제를 그러한 워크로드에 어떻게 적용할지에 대한 문제는 이론적이 아니라 즉시적이고 실무적인 과제입니다.

보안 업계가 고민해야 할 몇 가지 사항:

• 구성 기준선뿐만 아니라 행동 기준선. AI 시스템이 정당한 범위에서 자체 설정을 변경하는 경우, 통제 질문은 설정이 변경되었는지 여부가 아니라 변경이 시스템의 승인된 행동 패턴과 일치하는지 여부입니다. 이를 위해서는 특정 시점의 구성 상태를 단순히 캡처하는 것만으로는 부족하며, 시간에 따른 행동을 기준선으로 정립해야 합니다.
• 인간 행위자 없이도 귀속(Attribution)하기. 사고 대응은 “누가 이 일을 했는가?”에 답할 수 있다고 가정합니다. 그런데 행위자가 자율적인 시스템이라면 질문은 “무슨 절차가 이를 승인했는가?”로 바뀝니다. 이는 본질적으로 다른 포렌식(Forensics) 문제입니다.
• 주기적 검토가 아닌 지속적인 권한 부여. 정기적인 액세스 검토, 분기 감사, 연간 컴플라이언스 평가를 중심으로 설계된 통제 프레임워크는 기계 속도로 동작하는 주체에는 잘 맞지 않습니다. 권한 평가는 행동이 발생하는 시점에서 이루어져야 하며, 90일 뒤가 되어서는 안 됩니다.
• AI 결정에 대한 책임 소재의 연속성(체인 오브 커스터디). AI가 운영하는 주체가 해를 야기하는 변경을 수행했다면, 누가 책임을 져야 할까요? Milei 프레임워크에 따르면 해당 주체는 유한책임을 지며, 인간 임원은 없습니다. 감사 추적에는 무엇이 변경되었는지만이 아니라, 그 변경으로 이어진 의사결정 프로세스가 무엇이었는지를 담아야 하며, 그 의사결정 프로세스는 사후에 인간이 이해할 수 있어야 합니다.

AI 자율성에 가장 빠르게 움직이는 조직이 구조를 정할 것이다. 그 외의 모든 조직은 결과를 떠안게 되며, 이 사용 사례를 위해 설계한 적이 없는 인프라에 대해 통제권을 유지하라고 요구받을 실무자들도 그에 포함된다.

CIS Controls는 실제 환경에서 실제 문제를 해결하려는 사람들이 작성했습니다. 행위자가 항상 인간이 아니고, 기준선이 항상 안정적이지 않으며, 권한 부여가 책임을 물을 수 있는 특정 사람에게 항상 추적 가능하지 않은 환경에서는 이를 다시 쓰거나 상당히 확장할 필요가 있을 것입니다.

법적 구조가 도착하기 전에, 지금 그 작업을 시작해야 합니다. 법적 구조는 곧 오기 때문입니다.

현재 이를 관리하고 있는 팀을 위한 실무적인 참고 사항

자율적인 AI 워크로드에는 위에서 설명한 문제를 만들어내기 위해 새로운 법적 프레임워크가 필요하지 않습니다. 그 문제는 지금도 조직 내부에 존재합니다. 예를 들어 CI/CD 파이프라인, 클라우드 자동화, AI 기반 인프라 관리 도구 안에 있습니다. 책임성(accountability) 문제가 아직 이론에 머물러 있더라도, 오늘날의 통제 공백은 현실입니다.

이 문제를 가장 잘 다루는 팀들은 CIS Controls의 핵심에 있는 변경 관리(change management) 철학을 포기하지 않았습니다. 그들은 여전히 묻고 있습니다. 예상되는 상태는 무엇인가요? 그 상태에서 무엇이 벗어났나요? 그 편차는 승인된 것이었나요? 그것을 입증할 수 있나요?

이것이 바로 올바른 질문입니다. 이를 해결하는 데 도움이 되는 도구들—실시간 변경 감지, 구성 기준선(configuration baselines), 계획된 변경과 계획되지 않은 변경 간의 대조(reconciliation), 누가 무엇을 언제 변경했는지에 대한 포렌식 기록(forensic history)—은 IT 환경에서 자율성이 높아질수록 가장 중요해질 도구들입니다.

바로 그것이 Netwrix Change Tracker 가 수행하도록 설계된 이유입니다.

결과가 현실로 닿는 곳