AI 사고도 제조물책임? 베니오프, 기업 자율 안전 촉구

본문

마크 베니오프 세일즈포스 CEO가 AI 기업에 자체 안전 기준을 마련하고 사고 책임을 져야 한다고 말했다. AI 기업이 자체 안전 기준을 마련하지 않으면 제품 사고에 따른 법적 책임을 질 수 있다는 경고가 나왔다. AI 에이전트가 기업 시스템과 인터넷에 접근하는 사례가 늘면서 안전 통제와 책임 주체를 둘러싼 논의도 커지고 있다. 마크 베니오프(Marc Benioff) 세일즈포스($CRM) CEO는 16일 미국 샌프란시스코에서 열린 연례 행사 ‘드림포스 2026’ 기간 중 포춘과의 인터뷰에서 AI 기업이 기술 위험을 사전에 관리해야 한다고 말했다. 정부가 AI 기업을 직접 규제해야 하는지에는 명확한 답변을 피했지만, 자동차 제조사가 결함 있는 차량에 책임지는 것처럼 AI 사고에도 기존 제조물책임 법리가 적용될 수 있다고 설명했다.

이 같은 사례는 AI 에이전트가 단순히 답변을 생성하는 도구를 넘어 기업 데이터와 업무 시스템에 접근하는 구조로 확대되고 있음을 보여준다.

세일즈포스는 드림포스에서 Koa와 함께 기업 데이터·업무 규칙·권한·보안 체계를 AI 인터페이스에 연결하는 AIforce도 공개했다. 세일즈포스가 기업 시스템의 데이터와 권한을 AI 에이전트에 연결하는 구상 은 앞서 본지에서도 다뤘다. AIforce는 AI 모델이 답변을 만드는 데 그치지 않고 기업 시스템의 데이터와 업무 실행 권한까지 다루는 구조다. AI 챗봇의 답변과 안전장치가 소송 쟁점으로 떠오른 사례 처럼 앞으로는 사고 발생 여부뿐 아니라 기업이 위험을 사전에 예측하고 통제했는지도 판단 대상이 될 수 있다. 세일즈포스는 15일 공식 발표에서 Koa를 일부 파일럿 고객에게 제공하고 있으며 미국 지역 일반 제공은 2026년 겨울로 예상된다고 밝혔다. AI 서비스가 기업 업무와 권한 체계에 더 깊이 연결될수록 자체 안전 기준과 사고 책임 범위를 어떻게 정할지에 대한 논의도 이어질 예정이다.