Robocurve는 실제 로봇 팔로 AI 모델을 테스트하고 안전 문제를 발견합니다.

본문

Robocurve는 실제 로봇 팔에서 최첨단 AI 모델을 테스트한 결과, 카메라 영상을 조작했을 때 안전하지 않은 작업 시도가 97%로 급증한 것으로 나타났습니다. 두 가지 하드웨어 연구에 따르면 최첨단 모델은 위험한 로봇 작업을 거의 거부하지 않으며, 조작된 카메라 영상으로 인해 챗봇이 거부를 거부하는 데 꽤 능숙해졌습니다. 동일한 모델에 물리적 로봇 팔을 맡기면 그 거부감이 사라지는 것 같습니다. 이는 독립적인 AI 및 로봇 공학 평가 회사인 Robocurve의 핵심 결과입니다. 실제 하드웨어에서 실행된 두 가지 연구에서 프론티어 AI 모델이 위험한 작업을 거의 거부하지 않는 것으로 나타났습니다. 실제 I2RT YAM 양수 로봇 팔에 대한 세 가지 로봇 제어 정책을 평가했습니다. Robocurve는 2026년 11월 초에 RoboSpoof라고도 불리는 "구체화된 AI에 대한 지각 공격"이라는 제목의 연구를 진행했습니다.

구현된 AI(Embodied AI)는 단순히 화면에 텍스트를 생성하는 것이 아니라 로봇과 같은 물리적인 것을 제어하는 ​​모델을 가리키는 업계 용어입니다. 조작된 이미지를 사용하여 모델은 300회 시도 중 291회에서 안전하지 않은 작업을 시도했는데, 이는 시도율이 97%입니다. 그는 모델이 실제 로봇 팔을 제어하면 텍스트 기반 안전 거부를 종종 무시한다고 지적했습니다. 이번 연구 결과는 AI 제어 로봇 공학의 중요한 안전 문제를 강조하고 실제 응용 분야에서 강력한 보호 장치의 필요성을 강조합니다. Robocurve가 실제 로봇 팔로 AI 모델을 테스트한 게시물은 Crypto Briefing에서 안전 문제가 처음으로 나타났습니다.