숨은 지침으로 AI 어시스턴트를 노리는 피싱 이메일

요약

피싱 이메일이 수신자뿐 아니라 이메일을 처리하는 AI 어시스턴트까지 겨냥하도록 설계되고 있습니다. 이 글은 사람이 열어 보도록 유도하는 비밀번호 보호 첨부파일과, AI의 요약 또는 처리 방식을 바꾸려는 숨은 지침을 함께 넣은 이메일에 관한 Barracuda의 최근 연구를 소개합니다. 숨은 지침은 의심스러운 이메일을 정상적이거나 긴급한 것으로 설명하게 하거나, 공급업체의 결제 정보를 변경하라는 가짜 우선 작업을 요약에 추가하게 만들 수 있습니다. 이는 AI가 읽도록 제공된 외부 자료에 명령을 삽입하는 간접 프롬프트 인젝션입니다. 공격자는 HTML 주석, 보이지 않게 만든 텍스트, 인코딩된 내용, 제로폭 문자를 사용해 지침을 숨길 수 있으며, 실제로 모델에 전달되는지는 이메일 추출 방식에 달려 있습니다. 따라서 사용자가 이메일을 더 주의 깊게 보는 것만으로는 충분하지 않습니다. 글은 숨은 내용 제거, 필터와 샌드박싱, 최소 권한, 결제 같은 고위험 작업에 대한 사람의 승인, 민감한 추천을 실행하기 전 별도 신뢰 경로를 통한 원문 확인을 방어책으로 제시합니다.