AI에게 가짜 데이터를 먹이면 어떻게 될까? 결과는 끔찍합니다

**AI 데이터 중독(데이터 포이즈닝)**은 AI가 배우는 데이터에 조작된 예시를 몰래 섞어, 나중에 모델이 틀리거나 해로운 답을 내놓게 만드는 공격입니다. 숨겨 둔 신호(트리거)가 나타날 때만 오작동하게 만들 수도 있습니다. 2025년 연구들을 보면 필요한 조작 데이터는 생각보다 훨씬 적고, 중독된 모델도 일반적인 테스트에서는 멀쩡해 보여 잡아내기가 어렵습니다.
AI 데이터 중독이란?
모델의 학습 데이터를 고의로 오염시키는 것입니다. 대형 언어 모델(LLM)의 보안 위험을 정리하는 OWASP 프로젝트는 이를 사전 학습·미세 조정·임베딩 데이터를 조작해 취약점, 백도어, 편향을 심는 것으로 정의하고, 2025년 LLM 10대 위험에 넣었습니다.
공격자가 모델 코드에 침입할 필요는 없습니다. 자기가 만든 콘텐츠가 학습 데이터에 들어가기만 하면 됩니다. OWASP는 백도어가 심긴 모델이 특정 트리거가 나타나기 전까지는 정상적으로 동작할 수 있다고 설명합니다.
조작 데이터가 얼마나 있으면 될까?
생각보다 훨씬 적습니다. 앤트로픽(Anthropic), 영국 AI 보안연구소, 앨런 튜링 연구소가 2025년에 함께 낸 연구에서는 악성 문서 250개만으로 백도어를 심을 수 있었습니다. 6억~130억 파라미터 모델에서 실험했는데, 모델이 커져도 필요한 문서 수는 거의 같았습니다. 가장 큰 모델 기준으로 학습 토큰의 약 0.00016%에 불과한 양입니다.
다만 이 연구의 백도어는 일부러 범위를 좁힌 것으로, 트리거 문구가 나오면 의미 없는 글자를 쏟아내는 정도였습니다. 연구진은 더 큰 모델이나 더 위험한 행동에도 같은 결과가 나올지는 불분명하고, 공격자가 실제로 학습 데이터에 콘텐츠를 넣고 이후 안전 학습까지 버텨야 하는 장벽이 있다고 덧붙였습니다.
웹에서 긁어 온 데이터를 오염시키는 게 현실적일까?
연구로는 충분히 가능하다는 게 확인됐습니다. 니컬러스 칼리니(Nicholas Carlini) 등이 2023년에 낸 논문은 약 60달러로 LAION-400M이나 COYO-700M 데이터셋의 0.01%를 오염시킬 수 있었다고 보였습니다. 방법 하나는 데이터셋이 여전히 가리키고 있는 만료된 도메인을 사서, 데이터셋 제작자가 봤던 것과 다른 내용을 나중에 내려받게 하는 것이었습니다. 다른 하나는 위키백과처럼 누구나 고칠 수 있는 사이트에서 스냅샷이 찍히기 직전에 악의적 편집을 넣는 방식입니다.
의료 분야에서 데이터 중독이 특히 위험한 이유는?
중독된 모델이 그 모델을 검증하는 시험을 그대로 통과하기 때문입니다. 2025년 《네이처 메디신》에 실린 연구에서 학습 토큰의 0.001%만 의료 허위 정보로 바꿔도 모델이 의학적 오류를 더 자주 퍼뜨렸습니다. 그런데도 이 모델들은 의료 LLM 평가에 흔히 쓰는 공개 벤치마크에서 깨끗한 모델과 비슷한 점수를 받았습니다.
같은 연구는 부분적인 방어책도 내놨습니다. 모델 출력을 생의학 지식 그래프와 대조했더니 해로운 내용의 91.9%를 걸러냈습니다.
AI 데이터 중독은 어떻게 막을까?
한 번에 해결하는 방법은 없지만, OWASP가 권하는 대책이 주요 방향을 보여 줍니다.
- 데이터 출처를 기록한다. 데이터가 어디서 와서 어떻게 가공됐는지 ML BOM(머신러닝 자재 명세서) 같은 방식으로 남기고, 데이터 공급업체를 검증한다.
- 데이터셋 버전을 관리하고 검증한다. 버전 관리로 변조를 드러내고, 단계마다 데이터를 확인한다.
- 숨은 동작을 시험한다. 정확도 벤치마크만 보지 말고 레드팀 공격과 적대적 견고성 테스트를 한다.
- 운영 중에도 감시한다. 학습 손실과 모델 출력에서 이상 징후를 살핀다.
- 답변 근거를 붙인다. 답할 때 믿을 만한 자료를 검색해 쓰면(RAG) 학습 때 흡수한 내용에 덜 의존하게 된다.
일반 AI 사용자는 무엇을 할 수 있을까?
중요한 문제일수록 AI의 자신만만한 답을 출발점으로만 쓰세요. 의료·법률·금융 질문이라면 행동하기 전에 원래 출처를 확인하는 게 좋습니다. 모델이 일부러 거짓말을 하는 건 아니지만, 무엇을 보고 배웠는지는 우리가 알 수 없습니다.


