클로드(Claude)의 컴퓨터 제어(Computer Use) 기능: 진짜로 내 마우스를 움직인다고?
- AI & Data
- 20 Nov, 2024
최근 AI 업계에서 가장 소름 돋으면서도 기대되는 발표가 하나 있었습니다. 바로 앤스로픽(Anthropic)이 공개한 클로드(Claude) 3.5 소넷의 '컴퓨터 제어(Computer Use)' 기능인데요. 단순히 텍스트를 주고받는 걸 넘어서, AI가 내 컴퓨터 화면을 직접 보면서 마우스를 움직이고 키보드를 타이핑한다는 게 믿겨지시나요?
마치 옛날 SF 영화에서나 보던 "컴퓨터, 이 문서 좀 정리해서 메일로 보내줘"가 진짜 현실이 되는 건지 너무 궁금해서 제가 직접 테스트 환경을 세팅하고 굴려봤습니다. 결론부터 말씀드리자면, 신기함을 넘어서 등골이 살짝 오싹해지는 경험이었습니다.
눈을 달고 손을 얻은 AI, 어떻게 작동할까?
이 '컴퓨터 제어' 기능은 우리가 평소에 쓰는 챗GPT처럼 웹브라우저 창에서 딸깍하고 켤 수 있는 건 아닙니다. 개발자용 API를 통해서 가상 머신(VM)이나 특정 환경에 연결해 줘야 하죠.
제가 테스트를 위해 간단한 지시를 내렸습니다. "브라우저를 열어서 특정 웹사이트에 접속한 다음, 어제 날짜의 뉴스 헤드라인 세 개를 복사해서 텍스트 파일로 바탕화면에 저장해 줘."
명령을 내리고 엔터를 치자마자 정말 마법 같은 일이 벌어졌습니다. 제가 아무것도 건드리지 않았는데 마우스 커서가 스르륵 움직이더니 크롬을 열고, 주소창에 타이핑을 하고, 스크롤을 내리며 기사를 찾더라고요. 마치 투명 인간이 제 자리에 앉아서 컴퓨터를 대신하고 있는 기분이었습니다.
- 스크린샷으로 세상을 보다: 클로드는 초당 여러 번 화면을 스크린샷으로 찍어서 현재 상태를 파악합니다. '버튼이 어디 있나?', '입력창이 활성화되었나?'를 눈으로 직접 확인하는 거죠.
- 마우스와 키보드 직접 제어: 화면의 픽셀 좌표를 계산해서 정확한 위치로 마우스를 이동시키고 클릭, 드래그, 타이핑 등의 액션을 수행합니다.
소름 돋는 장점: 단순 반복 업무의 완벽한 종말
이 기능을 써보면서 가장 감탄했던 부분은 바로 **'맥락을 이해하는 유연함'**이었습니다.
기존에 RPA(로봇 프로세스 자동화) 매크로 같은 걸 써보신 분들은 아실 거예요. 웹사이트 디자인이 1픽셀만 바뀌거나 팝업창이라도 하나 뜨면 매크로가 멈춰버린다는 걸요. 하지만 클로드는 다릅니다.
예를 들어, 작업을 하다가 예상치 못한 쿠키 동의 팝업이 떴습니다. 일반적인 매크로였다면 거기서 에러를 뿜었겠죠. 하지만 클로드는 화면을 쓱 보더니 자연스럽게 'X' 버튼을 찾아서 끄고, 원래 하려던 작업을 계속 진행하더군요. 진짜 사람이 대처하는 것 같은 이런 유연함이 이 기술의 가장 무서운 파괴력이라고 생각합니다. 엑셀에서 데이터를 긁어와서 CRM 시스템에 하나하나 복붙하는 지루한 막일은 이제 진짜 끝이 보입니다.
치명적인 단점과 뼈아픈 한계
하지만 현실은 아직 완벽한 유토피아가 아닙니다. 지금 당장 모든 직원을 해고하고 AI로 대체할 수 있냐고 묻는다면, 절대 아닙니다.
- 속도가 너무 느립니다: 클로드가 한 번 행동할 때마다 화면을 찍고, 분석하고, 서버에 다녀와야 합니다. 마우스가 움직이는 걸 보고 있으면 답답해서 "아오, 그냥 내가 할게!" 하고 뺏고 싶은 충동이 듭니다.
- 잦은 실수와 엉뚱한 클릭: 스크롤을 너무 많이 내리거나, 엉뚱한 빈 공간을 클릭하고 혼자 헤매는 경우가 꽤 많습니다. 특히 복잡한 UI가 있는 전문 소프트웨어(예: 포토샵, 프리미어)에서는 아직 갈 길이 아주 멉니다.
- 보안 문제: 이 녀석이 제 컴퓨터의 모든 파일과 화면을 다 볼 수 있다는 건 엄청난 보안 리스크입니다. 실수로 중요한 사내 보안 문서라도 열어서 외부로 전송해 버리면 누가 책임질까요? 그래서 아직은 엄격하게 통제된 샌드박스 환경에서만 써야 합니다.
과연 우리는 AI에게 마우스를 넘겨줄 준비가 되었나?
클로드의 컴퓨터 제어 기능은 아직 거친 원석에 가깝습니다. 실무에 바로 투입하기엔 느리고 불안정하죠.
하지만 방향성만큼은 너무나도 확실합니다. 지금까지의 AI가 그저 똑똑한 '타자기'였다면, 이제는 진짜 내 손발이 되어줄 '로봇 팔'이 달리기 시작한 겁니다. 당장 내년, 내후년에 이 속도와 정확도가 사람 수준으로 올라온다면 우리의 일하는 방식은 송두리째 바뀔 것입니다.
그때 우리는 AI에게 어디까지 권한을 줄 수 있을까요? 내 은행 계좌 비밀번호를 입력하게 둬도 될까요? 신기하면서도 한편으로는 조금 무서워지는, 2024년 최고의 기술 충격이었습니다.
