광고 소재 A/B 테스트, 계정 여러 개로 돌릴 때 결과가 뒤섞이는 진짜 이유
여러 계정으로 광고 소재 A/B 테스트를 동시에 돌리다 보면 데이터가 서로 오염되는 경우가 많습니다. 원인과 실무에서 쓰는 분리 원칙을 정리했습니다.
소재 테스트 결과가 왜 자꾸 꼬일까
제가 팀에서 인스타그램과 유튜브 광고 계정을 여러 개 굴리다 보면 가장 자주 받는 질문이 이겁니다. "소재 A랑 소재 B를 각각 다른 계정에 태웠는데 왜 결과가 이상하게 섞여 나오죠?" 실무에서 몇 번 겪어보면 원인이 대부분 비슷합니다. 계정은 분명 다른데, 그 계정들이 접속하는 환경이 사실상 같았던 겁니다.
광고 플랫폼 입장에서 생각해보면 이해가 쉽습니다. 플랫폼은 계정 ID만 보는 게 아니라 그 계정이 어떤 기기, 어떤 네트워크, 어떤 브라우저 환경에서 들어오는지를 함께 봅니다. 계정 A와 계정 B가 로그인 정보만 다르고 나머지 접속 조건이 동일하면, 플랫폼 알고리즘 입장에서는 이 둘을 "같은 운영 주체가 굴리는 연관 계정"으로 묶어서 처리할 가능성이 커집니다. 이렇게 되면 노출 로직 자체가 두 계정을 독립적으로 평가하지 않고 하나의 클러스터처럼 취급해버려서, 우리가 보려던 A/B 비교 자체가 무의미해집니다.
오염이 발생하는 세 가지 지점
제가 팀 내부 체크리스트로 쓰는 기준은 크게 세 가지입니다.
첫 번째, 네트워크 환경입니다. 같은 사무실, 같은 와이파이로 여러 계정에 로그인해서 광고를 관리하면 접속 IP가 겹칩니다. IP 하나에 계정 여러 개가 몰려 있으면 플랫폼은 이걸 다계정 운영 패턴으로 인식하기 쉽고, 그러면 계정별로 독립적인 성과 평가가 이루어지지 않을 수 있습니다. 그래서 계정별로 접속 경로 자체를 분리하는 게 기본입니다. 프록시를 활용해 계정마다 다른 네트워크 경로로 접속하게 만드는 것도 이런 이유에서입니다.
두 번째, 브라우저 지문입니다. 이게 저희 팀에서도 처음엔 잘 몰랐던 부분인데, 브라우저는 화면 해상도, 설치된 폰트, 그래픽 처리 방식 같은 정보를 조합해서 사실상 기기 하나하나를 구분할 수 있는 값을 만들어냅니다. 이걸 흔히 브라우저 지문이라고 부릅니다. 시크릿 모드나 캐시 삭제로는 이 값이 거의 안 바뀝니다. 즉 같은 컴퓨터, 같은 브라우저로 계정만 바꿔가며 로그인하면 지문값은 그대로라서, 플랫폼 입장에서는 "같은 기기에서 여러 계정이 오간다"는 신호가 계속 쌓입니다. 이런 이유로 계정마다 독립된 지문 환경을 만들어주는 안티디텍트 브라우저를 쓰는 팀이 많아진 겁니다. 계정 하나당 프로필 하나, 프로필마다 지문 값이 분리되어 있어야 계정 간 연결고리가 최소화됩니다.
세 번째, 계정 자체의 활동 이력입니다. 이건 환경 분리와는 별개 문제인데, 새로 만든 계정에 곧바로 예산을 태우고 소재를 돌리면 그 자체로 계정 신뢰도가 낮은 상태에서 테스트가 진행됩니다. 신뢰도가 낮은 계정은 노출 자체가 제한적으로 풀리기 때문에, 소재 성과 차이가 진짜 소재 때문인지 계정 상태 때문인지 구분이 안 됩니다. 그래서 저희는 새 계정을 만들면 일정 기간 자연스러운 사용 패턴을 쌓는 워밍업 기간을 먼저 거치게 하고, 그 다음에 테스트용으로 투입합니다.
실무에서 적용하는 분리 원칙
제가 팀에 공유하는 원칙은 단순합니다.
- 계정 1개당 접속 환경(네트워크, 브라우저 프로필) 1개를 고정으로 매칭한다.
- 테스트 기간 동안에는 절대 같은 프로필로 다른 계정에 번갈아 로그인하지 않는다.
- 신규 계정은 워밍업 기간을 채운 뒤에만 테스트 계정으로 투입한다.
- 소재 A/B는 최소한 계정군을 둘로 나눠서, 같은 조건의 계정 여러 개가 각 소재를 담당하게 한다. 계정 하나로만 비교하면 그 계정 고유의 편차인지 소재 차이인지 알 수 없다.
| 구분 | 오염 위험이 큰 방식 | 분리된 방식 |
|---|---|---|
| 네트워크 | 동일 IP로 여러 계정 접속 | 계정별 개별 경로(프록시 등) |
| 브라우저 환경 | 동일 브라우저로 계정만 전환 | 계정별 독립 지문 프로필 |
| 계정 상태 | 신규 계정에 바로 테스트 투입 | 워밍업 후 투입 |
| 비교 단위 | 계정 1개 = 소재 1개 | 계정군 단위로 소재 비교 |
표로 정리하면 별거 아닌 것 같지만, 이 네 가지 중 하나라도 어기면 테스트 결과를 믿기 어렵습니다. 저도 예전에는 "바쁘니까 이번만 같은 브라우저로 두 계정 돌리자"고 했다가 CTR 차이가 소재 때문인지 계정 상태 때문인지 판단이 안 서서 일주일치 테스트를 통째로 버린 적이 있습니다.
결과를 믿을 수 있으려면
A/B 테스트의 전제는 "다른 조건은 다 같고 소재만 다르다"는 겁니다. 그런데 계정 환경이 오염돼 있으면 이 전제 자체가 깨집니다. 노출량이 이상하게 한쪽으로 쏠리거나, 두 계정 성과가 이유 없이 같이 떨어지거나, 반대로 특정 계정만 갑자기 튀는 패턴이 보인다면 소재 문제가 아니라 환경 분리 문제일 가능성을 먼저 의심해보시길 권합니다. 저희 팀은 테스트를 시작하기 전에 계정별 접속 환경 체크를 루틴으로 넣고 나서부터 소재 비교 결과에 대한 확신이 훨씬 커졌습니다. 데이터가 깨끗해야 다음 의사결정도 제대로 설 수 있으니까요.