데이블, 광고 A/B 테스트 왜곡 줄이는 필터 ‘BAFF’ 국제학회서 발표

홈 > 최신뉴스 > 업계동향
업계동향

IT | 데이블, 광고 A/B 테스트 왜곡 줄이는 필터 ‘BAFF’ 국제학회서 발표

권경욱 기자 0   0

데이블(대표 이채현)은 광고 A/B 테스트 결과가 왜곡되는 문제를 실제 광고 집행으로 확인하고, 이를 줄이는 필터 ‘BAFF(Bid-Aware Filter Family)’를 지난 9월 추천 시스템 분야 국제 학회 ‘ACM RecSys 2026’ 워크숍에서 발표했다고 16일 밝혔다. 두 광고 추천 알고리즘이 같은 기록으로 학습하면 A/B 테스트 성적이 각자 혼자 운영했을 때와 달라질 수 있다는 것이 핵심이다.


연구진은 다른 알고리즘 없이 혼자 배운 알고리즘을 기준으로 놓고, 광고주 한 곳의 광고 집행에서 성적을 비교했다. 기록을 그대로 함께 쓴 알고리즘은 클릭당 비용(CPC)이 기준의 절반 수준이었다. 숫자로는 좋은 성적이지만, 기준과 어긋난 결과여서 연구진은 이를 왜곡으로 판단했다. BAFF로 기록을 걸러 학습한 알고리즘은 CPC가 기준의 1.0~1.3배로 기준에 더 가까웠다.


두 알고리즘이 서로의 답안을 보며 시험을 친다


광고 플랫폼은 A/B 테스트로 기존 알고리즘과 새 알고리즘을 동시에 돌려 성적을 비교하고, 더 나은 쪽을 서비스에 적용한다. 실시간 입찰(RTB) 광고에서는 광고 자리가 날 때마다 경매가 열리고, 알고리즘이 어떤 광고를 얼마에 입찰할지 정한다. 알고리즘은 이렇게 광고를 내보낸 기록을 보고 배운다.


문제는 A/B 테스트에서 보통 두 알고리즘이 이 기록을 함께 쓴다는 점이다. 새 알고리즘은 자기 기록뿐 아니라 상대가 고른 광고와 상대가 써낸 입찰가로 쌓인 기록까지 배우게 된다. 두 학생의 실력을 가리는 시험에서 서로의 답안을 보며 문제를 푼 셈이다. 점수는 좋아 보여도 각자 혼자 풀었을 때의 실력은 아니다.


혼자 배운 알고리즘을 ‘정답’으로 놓고 비교했다


연구진은 7일 동안 세 단계로 실험했다. 먼저 이틀간 새 알고리즘만 혼자 돌려 다른 알고리즘과 섞이지 않은 기록을 쌓았다. 이 기록으로 학습한 알고리즘을 기준으로 삼았다.


다음 이틀은 일반 A/B 테스트처럼 기존 알고리즘과 새 알고리즘을 반씩 돌려 두 알고리즘의 기록이 섞이게 했다. 마지막 사흘은 이 섞인 기록을 네 가지 방식으로 학습한 알고리즘을 기준과 함께 20%씩 동시에 돌려 각각 기준과 얼마나 차이 나는지 측정했다. 네 방식은 섞인 기록을 모두 쓰는 방식, 상대 기록을 모두 빼는 방식, BAFF로 거르되 설정을 달리한 두 방식이다.


좋아 보인 성적, 연구진은 왜곡으로 봤다


섞인 기록을 모두 쓴 방식과 상대 기록을 모두 뺀 방식은 둘 다 CPC가 기준의 절반 수준이었다. 클릭률(CTR, 노출 대비 클릭 비율)은 기준(1.19%)보다 1.4~1.9%포인트 높았다. CPC는 낮고 클릭률은 높으니 겉으로는 좋은 성적이다.


하지만 A/B 테스트가 끝나면 고른 알고리즘이 혼자 서비스를 맡고, 그때 성적은 테스트 때와 달라질 수 있다. 테스트 결과가 기준보다 좋게 나오든 나쁘게 나오든 기준에서 벗어나면 그 결과를 믿고 내린 판단도 실제와 멀어진다. 연구진이 이 결과를 성과가 아닌 왜곡으로 본 이유다. 연구진은 비교 실험이 정확할수록 광고주와 매체가 더 잘 검증된 추천을 받는다고 설명했다.


전부 쓰지도, 전부 버리지도 않는다


두 방식이 기준에서 벗어난 이유는 서로 다르다. 기록을 모두 쓴 방식은 상대 알고리즘의 선택까지 그대로 배웠다. 상대 기록을 모두 뺀 방식은 간섭은 없앴지만 배울 자료가 모자랐다.


연구진이 고안한 BAFF는 입찰가까지 함께 따지는 필터 묶음이다. 상대 기록을 통째로 버리지 않고 가려 쓴다. 상대 알고리즘이 남긴 기록을 하나하나 되짚어 그 자리에 새 알고리즘이 있었어도 비슷한 광고를 골랐을지, 그만한 입찰가를 써냈을지 따져서 그렇다고 볼 수 있는 기록만 학습에 쓴다. 옆 사람 답안 가운데 내가 풀었어도 비슷하게 썼을 답만 참고하는 셈이다. BAFF로 걸러 학습한 두 방식은 CPC가 기준의 1.0~1.3배, 클릭률 차이는 0.4~0.8%포인트로, 앞의 두 방식보다 기준에 가까웠다.


이 문제는 지난해 웹 분야 국제 학회 ‘WWW’에서 ‘공생 편향(symbiosis bias)’이라는 이름으로 다뤄졌다. 이번 논문은 같은 문제를 실시간 입찰 광고에서 살폈다. 논문은 ACM RecSys 2026의 온라인·적응형 추천 시스템(OARS) 워크숍에 채택돼 9월 28일(현지 시간) 미국 미니애폴리스에서 발표됐다. 전문은 9월 8일 논문 공개 사이트 아카이브(arXiv)에 올라왔다. 연구진은 광고주와 광고 지면 판매 플랫폼으로 대상을 넓혀 같은 결과가 나오는지 확인하는 것을 다음 과제로 꼽았다.


한규호 데이블 최고기술책임자(CTO)는 “A/B 테스트가 틀린 답을 주면 그 위에 쌓은 판단이 모두 틀어진다”며 “이번에 제안한 필터를 실제 운영 중인 광고 서비스에서 검증했고, 실험 결과를 믿을 수 있게 만드는 연구를 학회와 공개 저장소를 통해 내놓을 예정”이라고 말했다.

 

ⓒ 블루프레임(https://www.blueframe.co.kr) 무단전재 및 재배포금지

, , , , , , , , , , , ,

0 Comments
맨위로↑