비교 | ABTO 가이드

비교(Compare)는 라우팅으로 트래픽을 나눠 실은 뒤, 며칠이 지나 결과를 읽을 때 엽니다. 새 옵션을 막 흘리기 시작한 며칠 동안 오류율과 응답 속도가 튀지 않는지 살피는 자리이기도 합니다. 옵션별 수치는 이 화면에서 봅니다.

성과 지표기준 정의 테스트후보 시험 라우팅트래픽 배정 비교성과 판정

비교 화면은 모니터링 탭과 결과 탭으로 나뉩니다. 모니터링 탭은 옵션별 수치를 그대로 보여 주고, 결과 탭은 성과 지표마다 기준 옵션 대비 변화율과 판정을 보여 줍니다.

같은 옵션은 라우팅과 두 비교 탭에서 같은 색으로 표시됩니다. 같은 제공자의 모델도 옵션마다 색을 구분하며, 실선과 점선은 보조 구분입니다. 옵션 색은 개선이나 악화 판정을 뜻하지 않습니다.

모니터링 탭

영역	내용	읽는 법
비교 기준	이벤트 전환율이나 성과 지표 중 무엇으로 견줄지 고르고, 견줄 옵션을 다섯 개까지 지정합니다	대표(Primary) 지표가 있으면 처음부터 선택되어 있습니다
차트	선택한 기준의 추이를 옵션별 선으로 겹쳐 표시	선이 벌어진 채 유지될 때만 차이로 읽습니다
성과 지표 비교	선택한 성과 지표를 이루는 이벤트별 값과 종합 값. 비율 형식 지표면 이벤트별 가중치도 나옵니다	성과 지표를 고른 경우에만 나옵니다. 종합 값의 차이가 어느 이벤트에서 생겼는지 봅니다
옵션 카드	옵션마다 요청당 비용, 평균 지연시간, 오류율, 그리고 선택한 비교 기준의 값	네 숫자를 한 화면에서 견줍니다. 앞의 세 값은 기능 안 모든 노드의 요청을 섞은 요청 한 건의 평균입니다
실행 단위 비교	옵션마다 실행 수, 오류 실행(실행 중 비율), 실행당 요청, 실행당 비용, 실행 소요 시간(평균, p50, p95, p99), 실행당 요청 수 분포 그래프	요청당 비용이 싼 옵션도 실행 한 번에 요청을 많이 보내면 실행당 비용은 비쌀 수 있습니다. 옵션 카드의 요청당 비용과 함께 봅니다
노드별 상세	노드마다 옵션별 요청 수, 요청당 비용, 평균 지연시간, p50, p95, p99, 오류율	노드별 요청 수가 옵션마다 다르면 옵션 카드의 값이 그 차이 때문에 달라집니다. 이 표에서 노드끼리 견줍니다

실행 단위 비교는 에이전트나 워크플로 실행 한 번을 단위로 셉니다. 서버 SDK가 실행 ID를 보내는 호출만 세고, 실행 ID를 보내는 호출이 없으면 표가 나타나지 않습니다. 비용을 확인하지 못한 성공 요청이 섞인 옵션은 실행당 비용을 표시하지 않습니다. 오류 실행은 아래 오류율과 같은 기준의 실패로 끝난 요청이 하나라도 있는 실행입니다. 실행 소요 시간은 실행의 첫 요청을 ABTO가 받은 때부터 마지막 요청의 응답이 끝난 때까지입니다. 요청 사이에 앱이 도구를 실행한 시간은 들어가고, 첫 요청 전과 마지막 응답 뒤의 시간은 들어가지 않습니다. 실행 소요 시간에는 오류 실행도 들어갑니다. 실행당 요청 수 분포는 옵션마다 실행이 요청 몇 번으로 끝났는지의 비율을 요청 수별 막대로 보여 줍니다. 요청이 100번 이상인 실행은 100+ 막대 하나에 모입니다. 여러 요청을 한 실행으로 묶는 방법은 서버 SDK 문서(JavaScript, Python, JVM)를 참고하세요.

옵션 카드와 노드별 상세의 숫자는 앱이 보낸 요청 한 건을 단위로 셉니다.

요청 수: ABTO가 재시도한 요청도 한 건으로 셉니다.
평균 지연시간: 성공한 요청이 응답을 받기까지 걸린 시간입니다. 재시도에 걸린 시간을 포함하고, 실패한 요청은 넣지 않습니다.
요청당 비용: 비용이 확인된 요청 기준입니다.
오류율: 모델 제공사 오류(5xx), 시간 초과, 연결 실패, ABTO 내부 오류로 끝난 요청의 비율입니다. 사용량 제한(429), 요청 형식 오류, API 키나 결제 문제, 앱이 먼저 끊은 요청은 옵션의 문제가 아니라서 세지 않습니다. 이런 실패는 요청 화면에서 확인합니다.

결과 탭

결과 탭은 판정할 수 있는 성과 지표마다 각 옵션을 기준 옵션과 견줍니다. 판정할 수 있는 지표는 비율 형식 지표, 그리고 사용자별로 나눠 셀 수 있는 값 형식 지표입니다. 값 형식은 이벤트나 호출 하나의 건수, 합계, 평균이거나 건수·합계 둘을 나누기, 더하기, 빼기로 이은 식이어야 합니다. 호출 비용, 토큰, 지연시간, 요청 수는 ABTO를 거친 요청에 실린 deviceId로 사용자별로 셉니다. deviceId 없이 들어온 요청은 노출과 함께 판정에서 빠집니다.

다음 지표는 결과 탭에 나오지 않고 모니터링 탭에서 숫자로만 봅니다.

중앙값, p95, p99 지표
평균이 들어간 두 값의 식과 곱하기 식
성과 지표로 만들지 않은 이벤트 전환율

영역	내용
비율 기간	통계를 계산하는 구간입니다. 기본값은 지금 기간입니다
기준 옵션	나머지 옵션을 견주는 옵션입니다. 기본값은 현재 원본 옵션입니다
누적 사용자	맨 위 카드입니다. 비율 기간 안에서 옵션을 받은 사용자 수, 기간이 시작된 뒤 지난 날짜 수, 옵션별 누적 사용자 그래프, 그리고 옵션마다 라우팅 비율과 실제 비율을 견준 표가 나옵니다. 실제 비율은 그 기간 라우팅 옵션의 사용자끼리 나눈 값입니다
검사	판정 전에 확인하는 데이터 검사 결과입니다. 아직 쌓이는 중인 항목이 있으면 대기로 보입니다. 펼치면 항목별 결과가 나옵니다
지표 표	옵션마다 사용자, 지표 값, 기준 대비 변화율, 신뢰구간, 판정. 지표 값은 비율 형식이면 전환율(전환 수 / 사용자), 건수·합계와 더하기·빼기 식이면 1인당 값, 평균이면 이벤트당 또는 요청당 값입니다
그래프	지표 표 아래 “그래프 보기”로 펼칩니다. 변화율 보기는 비교 옵션마다 기준 대비 변화율을, 지표 값 보기는 기준 옵션을 포함한 옵션마다 지표 값을 기간 시작부터의 누적 값으로 시간에 따라 그립니다. 신뢰구간은 지표 표의 막대로 봅니다

비율 기간은 라우팅에서 서빙 비율을 바꿔 저장할 때마다 새로 시작합니다. 한 기간 안에서는 비율이 바뀌지 않아, 옵션마다 같은 조건에서 모인 사용자끼리 견줍니다.

판정은 신뢰구간이 0을 벗어나는 방향으로 정합니다.

개선 확정: 신뢰구간 전체가 0보다 위입니다. 낮을수록 좋은 지표는 0보다 아래입니다.
악화 확정: 신뢰구간 전체가 0보다 아래입니다. 낮을수록 좋은 지표는 0보다 위입니다.
판단 보류: 신뢰구간이 0에 걸쳐 있습니다.
수집 중: 기준 옵션과 그 옵션에 사용자 100명, 그중 지표 이벤트나 호출을 남긴 사용자 25명이 아직 쌓이지 않았습니다.

결과 탭은 옵션 하나를 승자로 고르지 않습니다. 옵션마다 기준 옵션과 견준 판정을 따로 보여 줍니다.

순차 검정: 신뢰구간은 기간 중 언제 열어 봐도 신뢰 수준 95%가 유지되도록 계산합니다. 사용자가 쌓일수록 구간이 좁아집니다.
Bonferroni 보정: 기준 옵션과 견주는 옵션이 여럿이면 옵션 수만큼 확정 기준을 엄격하게 합니다. 견주는 옵션이 셋이면 비교마다 유의 수준 5%를 3으로 나눕니다.
사용자 단위 비교: 값 형식 지표도 사용자마다 값을 모아 견줍니다. 건수와 합계는 옵션 전체 합이 아니라 1인당 값이라, 서빙 비율이 달라도 비교할 수 있습니다. 한 사용자가 남긴 여러 이벤트나 호출은 한 사람의 값으로 셉니다.
극단값 자르기: 값 형식 지표는 사용자별 값이 상위 0.1% 경계(값이 0보다 큰 사용자 기준)를 넘으면 그 경계값으로 낮춰 계산합니다. 0과 음수 값은 낮추지 않습니다. 한 사람의 큰 값이 판정을 좌우하지 않게 하려는 처리이고, 모니터링 탭의 숫자는 그대로입니다.
배정 비율 검사: 옵션별 사용자 수가 라우팅 비율과 통계적으로 어긋나면 결과 탭이 경고를 띄우고 판정을 멈춥니다.
옵션 둘 이상을 본 사용자: 한 비율 기간에 옵션을 둘 이상 받은 사용자는 모든 옵션의 집계에서 뺍니다.
deviceId 없는 노출: deviceId 없이 기록된 노출은 어느 옵션에도 세지 않습니다.

이 순서로 판단하세요

순서	지표	판단
1	오류율	눈에 띄게 높은 옵션은 성과와 무관하게 제외
2	성과 지표 또는 전환율	새 후보가 기존과 같거나 앞서는가. 결과 탭의 판정으로 봅니다
3	요청당 비용	성과가 비슷하다면 저렴한 쪽을 고릅니다

전환율이 조금 높은데 비용이 몇 배라면, 그 값어치는 사업적 판단의 영역입니다. 고를 옵션이 정해지면 라우팅으로 돌아가 트래픽을 옮깁니다.