AI 에이전트가 스토어 연구를 할 수 있을까

알고 싶었던 것

샘플에 관한 이전 연구에서 '검토 시점의 GMV로는 누가 팔지 거의 알 수 없다'처럼 대시보드로는 보이지 않는 사실을 많이 찾았습니다. 하지만 매번 누군가 질문을 던지고 시간을 들여 파고들어야 했습니다. 스토어에 정말 필요한 것은 분기에 한 번이 아니라 매주 이런 분석을 하는 사람입니다.

그래서 확인해 보고 싶었습니다. 이미 스토어에서 일하고 있는 AI 에이전트가 그 스토어의 데이터만으로 스스로 연구할 수 있을까? 실제 스토어에서 아무것도 변경하지 않는 읽기 전용으로 실행했고, 에이전트가 계산한 모든 수치를 확인했습니다.

스스로 찾아낸 것

• 클릭은 늘었는데 주문은 그대로. 핵심 상품의 클릭이 한 달 만에 약 6배 늘었지만 주문은 15% 남짓 늘었습니다. 늘어난 클릭은 거의 모두 크리에이터 영상에서 왔지만, 그 영상들은 구매로 이어지지 않았습니다.
• 검토되지 않고 만료된 샘플 신청. 수천 건의 신청이 누군가 확인하기 전에 시간 초과되었고, 그중 수백 건은 매출 $10K 이상인 크리에이터의 신청이었습니다.
• 매출이 떨어지기 전에 콘텐츠가 먼저 줄었습니다. 다른 스토어에서는 판매로 이어지는 영상이 절반 넘게 줄었고, 이는 GMV가 떨어지기 전에 일어났습니다.

이 중 어느 것도 우리가 미리 알려 준 것이 아닙니다. 자체 데이터로 하나씩 대조했고, 모든 결론의 방향이 일치했습니다.

질문할수록 결론이 탄탄해집니다

갓 입사한 분석가처럼, 첫 초안은 결론을 과하게 말하는 경향이 있습니다. 놀라웠던 것은 반론을 받았을 때의 태도였습니다. '우연일 수도 있지 않나?', '이 두 기간을 그대로 비교해도 되나?'라고 물으면, 매번 고집하는 대신 수치를 다시 계산하고 결론을 고쳤습니다.

확실한 일은 코드에게 맡기고, 코드가 던지지 못하는 질문은 모델에게 맡깁니다.

좋은 검토자가 묻는 질문은 결국 몇 가지로 정해져 있습니다. 그래서 이 질문들을 체크리스트로 만들고, 연구 과정에 자동 검토 단계를 추가했습니다. 데이터 조회와 대조는 안정적인 도구가 맡아, 에이전트는 데이터를 빠짐없이 가져왔는지 걱정할 필요가 없습니다. 에이전트는 생각이 필요한 부분에 집중합니다. 무엇을 볼지, 원인이 무엇일지, 어떻게 확인할지. 실행할지는 여러분이 결정합니다.

앞으로

좋은 연구는 모델이 얼마나 똑똑한지보다, 데이터가 빠짐없이 매끄럽게 전달되는지에 더 크게 좌우된다는 것을 알게 되었습니다. 지금 우리가 집중적으로 투자하는 부분입니다. 목표는 매주 AI 운영팀이 근거와 함께 주목할 만한 스토어 질문 하나를 가져오고, 실행할지는 여러분이 결정하는 것입니다.