4년의 창업, 7년의 PO 재직 중 지금껏 수백번의 지표 개선 실험을 반복했습니다.
다양한 버전의 CRM, 퍼마 소재, 랜딩 페이지의 소구점을 바꿔가며 고객의 속깊은 고민을 찾고, 대한 여러 방향의 메시지를 제안했죠. 최적의 조합을 찾기 위해 수많은 테스트를 진행했지만, 실제로 이를 실행하는 데는 마케터, 디자이너, PM, 개발자 모두의 협력이 필요했습니다. 이 때문에 한정된 시간에 실행 가능한 실험수도 아주 제한적이었죠.
실무를 직접 하신 분들은 아시겠지만, 실험 하나를 만들기 위해 전체 리소스 100 중 기획 및 설계에 30, 구현에 70 정도의 에너지가 들어갑니다. “이걸 바꿔보면 어떨까?“라는 작은 호기심도 디자이너와 개발자를 움직여야 실행이 가능했으니까요.
AI 기반 툴을 다루게 된 이후, 지금은 완전히 달라졌습니다.
이 비율은 점점 7:3까지 반전되고 있습니다. AI 툴의 숙련도에 따라 점점 설계에 집중하는 비율도 높아집니다.
소재 디자인, 랜딩 디자인, 개발의 영역까지 이전에는 사람이 하던걸 상당 부분 AI에 맡길 수 있게 되었습니다. 사람은 좋은 피드백을 주며 그 시간에 문제 정의와 실험 설계에 집중 할 수 있게 되는 것이죠.
결국 실험의 본질적인 질문과 문제정의에 더 많은 시간을 쓸 수 있게 되었습니다.
“어떤 고객이 어떤 문제로 가장 불편함을 느낄까?”
"그에 맞는 제안은 무엇일까?"
“설득력 있는 제안의 흐름은 무엇일까?”
같은 질문입니다. 이런 문제는 인간의 기존 콘텐츠를 다량 통계적으로 학습한 LLM(Large Language Model)으로 뾰족하게 찾아내기 어렵기 때문입니다.
LLM은 방대한 텍스트와 데이터를 기반으로 일반화된 패턴을 생성하는 데 강하지만, 특정 산업, 특정 시장, 특정 고객군의 상황에서 발생하는 문제는 아직 통계적으로 충분히 정의되지 않았거나, 데이터로 축적되어 있지 않은 경우가 대부분입니다.
예를 들어, 신규 SaaS 서비스를 도입하려는 소형 법인 대표, 혹은 기존 세무사에게 의존하던 고객이 새로운 환급 서비스를 접할 때의 심리는 정제된 데이터셋이 아닌 실제 현장에서 관찰되고 해석되어야만 알 수 있습니다.
즉, ‘문제 정의’는 여전히 제품을 가장 가까이에서 다루는 사람이 해야 할 영역이고,
LLM은 그 이후의 설계나 실행을 돕는 보조자 역할에 가깝습니다. 이럴수록 더 요구되는 능력은 뾰족한 설계, 실행으로 부터 도출된 고객 데이터의 분석, 그로부터 배운 고객의 행동 학습, 레슨을 반영하여 시도하는 실행력입니다.