사이드 프로젝트, 언제 정리해야 할까?
정리 시점은 느낌이 아니라 "이 지표가 20% 변하면 실제로 행동을 바꿀 것인가"라는 질문 하나로 판단할 수 있다. 행동이 바뀌지 않는 지표라면 계속 쌓아도 정리 신호가 되지 못한다. 2026년 기준으로도 이 기준은 사이드 프로젝트처럼 자원이 적은 실행에서 더 선명하게 작동한다.
이 글의 핵심
- 정리 판단은 지표 수를 줄이는 것이 아니라 "행동으로 이어지는 지표"만 남기는 작업이다.
- PMF 전에는 가입자·매출보다 활성화와 코호트 리텐션을 먼저 본다.
- 4주 주기(가설→실험→신호 구분→판정)로 확장·반복·축소·중단을 나눈다.
- 지표가 나쁘다고 바로 폐기하는 것이 아니라 축소·보류가 맞는 경우도 있다.
- 정리는 실패 선언이 아니라 제한된 시간·비용을 하나의 학습 목표에 배분하는 결정이다.
흔히 빠지는 함정은 "더 많은 지표를 보면 더 정확한 판단을 할 수 있다"는 가정이다. 실제로는 반대다. 초기 대시보드는 북극성 지표 1개와 보조 지표 3~5개 정도로 제한하는 사례가 반복해서 제시되며, 그 이상은 주간 운영에서 오히려 판단을 흐린다출처. 사이드 프로젝트를 여러 개 동시에 들고 있는 사람일수록 "일단 다 측정해두면 나중에 쓸모 있겠지"라는 생각으로 지표를 쌓는데, 이 지표들은 대부분 행동을 바꾸지 못한 채 보고 자료로만 남는다.
막 시작한 사이드 프로젝트는 무엇부터 봐야 할까?
막 시작한 단계에서는 총 가입자 수보다 "다시 돌아오는가"를 먼저 본다. 추천되는 확인 순서는 활성화율, 주간 활성 사용자, 코호트 리텐션, 사용자 인터뷰이며, 가입자·페이지뷰처럼 당장 행동으로 이어지지 않는 수치는 뒤로 둔다출처. 제품이 아직 PMF 전이라면 매출이나 전환율 같은 효율 지표를 먼저 세우는 것 자체가 집중을 흐리는 선택이 될 수 있다. 반복 사용이 확인된 뒤에 CAC·LTV·성장률 같은 효율 지표로 이동하는 단계적 운영이 제안되는 이유도 여기에 있다출처.
실무적으로는 사이드 프로젝트 하나당 다음 4주 동안 추적할 지표를 5개로 고정하는 방식이 유용하다. 구성 예시는 학습 지표 1개, 활성화·사용 지표 1개, 반복 사용·리텐션 지표 1개이며, 각 지표 옆에 "이 수치가 바뀌면 어떤 결정을 할지"를 함께 적어두는 식이다출처. 이 메모가 없으면 지표는 쌓이기만 하고, 정리 시점에 "이게 왜 필요했었지"를 다시 설명해야 하는 상황이 반복된다.
몇 주째 이어가는 프로젝트는 무엇으로 계속·중단을 가르나?
계속·중단 판단은 감상이 아니라 사전에 정한 규칙으로 해야 한다. 한 공개 프레임워크는 4주 주기를 제시한다. 1주 차에 가설과 판정 지표를 정하고, 2주 차에 실험하며, 3주 차에 초기 신호와 노이즈를 구분하고, 4주 차에 확장·반복·축소·중단 중 하나를 결정하는 방식이다출처. 이 주기에서 중요한 것은 2~3주 차에 나온 숫자를 그대로 믿지 않고, 그것이 신호인지 노이즈인지를 먼저 가리는 작업이다.
이 단계에서 번레이트와 런웨이도 함께 확인해야 한다. 초기 팀은 현금 소진 속도와 남은 운영 기간을 보수적·기본·공격적 세 시나리오로 계산하라는 실무 지침이 있으며, 사이드 프로젝트라면 외주비·클라우드비·광고비·유료 도구 구독료를 합산해 다음 실험을 수행할 수 있는 비용 한도를 먼저 정하는 방식으로 적용할 수 있다출처. 번레이트는 월 1회가 아니라 매주 확인하라는 권고도 함께 따라붙는데, 이는 계속할지뿐 아니라 "얼마나 작게 계속할지"를 정하는 지표이기 때문이다.
4주 뒤, 확장·반복·축소·중단은 어떻게 나누나?
이 판정은 Start, Stop, Continue 질문으로 구체화할 수 있다. 무엇을 시작할지, 무엇을 중단할지, 무엇을 계속할지를 팀과 점검하고, 프로젝트 종료나 정기 회고 때 매출·고객획득·리텐션 변화와 함께 재검토하는 방식이다출처. 실제 판정에는 다음 질문이 쓰인다.
- 최근 4주 동안 핵심 행동을 반복한 사용자가 늘었는가?
- 활성화 이후 7일 또는 30일 시점에 돌아오는 코호트가 있는가?
- 이 지표가 악화됐을 때 수정할 제품·채널·고객군이 명확한가?
- 다음 4주 실험에 필요한 비용과 시간이 감당 가능한가?
- 이 프로젝트를 중단하면 더 중요한 프로젝트의 리텐션·전환·번레이트를 개선할 수 있는가?
다섯 질문 중 두세 개 이상이 "아니오"로 모이면 축소나 중단 쪽으로 기울고, 대부분 "예"라면 반복 또는 확장으로 넘어간다. 애매한 중간 지대에서는 숫자 하나로 몰아가지 않고 다음 섹션의 오해를 먼저 짚어야 한다.
지표가 나쁘면 바로 접어야 할까?
아니다. 리텐션이 낮다고 바로 폐기하는 것은 흔한 오해이며, 실제로는 축소·보류가 더 맞는 경우가 많다. 낮은 리텐션은 광고나 기능 추가보다 먼저 가치 전달, 사용성, 문제의 긴급성을 다시 검토해야 한다는 신호로 해석되며, 이탈 사용자의 이유를 인터뷰로 보완하는 과정이 먼저다출처. 숫자는 이탈이 발생했다는 사실만 보여주고, 인터뷰·지원 문의·사용 기록이 왜 떠났는지를 설명한다는 점이 핵심이다출처.
완전 폐기보다 축소·보류가 적합한 조건도 구체적이다. 특정 고객군에서만 반복 사용이 확인될 때, 전체 전환율은 낮지만 한 채널의 활성화율이 상대적으로 높을 때, 사용자가 문제를 명확히 말하지만 현재 기능이 해결하지 못할 때, 비용은 낮고 4주 안에 검증 가능한 좁은 가설이 남아 있을 때가 그렇다. 이 조건에 해당하면 "정리"는 중단이 아니라 범위를 좁히는 결정이 된다.
정리 기준이 틀렸다면 무엇을 다시 설계해야 할까?
잘못된 정리는 대개 지표 설계 단계에서 시작된다. 이럴 때 재설계할 것은 세 가지다. 첫째, 북극성 지표 1개와 보조 지표 3~5개로 다시 압축한다. 둘째, 각 지표 옆에 "이 수치가 바뀌면 어떤 결정을 할지"를 다시 적어, 행동으로 이어지지 않는 지표는 제거한다출처. 셋째, 4주 판정 주기를 다시 세워 1주 차 가설부터 다시 쓴다. 매출·CAC·LTV를 PMF 전에 핵심 지표로 올려놓았다면, 이를 참여·활성화·리텐션 중심으로 되돌리는 것도 재설계에 포함된다출처.
재설계의 목적은 더 완벽한 대시보드를 만드는 것이 아니라, 다음 4주 동안 무엇을 측정하지 않고 무엇을 만들지 않을지를 다시 정하는 것이다. 정리는 한 번 하고 끝나는 이벤트가 아니라, 제한된 시간과 비용을 하나의 학습 목표에 반복해서 배분하는 운영 습관에 가깝다.
핵심 정리
- 정리 판단은 "지표가 20% 변하면 행동이 바뀌는가"로 단순화할 수 있다.
- PMF 전에는 활성화율·주간 활성 사용자·코호트 리텐션을 매출보다 먼저 본다.
- 4주 주기(가설→실험→신호 구분→판정)로 확장·반복·축소·중단을 나눈다.
- 리텐션이 낮다고 바로 폐기하지 않는다. 특정 조건에서는 축소·보류가 더 맞는 선택이다.
- 잘못된 정리는 지표 재설계(북극성 1개+보조 3~5개, 행동 연결 여부 재확인)로 복구한다.