Thumbnail

braze

머신러닝 데이터를 활용하여 유저 리텐션, LTV 개선 및 CRM 운영 효율 개선하기

Why

네이버웹툰은 유저 리텐션과 LTV 개선을 위해 자체 생성한 유저 모델링 데이터를 CRM 캠페인에 활용하고자 했습니다.

Action Item

유저 모델링으로 이탈 예상 유저 코호트와 매출 전환 예상 유저 코호트를 식별하고, 각 코호트에 최적화된 메시지를 발송할 수 있는 시스템을 구축했습니다.

Impact

유저 코호트별 개인화된 CRM을 통해 리텐션과 LTV를 개선했을 뿐 아니라 CRM 운영 리소스 감소, 머신러닝(ML) 데이터 확장성 확보, 사용 편의성 강화라는 목표까지 동시에 달성했습니다.

💡 이런 고민이 있는 분께 이 페이퍼를 추천해요

네이버웹툰의 다른 성공 사례도 참고해보세요!

이런 목표가 있는 분께 이 페이퍼를 추천해요

  • 자체 생성한 머신러닝(ML) 모델링 데이터를 활용해 주요 지표를 개선하고자 하는 분들

  • 모델링 데이터를 CRM 캠페인에 활용하고자 하는 분들

고객사 소개

네이버웹툰

출처: 네이버웹툰

출처: 네이버웹툰

기존 만화 시장의 창작과 소비 문화 전반을 혁신하고, 이전에 없었던 창작 생태계를 만들어갑니다. 앞으로도 혁신과 실험을 거듭하며 변화하는 트렌드에 발맞춘, 놀랍고 강력한 콘텐츠를 만들어내는 한편 전 세계의 다양한 작가들과 독자들이 즐겁게 만날 수 있는 플랫폼으로 거듭나고자 합니다. 네이버웹툰은 글로벌 1위 스토리테크 플랫폼으로 전 세계 9개 언어로 서비스를 제공하고 있습니다.

⏩️ 네이버웹툰 바로가기

CRM 캠페인에 ML 모델링 데이터 도입 배경

"작품 큐레이션을 넘어, ML 모델링 데이터를 활용해 유저 여정의 주요 시점마다 개인화된 적합한 메시지를 전달"

네이버웹툰은 자체 머신러닝(Machine Learning, 이하 ML) 모델링 데이터를 활용한 ‘알아서 딱!’ 기능을 통해 유저의 작품 열람 활동성과 작품 소비의 다양성을 크게 향상시켰습니다. 또한, 머신러닝 데이터를 활용한 큐레이션 방식은 기존 방식 대비하여 훨씬 높은 작품 열람 및 결제 성과를 보였습니다.

이러한 성과를 기반으로, 네이버웹툰은 ML 모델링 데이터를 서비스 기능에만 국한하지 않고 유저와의 접점을 강화하기 위해 CRM 캠페인에도 적극적으로 활용하기로 결정했습니다. 이를 위해 자체 코호트 시스템을 통해 생성된 유저 모델링 데이터추천 모델링 데이터를 연동하여 CRM 캠페인에 효과적으로 접목했습니다.

출처: 네이버웹툰

출처: 네이버웹툰

유저 모델링 데이터 활용

네이버웹툰은 자체적으로 구축한 코호트 시스템을 통해 캠페인 타겟을 생성하고 있습니다. 그로스 매니저는 코호트 시스템에서 방문, 작품 열람, 결제, 이벤트 참여 등 내부 데이터와 ML 모델링 데이터로 캠페인 타겟을 생성할 수 있습니다. 이 데이터를 ‘유저 모델링 데이터’ 라고 정의하며, 다양한 ML 모델을 통해 다음과 같은 타겟을 생성하고 있습니다.

  • 1) 감상 이탈 예측 모델:

    • 작품 감상자 중 이탈 가능성이 높은 유저로, 작품 추천 캠페인을 통해 감상 복귀 가능성이 높은 유저 타겟

  • 2) 서비스 이탈 예측 모델:

    • 기존에 감상하던 모든 작품을 더 이상 감상하지 않아 서비스 이탈이 예상되는 유저 타겟

  • 3) 리마인드 가망 유저 모델:

    • 리마인드 안내 시 작품 재감상 효과가 기대되는 유저 타겟

  • 4) 쿠키 사용 예측 모델:

    • 기간 내 유저가 필요로 할 쿠키 예측 금액을 기준으로 한 업셀링(upselling) 가능성이 높은 유저 타겟

  • 5) 광고보고무료 유저 이탈 예측 모델:

    • 광고보고무료 활용 중단 가능성이 높은 유저 타겟

네이버웹툰은 유저 모델링 데이터를 CRM 캠페인에 효과적으로 활용하고자 하였습니다. 기존 캠페인은 사후 분석에 의존하여 경험적인 의사결정으로 운영되었으나, 유저 모델링 데이터를 통해 ML 기반 예측 모델을 활용한 선제적 캠페인 운영이 가능할 것으로 기대했습니다.

이를 위해 유저 모델링 데이터를 브레이즈에 연동하고, 이를 기반으로 더 정교하고 효율적인 캠페인 타겟팅을 구현했습니다.

네이버웹툰 유저 모델링 데이터 연동 파이프라인

네이버웹툰은 유저 모델링 데이터를 CRM 캠페인에서 효과적으로 활용하기 위해 다음과 같은 파이프라인을 구축했습니다.

  1. 웹툰 코호트 시스템에서 생성된 사용자 모델링 데이터를 Amazon S3로 전송합니다.

  2. Amazon S3에 적재된 데이터를 CDI 연동 구조에 맞게 가공한 뒤 Amazon Redshift에 저장합니다.

  3. Amazon Redshift에 저장된 데이터를 Cloud Data Ingestions 연동을 통해 브레이즈로 전송합니다.

네이버웹툰 CDI 연동 구조 요약

네이버웹툰 CDI 연동 구조 요약

유저 모델링 데이터를 타겟 오디언스로 활용하기

  1. 유저 모델링 데이터는 사용자가 속한 코호트(Cohort)를 수집하는 방식으로 구성됩니다. 네이버웹툰의 경우 한 사용자가 여러 코호트에 속할 수 있어 배열(Array) 형태로 데이터를 저장하고 있습니다.

    브레이즈 유저 프로필 커스텀 어트리뷰트 예시

    브레이즈 유저 프로필 커스텀 어트리뷰트 예시

  2. 캠페인을 생성할 때는 해당 캠페인 목적에 맞는 코호트를 커스텀 어트리뷰트 필터를 활용해 타겟 오디언스(Target Audience)로 설정하여 활용합니다.

캠페인 타겟 오디언스 설정 예시

캠페인 타겟 오디언스 설정 예시

3. 이러한 방식으로 네이버웹툰은 아래와 같은 캠페인들을 운영하고 있습니다.

  • 작품 감상 중단 방지 캠페인

    • 감상 이탈 예측 모델을 활용해 작품 감상을 중단할 가능성이 높은 유저를 타겟으로 활용

  • 서비스 이탈 방지 캠페인

    • 서비스 이탈이 예상되는 유저 중 기존 감상 작품의 리마인드 효과가 클 것으로 예상되는 유저를 타겟으로 활용

  • 추가 결제 유도 캠페인

    • 결제량이 증가 또는 감소할 가능성이 높은 유저를 타겟으로 활용

Impact

다음은 네이버웹툰에서 유저 모델링 데이터 연동 및 활용을 담당하신 Marketing&Ads Intelligence Team 이혜림 님, 이종한 님과의 인터뷰 내용입니다.

"네이버웹툰은 ML 기반 유저 모델링 데이터를 CRM 캠페인에 활용함으로써 다음과 같은 효과를 보았습니다."

ML 데이터를 기반으로 유저 리텐션, LTV 개선

ML 데이터를 활용한 CRM 캠페인은 실제로 유의미한 성과를 거두었습니다.

기존 방식의 타겟팅과 유저 모델링 데이터를 활용한 타겟팅을 A/B 테스트로 비교한 결과, 유저 모델링 데이터를 활용한 방식이 CTR, 작품 열람율, 결제율 전반에서 기존 휴리스틱 방식을 뛰어넘는 성과를 보였습니다.

이러한 성과 분석을 바탕으로 ML 유저 데이터를 앱 기능에 더욱 확대 반영하는 한편, 서비스 요구사항에 적합한 ML 모델을 추가로 개발하고 적용하고 있습니다.

ML 모델링 데이터 확장성 확보

네이버웹툰에서는 다양한 형태의 사용자 모델링 데이터를 생성하고 있으며, 데이터를 브레이즈에서 손쉽게 활용할 수 있도록 연동 작업을 진행했습니다. 이를 통해 향후 새로운 ML 모델링 데이터가 추가되더라도 브레이즈와 간편하게 통합할 수 있는 확장성을 확보할 수 있었습니다.

예를 들어, 최근 완성된 '광고보고무료 사용자 이탈 예측 모델' 역시 손쉽게 브레이즈와 연동할 수 있었습니다. 처음부터 확장성을 고려해 설계한 덕분에 새로운 모델도 빠르고 효율적으로 통합할 수 있었습니다.

운영 프로세스 자동화로 월 640시간의 업무 리소스 절감

네이버웹툰은 기존의 운영 방식에서 벗어나, 버튼 클릭만으로 대규모 타겟 오디언스를 연동할 수 있게 되어 월 평균 640시간의 업무 리소스를 절감했습니다.

기존에는 코호트 시스템 데이터를 활용하려면 내부 데이터베이스에서 코호트에 해당하는 사용자 식별자 리스트를 수동으로 내려받아 CSV로 가공한 후 이를 브레이즈에 업로드해야 했습니다.

브레이즈로 데이터를 연동한 이후에는 데이터를 내려받거나 업로드할 필요 없이 데이터가 브레이즈로 자동 업로드되기 때문에 담당자는 버튼 클릭만으로 500만 타겟 코호트를 10분 이내에 연동할 수 있게 되었습니다. 결과적으로 월 평균 약 640시간의 업무 리소스를 절감하여 업무 속도가 대폭 개선되었고 운영 효율성 또한 크게 향상되었습니다.

유저 모델링 데이터 사용 편의성 강화

마지막으로, 연동 결과에 대한 알림 메시지를 실시간으로 제공하여 그로스 매니저의 유저 모델링 데이터 사용 편의성을 지속적으로 강화하고 있습니다.

그로스 매니저가 유저 모델링 데이터 연동을 신청하면 전송 현황과 완료 여부를 알림으로 제공하여 신청자가 지연 없이 즉시 활용할 수 있도록 지원하고 있습니다. 또한, 연동 오류가 발생할 경우에는 담당 엔지니어에게 알림을 전송하여 즉각적으로 문제를 해결하고, 오류 해결시 사용자에게 재신청을 안내하는 시스템을 구축하여 사용 편의성을 강화했습니다.

KEY TAKEAWAYS

CSM's Insight

네이버웹툰은 ML 기반 유저 모델링 데이터를 CRM 캠페인에 효과적으로 통합하여 업무 효율성과 성과를 동시에 개선했습니다. CRM 성과 개선을 위해 위해 자체 생성한 모델링 데이터를 적극적으로 활용해보세요.

TAGS

brazemachine learningcloud data ingestion

AUTHORS

안상현 Sanghyun Ahn ∙ AB180 ∙ Customer Success Manager

안상현 Sanghyun Ahn ∙ AB180 ∙ Customer Success Manager

AB180의 Customer Success Manager로서 Airbridge, Braze, Amplitude를 활용하는 다양한 버티컬의 고객사를 담당하고 있습니다. 데이터 설계, 솔루션 연동, Full Cycle 마케팅 전략, 리텐션 개선 전략까지 솔루션 도입과 활용을 전문적으로 지원합니다.

이혜림 Hyerim Lee ∙ 네이버웹툰 ∙ Marketing&Ads Intelligence

이혜림 Hyerim Lee ∙ 네이버웹툰 ∙ Marketing&Ads Intelligence

CRM 베이스의 Growth Marketer로서 네이버웹툰 서비스의 데이터 기반 내외부 마케팅 및 광고 사업을 지원하고 있습니다. 금융사 고객전략 기획/운영 경험을 바탕으로 콘텐츠 플랫폼 서비스(RIDI, Yonder, 웹툰, 시리즈)의 효율적 성장을 만들고 있습니다.