CDP(客户数据平台)是一种面向业务增长以消费者为中心的客户数据赋能平台,帮助企业收集、管理和分析跨设备、跨渠道的客户数据,从而提供更好的客户服务和体验。CDP 通过汇集、整合、分析不同渠道和场景的数据,实现客户建模,预测特定客户的最佳下一步行动,并制定相应的营销活动,以提高营销效率、优化客户体验。
客户数据平台(CDP)与用户画像联系
作为 CDP 平台的核心模块,用戶画像根据用戶的属性、用戶偏好、生活习惯、用戶行为等信息而抽象出来的标签化用戶模型。在对用戶行为数据的分析高度提炼出来用戶特征后,可以给用戶赋予相应的标签。通过打标签可以利用一些高度概括、容易理解的特征来描述用戶,可以让人更容易理解用戶,并且可以方便计算机处理。
客户数据平台(CDP)画像业务的应用场景
随着抓取技术越来越成熟,伴随着各大社交 IM 平台开放了私域数据通道,大量消费者的触点数据变得可以洞察。外部数据源也变得日益封闭,高筑的数据壁垒,严重削弱了企业在公域数据上的应用能力。
针对以上的痛点,客户数据平台(CDP)作为智慧营销的根基部件,可以归纳出五大核心应用场景:
客戶数据资产沉淀:将 CDP 作为企业客戶主数据中心,清洗并整合多源客戶数据,如 CRM 系统中的结构化数据,客服产生的非结构化的通话记录,埋点程序捕捉的用戶交互行为数据等;CDP 可以构建用戶在多渠道中的映射关系,体系化沉淀客戶数据资产;
群体与个体洞察:在成熟的 CDP 系统中,通过事实标签、规则标签和预测标签进行人群画像和洞察。由于 CDP 数据资产沉淀中每一个消费者都存在唯一 ID 和全域属性,因此我们可以清晰地看到每个用戶档案来指导一对一的精准营销动作;
营销链路支持:营销自动化工具通常会配置一系列的营销工作流。在 CDP 的支撑下,可以将洞察后的人群包输送给DMP 系统,在 DMP 中进行人群相似性放大,放大后的人群会交由广告系统来完成广告的精准投放;
策略引擎驱动:对于数字化建设完备的大型公司,通常会配备自动化策略引擎、个性化推荐引擎来辅助人工运营动作。CDP 作为运营工作高效的辅助工具,以消费者的属性和历史行为数据为基础,完成 user-oriented 的推荐,真正完成千人千面的运营策略;
销售价值增强:CDP 通过洞察每个潜在用戶的触点上所做的各类行为,判断潜在客戶的重要性和购买意向,输出不同价值的人群跟进策略,从而进行匹配销售人员、定制针对话术等销售方案。
CDP 作为新一代的营销、运营和销售的客戶数据根基,有着至关重要的地位。搭配专业的运营人员,进行先进的营销系统,可以有效地为企业创造增⻓。
CDP用户画像业务SelectDB解决方案
基于SelectDB的平台架构:
基于SelectDB建设的 CDP 数仓平台分层:
数据源:上游的数据源可以来自于 MySQL、Oracle 等在线业务库,也可以是前端的埋点数据。上游的 OLTP 库可以通过 CDC 工具将增量数据同步到 SelectDB 中;埋点数据可以通过 Kafka 由 RoutineLoad 被 SelectDB 实时消费;HDFS 中的历史数据可以通过 BrokerLoad 批量装在到 SelectDB 中;
实时计算层:在数据装载的过程中,可以将轻量级的数据清洗仿造 Flink 中。SelectDB 提供了支持 ExactlyOnce 语义的,保证了数据导入的不丢不重;
数据存储层:在数据持久化存储在 SelectDB 中,可以使用ETL的模式,在 Flink 实时计算层中完成数据的轻量级清洗,也可以使用ELT的模式,通过 SelectDB 的实时多表关联能力建模。借助于 Iceberg、Hive 外表的能力,SelectDB提供了湖仓一体的架构。Iceberg 或者Hive中有价值的数据可以流到 SelectDB 中,进行关联查询。SelectDB 中具有隐藏价值的数据,也可以下沉到 Iceberg 或者 Hive 中,以低成本的方式⻓久存储;
服务与应用层:通过圈选和打标,可以对外提供推荐、投放和查询的接口服务,在应用系统中,可以实现人群画像分析,拉取人群包后根据用戶全域 OneID 进行广告的精准推送服务。
SelectDB中的数据模型分层
在 SelectDB 中,数据源中的数据经过简单的清洗打宽,将移动或PC埋点数据,上游在线业务中的交易明细,以及从公域互联网获取的媒体标签存储到 ODS 层。在经过 ID-Mapping 和精确去重等操作后,在 DW 层存储明细数据,如行为明细,消费明细,会员埋点明细等。在 ADS 层中,会对明细数据进行一系列的模型变化后,获得到了用戶的统计类型标签,如性别、年龄、城市、近七日的活跃时⻓等基础标签数据。同时在根据业务方提供的规则,可以通过聚合筛选等操作统计处规则类标签,如近30天内超过两次消费。
SelectDB中的标签处理
在抽象标签的过程中,我们通常会遇到静态或动态的两类标签。
一般来说,我们会采用宽表明细模型+聚合物化视图的方式处理静态标签。静态标签相对稳定,如出生年份、性别等,不常发生变化。在 SelectDB 中,我们可以使用宽表进行存储。由于需要根据 UID 召回明细数据进行精准推送,通常会选择明细模型进行数据存储,并通过物化视图完成聚合操作。
得益于 SelectDB 对数据表更操作的支持,可以将动态标签以纵表的形式存储在 UNIQUE 模型。动态标签变化频繁,伴随着用戶与平台的持续性交互,如点击、发言、交易等行为,行为数据会不断的更新。在建模时可以将动态标签从静态宽表中剥离出来,使用 UNIQUE 模型处理数据的变更。在数据计算时,SelectDB 强大的实时多表关联能力及多种优化手段同样可以提供优秀的查询性能。
SelectDB产品优势
相较于传统的CDP画像系统,SelectDB能够更好的对用戶画像业务进行支撑:
•通过Bitmap的集合计算,可以快速的完成对于用戶的去重操作
•SelectDB提供了大量的基于Bitmap函数,如bitmap_union、bitmap_and等
•向量化引擎、物化视图、RuntimeFilter等多种优化手段可以加速查询,优化用戶体验
•高性能多表关联可以支撑宽表、纵表等多种模型,完成多维度数据分析
•SelectDB的分区分表机制为高并发精准推送提供了支撑