业务需求
在 TT 语音数字技术基础中，用户画像和行为分析是技术底座中的核心功能，通过精准的用户画像构建和人群圈选持续提升业务运营能力，带动业务增长。整体画像平台的业务流程如上图，通过将多源的数据汇聚到数据平台，其中数据源包括用户行为数据、离线标签、实时标签和日常运营产生的数据。这些数据通过数据集成服务汇聚到数据平台后，在数据平台中构建用户画像模型，对外提供人群画像、人群圈选、用户洞察、效果分析等数据服务，最终应用于智能运营、AB 实验、客服系统、风控系统和推荐系统等各个上层应用系统中。
业务挑战
01. 实时写入与原子性无法保障
由于数据更新性能有限，因此无法满足实时标签频繁更新，在写入方面存储在瓶颈。同时 ClickHouse 内存管理不完善，易出现 OOM 导致服务进程退出的情况。此外，因为 ClickHouse 不支持事务，DDL 语句无原子性保障。
02. 运维与存储成本高
由于 ClickHouse 是存算一体架构，海量数据存储下每个节点都需要挂载 SSD，造成存储成本居高不下，并且扩缩容和运维的成本较高。
03. 复杂查询能力差
ClickHouse 多表 Join 能力弱，导致大部分业务要在数据集成侧打成大宽表后才能分析，增加业务处理的复杂度。
解决方案
基于以上痛点，TT 语音将数据平台进行了升级改造，从 ClickHouse 升级到 SelectDB Cloud。基于 SelectDB Cloud 的新架构也解决了过去存在的诸多痛点：
01. 解决标签数据实时性与准确性
基于主键表的部分列实时更新，解决了过去标签更新不及时的问题；提供轻量化并且原子化的元数据修改，解决标签的数据准确性问题。
02. 存算分离提供极致性价比
SelectDB Cloud 通过 MemTracker 机制对内存进行有效管控，可以及时发现和 Kill 异常查询，保证了稳定的查询服务、保障线上业务的稳定运行。通过存算分离提供了极致的性价比，云上开箱即用的服务，降低了运维成本。
客户收益
基于 SelectDB 成功构建新一代数据平台，解决了过去存在的数据更新不及时以及数据准确性问题，极大降低了业务的复杂度，提升了业务的灵活性。
01. 实现多种负载查询场景
SelectDB Cloud 既支持大宽表查询，也支持复杂的多表 Join 查询。在实际应用中，百亿明细数据和十多亿的标签数据 Join 仅需要 3-5 秒就能完成，这极大降低了业务的复杂度，提升了业务的灵活性。
02. 存储成本节省 40%，圈选效率提升 10 倍
经过一系列的架构探索，TT 语音在服务器资源和成本方面节省了 40%以上，解决了过去存在的数据更新不及时以及数据准确性问题。基于弹性计算、多集群部署以及资源隔离等能力使服务可靠性提升 5-10 倍，整体人群圈选效率提升 10 倍。
