业务需求
随着网联车销量不断增长,该知名车企的车辆每天可产生千亿级别的 CAN 数据,清洗处理后的数据也在 50 亿级别。基于此,该车企展开了大数据平台的实践,并以 Hive 为核心构建了数据平台架构,然而问题也接踵而至。
业务挑战
01. 数据时效性无法保证
Hive 的导入速度较慢,面对大规模数据导入效率低;部分业务依赖 T+1 离线任务,无法满足实时数据处理需求。
02. 数据查询分析延迟较高
对于 10 亿级别以上大规模表查询,Hive 查询性能较慢;数据看板、BI 展示应用无法直接从 Hive 中查询,需要经过 MySQL ,面对大数据量时,查询响应时间过长。
解决方案
通过流式计算引擎结合 SelectDB 直接将数据实时写入 SelectDB,并利用 SelectDB 将离线数仓中数据导入到 SelectDB 中进行分析计算。基于 SelectDB 完成实时数据的计算和处理,同时将结果输出至上游业务平台。
客户收益
基于 SelectDB 的新架构支撑该车企近十条业务线,每天处理数据规模达到百亿级别,并在提升用户用车体验、实时预警车辆故障、保证车辆安全驾驶等方面取得了显著成果。
01. 大规模数据实时写入和同步
基于 SelectDB 强大的实时性能和丰富的数据导入形式完成实时写入、同步及迁移,实现车联网数据吞吐量百万级 TPS/秒,每日新增 10TB 数据,支持 400 万车辆链接。
02. 统一数据服务,秒级查询响应
SelectDB 支持直接查询各类外部数据源,实现数据服务的统一;Join 性能大幅提升,单张/多张千万级别的表关联查询实现秒级返回结果。
03. 存储和计算成本有效降低
有效降低了计算和存储所需的资源,资源利用率及数据计算效率显著提高。