场景挑战

日志对于保障系统、业务稳定性至关重要,常用于故障排查、监控告警等,企业需要构建统一的日志存储与分析平台。常见的日志种类有服务器日志、网络设备日志、物联网日志、业务日志等。
日志数据有写多读少、成本敏感、时效性要求高的特点,当前基于 Loki、ES 等产品的解决方案, 往往面临以下的问题
  • 写入吞吐量与实时性差

    大规模系统中,日志数量庞大,每秒钟产生的日志消息数量可能达到数千万。既要高吞吐写入,又要实时可见,当前常见的解决方案难以满足数据实时写入可查的需求。
  • 存储成本高

    随着时间的推移,日志数据规模会不断增长,存储量会达到非常巨大的规模,当前常见的解决方案存储成本高,难以满足日志数据长周期存储需求。
  • 查询响应速度低

    日志场景需要快速文本检索,查出匹配关键字的日志,以满足故障排查等场景的快速响应,当前常见的方案的查询响应速度往往不尽人意。

SelectDB 解决方案

将日志系统接入到 SelectDB,实现日志的实时查询、低成本存储、高效处理,降低企业日志系统综合成本,提升日志系统的性能和可靠性。
SelectDB 日志系统解决方案
  • 海量数据实时写入

    海量数据实时写入

    • ·为日志场景优化的高性能倒排索引,写入速度是 ES 倒排索引的 4 倍。
    • ·服务端 group commit 机制,保证秒级实时可见前提下写入吞吐到 GB/s。
  • 高性价比存储

    高性价比存储

    • ·采用列式存储、精简倒排索引、高压缩比压缩,存储空间占用仅需 ES 的 1/5。
    • ·采用冷热分离,单位存储空间成本仅需 ES 的 1/3,整体成本 1/15。
  • 高效处理业务场景

    高效处理业务场景

    • ·通过分区分桶、时间段筛选,大幅缩小查询的数据范围。
    • ·通过倒排索引,按检索词快速定位到匹配的日志行,避免大批量扫描,达到秒级响应。

立即了解 SelectDB 产品

SelectDB Cloud
全托管的实时数仓服务,多云原生
SelectDB Cloud
SelectDB Enterprise
自管理私有化软件,部署在物理机、虚拟机或 K8s 上
SelectDB Enterprise