场景挑战

日志对于保障系统、业务稳定性至关重要，常用于故障排查、监控告警等，企业需要构建统一的日志存储与分析平台。常见的日志种类有服务器日志、网络设备日志、物联网日志、业务日志等。

日志数据有写多读少、成本敏感、时效性要求高的特点，当前基于 Loki、ES 等产品的解决方案，往往面临以下的问题

写入吞吐量与实时性差
大规模系统中，日志数量庞大，每秒钟产生的日志消息数量可能达到数千万。既要高吞吐写入，又要实时可见，当前常见的解决方案难以满足数据实时写入可查的需求。
存储成本高
随着时间的推移，日志数据规模会不断增长，存储量会达到非常巨大的规模，当前常见的解决方案存储成本高，难以满足日志数据长周期存储需求。
查询响应速度低
日志场景需要快速文本检索，查出匹配关键字的日志，以满足故障排查等场景的快速响应，当前常见的方案的查询响应速度往往不尽人意。

SelectDB 解决方案

将日志系统接入到 SelectDB，实现日志的实时查询、低成本存储、高效处理，降低企业日志系统综合成本，提升日志系统的性能和可靠性。

海量数据实时写入
- ·为日志场景优化的高性能倒排索引，写入速度是 ES 倒排索引的 4 倍。
- ·服务端 group commit 机制，保证秒级实时可见前提下写入吞吐到 GB/s。
高性价比存储
- ·采用列式存储、精简倒排索引、高压缩比压缩，存储空间占用仅需 ES 的 1/5。
- ·采用冷热分离，单位存储空间成本仅需 ES 的1/3，整体成本 1/15。
高效处理业务场景
- ·通过分区分桶、时间段筛选，大幅缩小查询的数据范围。
- ·通过倒排索引，按检索词快速定位到匹配的日志行，避免大批量扫描，达到秒级响应。