Skip to main content

场景介绍

关键字：生命周期自动管理 | 低成本 | 超大容量

通过 OceanBase 智能化的历史库迁移平台，帮助用户快速、安全的完成冷数据归档，一次配置即可实现自动化的周期管控。OceanBase 高压缩比的分布式存储引擎， 摒弃了传统数据库的定长数据块存储，采用基于 LSM-Tree 的存储架构和自适应压缩技术，创造性地解决了传统数据库无法平衡“性能”和“压缩比”的难题，

历史数据归档场景​

在订单、交易、日志等业务场景中，数据总量会不断增加。而对于这些数据的访问往往和时间有很强的相关性，通常与当前时间越接近的数据越 “热”，也就是说，这些数据可能会被频繁地修改与点查。热数据的访问更多是事务型负载和实时分析负载，其数据量在整个系统中的占比相对较低。

而在系统中已经存在了一段时间的数据，被称为 “冷数据”，这些数据的被查询次数相对没有那么频繁，也很少被修改。冷数据的访问通常是少量的事务型负载和一些报表统计等分析型负载，而且冷数据通常是稳定运行的 IT 系统中数据量的主要部分。

由于冷热数据有着明显的区别，将它们放在一套相同规格的环境中同等处理显然会浪费系统的资源，单个数据库的容量上限还可能会限制数据的存储。但是，将冷数据定期归档到更经济的存储介质中，访问数据时采用从归档数据中还原的方法，又会对历史数据的查询性能和系统的复杂度带来负面影响。

因此，将数据分为线上库和历史库，将在线数据定期同步到历史库中的做法成为了越来越多系统的解决方案，通过在存储和计算成本更低的环境上部署历史库来降低成本和满足业务需求。

行业现状与挑战​

  • 数据增长加速：面对快速增长的在线数据，尤其例如新零售、支付等订单和交易场景，数据往往多呈现为流水型特征，即写入一段时间后不会再次访问或更新。

  • 成本高效率低：低频或零访问数据占用在线业务库的固态存储空间，造成大量硬件资源浪费，堆高企业 IT 成本，导致在线数据库体积臃肿、查询效率降低，给后续数据变更、扩展造成阻碍。

  • 传统方案风险高：传统数据归档方案往往是业务研发或 DBA 采用脚本或简单的同步工具进行，难以在并发和效率上有效控制，很容易对在线数据库产生影响，严重的甚至导致生产数据误删事故。

  • 运维管理复杂：多个业务对应的不同数据库、甚至不同表都可能有各异的归档周期和限定条件，会导致大量定时任务的逻辑维护复杂，耗时耗力。

解决方案​

  • 基于 OceanBase 对低端硬件的友好兼容， OceanBase 历史库平台实现了归档任务配置图形化，周期管控自动化，数据迁移 + 校验 + 删除一键自动灰度执行等能力。稳定性方面提供了防导爆、智能限速、多粒度流控等机制，真正实现了数据归档的智能化运维。

  • 此方案历经蚂蚁集团核心业务场景验证，交易支付历史库单实例数据超过 6PB，采用上百台大容量机械盘的低成本硬件支撑，磁盘水位自动均衡，平稳运行多年，节省了大量机器资源。

image.png

方案优势​

  • 可视化管理：任务创建与运行、进度大盘、一键暂停/恢复等基础操作图形化。

  • 智能化运维：令牌桶算法限速控制、断点续传、任务调度自动化管控等机制，以及宕机自动替换、自动扩缩容、防导爆等自愈手段，实现运维零干预。

  • 低成本：大容量 SATA 盘机型友好，结合 OceanBase 高压缩存储能力，单节点最大即可存储相当于传统数据库 400TB 数据。

  • 海量存储：适用在线业务瘦身，真正做到为数据归档减负。历史库集群可作为大容量关系型数据库使用，能稳定支撑写入量巨大但低频访问的业务查询需求，如监控、日志、审计核对等场景。

用户案例​

携程（典型用户案例）​

业务挑战​

  • 随着订单业务量的增加，业务数据迅猛增长，传统数据库的存储瓶颈以及性能不佳问题越来越明显。

  • 不仅运维成本和复杂度有所增加，同时需要不断对应用进行改造和适配以解决不断分库分表带来的问题。

解决方案​

  • 相比传统的集中式数据库 MySQL，OceanBase 在存储层面极致的压缩能力，有效降低企业使用数据库的硬件成本。

  • OceanBase 具备灵活的资源扩展能力，根据业务实际发展情况可以动态的进行计算和存储能力的线性扩展，支撑海量数据的存储和计算，同时很好地应对未来的业务增长要求。

  • 在数据迁移方面，因 OceanBase 兼容 MySQL 协议与语法，因此 OMS 可以做到平滑迁移，可大幅降低业务迁移和改造成本。OMS 通过全量迁移、增量迁移、反向迁移，保障数据迁过程中的强一致，并提供数据同步到 kafka 等消息队列中的能力。

image.png

用户收益​

  • 运维更加高效与便捷：单集群替换数十套 MySQL 环境，运维管理成本大大降低，同时管理更加方便。使用普通的 PC 服务器即可构建超高吞吐的 OceanBase 集群，无需分库分表，快速按需扩展，为携程历史库在水平扩展过程中提供了平滑的成本增长曲线。

  • 低成本：支撑上百 TB 数据存储场景且性能和稳定性有保证，同时相比较之前的方案，OceanBase 方案的存储成本降低 85%，降本效果明显。

  • 数据同步性能提升：数据迁移对业务透明，OMS 支持全量数据迁移、增量数据同步，支持主流数据库的一站式数据迁移。数据从上游写入到下游 OceanBase 响应延迟更小，数据同步速度更快，同步延迟时间减少 3/4。

  • 数据写入性能优秀：OceanBase 的无共享架构、分区级主副本打散，以及并行执行框架提供的 Parallel DML 能力，真正实现了高效的多节点写入。利用该特性，数据写入性能提升数倍，能够从容应对携程历史库的超高并发数据写入需求。

视频资料​

携程历史库场景降本实践

其他用户案例​

  • 支付宝：https://open.oceanbase.com/blog/5377309696
    • 行业：互联网
    • 痛点：历史库使用 MySQL 分库分表，水平扩展能力差，查询和事务均有诸多限制。
    • 收益：将数据迁移到历史库后，单位空间磁盘成本降低到线上机器的 30% ，总体成本下降 80% 左右，甚至有些业务的存储成本降低到了原来的十分之一。
  • BOSS 直聘：https://open.oceanbase.com/blog/8983073840
    • 行业：互联网
    • 痛点：历史库使用 MySQL 分库分表，水平扩展能力差，查询和事务均有诸多限制。
    • 收益：OceanBase 是原生的分布式系统，有着良好的扩展性。而且还可以对用户提供少数派故障时 RPO = 0，RTO < 8s 的高可用能力，让数据库在使用过程中更加稳定。同时，节省了超过70%的存储资源。
  • 怪兽充电：https://open.oceanbase.com/blog/7057790512
    • 行业：智能制造
    • 痛点：业务的快速增长，业务系统架构逐渐变得复杂。历史库使用 MySQL 分库分表，水平扩展能力差，查询和事务均有诸多限制。
    • 收益：OceanBase 既可以垂直扩容，也可以水平扩容，扩缩容快速、透明、方便。存储成本降低 71%。
  • 清华同方智慧能源：https://open.oceanbase.com/blog/10581685536
    • 行业：能源科技
    • 痛点：历史库使用 MySQL 分库分表，水平扩展能力差，查询和事务均有诸多限制。
    • 收益：存储成本降低 75%。
  • 游卡网络：https://open.oceanbase.com/blog/7746416928
    • 行业：游戏
    • 痛点：MySQL 使不同业务的资源利用率参差不齐。非爆款游戏资源利用率低。
    • 收益：多租户资源隔离 + 高压缩，硬件成本变为原来的五分之一。大大了节省硬件成本，每个业务集群节省数十万元。
  • 作业帮：https://open.oceanbase.com/blog/8811965232
    • 行业：教育
    • 痛点：MySQL 存储成本高。
    • 收益：存储成本降低超六成，实时分析性能提升 4 倍以上，硬件成本相比 MySQL 降低 77.8%。
Loading...