啪啪打脸了｜PolarDB论文提到的CXL牛逼技术有弊端

就知道没有什么技术是调炸天的!

最近一篇论文引起了数据库届老司机们的广泛关注：阿里云的CXL论文, 论文称RDMA已经过时, CXL才是未来, 也是云原生数据库内存解耦池化的关键硬件技术基础. 解读详见：

阿里云放大招｜RDMA过时了！你信吗？

什么场景可能用到CXL呢? 其中之一是云原生数据库, 通过内存池化提升产品的弹性, 降低用户成本, 提升利用率提升厂商利润空间.

但是, 如果你以为CXL是通用技术, 软件层面啥也不用干就大错特错了, 因为随之而来的问题也很多, 本文后面将爆几个问题:

• 本地内存和远端内存的访问延迟不一致问题
• 节点异常导致的内存下线问题

要用好CXL, 软件也需要改造, 需要通过技术手段抵消延迟带来的影响.

毫无疑问PolarDB肯定是已经在云服务产品层面解决了这些问题。估计PolarDB的下一篇论文会和解决CXL弊端有关, 如何通过巧妙的PolarDB软件设计抵消延迟、容错问题等.

有兴趣可关注它家公众号的后续报道:

CXL引入的内存访问延迟和NUMA问题是什么？

当使用CXL技术访问远端机器的存储时，NUMA（Non-Uniform Memory Access）问题依然存在，甚至可能变得更加复杂。

CXL（Compute Express Link）旨在提供缓存一致的内存扩展和池化能力，它确实在一定程度上解决了传统PCIe在内存访问方面的限制，使得CPU可以像访问本地内存一样访问CXL连接的远端内存。然而，这并不意味着NUMA效应会完全消失。

以下是CXL环境下NUMA问题的一些体现和挑战：

1. 延迟差异仍然存在：
   • 即使CXL提供了比传统网络（如RDMA）更低的内存访问延迟，但CXL连接的远端内存的访问延迟仍然会高于CPU直连的本地DRAM。
   • 如果CXL设备连接到远程CPU的PCIe/CXL通道，那么从本地CPU访问该CXL设备上的内存可能还会涉及到CPU之间的互连（例如UPI/QPI），这会进一步增加延迟，形成“CXL+NUMA”的额外延迟。
   • 引入CXL交换机（CXL Switch）以实现内存池化和更灵活的连接时，也会引入额外的延迟。
2. 新的NUMA拓扑：
   • CXL内存可以被操作系统识别为一个独立的NUMA节点，通常被称为“zero-CPU NUMA（zNUMA）节点”，因为它没有直接连接CPU。
   • 这意味着系统中将存在多种类型的内存，包括CPU本地的“近端”内存和通过CXL连接的“远端”内存，它们的性能特性（延迟和带宽）是不同的。这使得系统的NUMA拓扑变得更加复杂。
3. 内存分层和页面放置：
   • 为了优化性能，操作系统和应用程序需要更智能地进行内存分层（Memory Tiering）和页面放置。
   • 热数据（频繁访问的数据） 最好放置在延迟最低的本地DRAM上。
   • 冷数据（不常访问的数据） 可以放置在CXL连接的远端内存中，以节省昂贵的本地DRAM容量。
   • 挑战在于如何有效地识别热数据和冷数据，以及如何动态地在不同内存层之间迁移页面，以避免性能下降。如果“热”页面错误地分配到了CXL远端内存，会严重影响应用性能。
4. 操作系统和应用程序的感知：
   • 操作系统和应用程序需要感知这种新的NUMA拓扑和内存性能差异，才能进行有效的资源调度和内存管理。
   • 现有的NUMA API可能需要增强或新的API来更好地支持CXL内存的特性，例如内存热插拔、不同性能等级的内存绑定等。
   • 对于那些对内存访问延迟敏感的应用（如数据库、高性能计算、AI/ML工作负载），它们可能需要进行软件重写或优化，以充分利用CXL并减轻NUMA效应带来的影响。

总结来说：

CXL技术通过提供缓存一致性和加载/存储语义，极大地改善了远端内存的访问方式。然而，它并不能完全消除NUMA效应。相反，它引入了更复杂的内存层次结构和不同的访问延迟特性。因此，在CXL环境中，如何有效地管理内存分层、优化页面放置以及确保操作系统和应用程序对新的NUMA拓扑有充分的感知，仍然是实现最佳性能的关键挑战。