分片sharding

分片是把大型对象切分成称为“分片”（shard）的多个部分，并分布到多台设备上的分布式技术。在AI领域，当模型过大、单块GPU或单台设备的内存无法容纳时，把模型权重拆分到多台设备上加载的做法称为模型分片。各设备计算自己负责的部分并交换中间结果，整体上如同一个模型一样完成训练或推理。

这一技术广泛用于在多块GPU上运行模型的模型并行，由于设备之间数据交换频繁，互联速度会显著影响性能。在数据库领域，分片指按行把数据拆分到多台服务器上存储的水平分区。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。