Buckets:

|
download
raw
963 Bytes

xFormers

我们推荐在推理和训练过程中使用xFormers。在我们的测试中,其对注意力模块的优化能同时提升运行速度并降低内存消耗。

通过pip安装xFormers:

pip install xformers

xFormers的pip安装包需要最新版本的PyTorch。如需使用旧版PyTorch,建议从源码安装xFormers

安装完成后,您可调用enable_xformers_memory_efficient_attention()来实现更快的推理速度和更低的内存占用,具体用法参见此章节

根据此问题反馈,xFormers v0.0.16版本在某些GPU上无法用于训练(微调或DreamBooth)。如遇此问题,请按照该issue评论区指引安装开发版本。

Xet Storage Details

Size:
963 Bytes
·
Xet hash:
ea9039da00d6d2e4ea11a9eae03336057507af2011c9ca1153cb82d0bebfa1dc

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.