Stable Diffusion的LoRa模型是什么意思?

共计 622 个字符,预计需要花费 2 分钟才能阅读完成。

LoRA:大语言模型的低阶适应

Stable Diffusion 的 LoRa 模型是什么意思?

在大语言模型微调方面,微软的研究人员开发了一项名为 LoRA(Low-Rank Adaptation of Large Language Models)的技术。LoRA 的目标是解决大语言模型微调的成本和复杂性问题。

举个例子,GPT- 3 拥有 1750 亿个参数,如果要让它在特定领域发挥作用,就需要对其进行微调。然而,直接对 GPT- 3 进行微调的成本非常高,也非常繁琐。

LoRA 的做法是冻结预训练好的模型权重参数,然后在每个 Transformer 块中注入可训练的层。由于不需要重新计算模型权重参数的梯度,LoRA 大大减少了训练所需的计算量。

研究表明,LoRA 的微调质量与全模型微调相当,可以说是一种神器。

可以将 LoRA 类比为大模型中的一个小模型,或者说是一个插件。LoRA 最初是为大语言模型设计的,但它也可以应用于交叉关注层,对于使用文字生成图片的效果也有影响。

Stable Diffusion 最早的模型实际上并不支持 LoRA。后来,对 LoRA 的支持被加入了 Stable Diffusion 中。据说,Simo Ryu 是第一个让 Stable Diffusion 支持 LoRA 的人。如果你对此感兴趣,可以去这位大佬的 GitHub 上了解更多关于这个项目的信息。

通过 LoRA 技术,大语言模型的低阶适应变得更加高效和便捷。它为我们提供了一种新的方法,让大语言模型在特定领域中发挥更好的作用。相信随着 LoRA 的不断发展和应用,它将为我们带来更多惊喜和创新。

正文完