AdaIN
(ICCV 2017) Huang, Xun, and Serge Belongie. “Arbitrary style transfer in real-time with adaptive instance normalization.” Proceedings of the IEEE international conference on computer vision. 2017. | Paper | Code
AdaIN(Adaptive Instance Normalization)是一种在风格迁移任务中常用的技术,用于将一幅图像的风格迁移到另一幅图像上。AdaIN 的核心思想是调整内容图像的特征分布,使其与风格图像的特征分布相匹配,从而实现风格的迁移。
具体来说,AdaIN 接受两个输入:一个是内容图像的特征图,另一个是风格图像的特征图。对于每个通道,AdaIN 首先计算风格特征图的均值和标准差,然后使用这些统计量来标准化内容特征图。最后,AdaIN 将标准化的内容特征图按照风格图像的均值和标准差进行缩放和平移。
数学上,AdaIN 可以表示为:
其中 x 是内容特征图,y 是风格特征图,μ(⋅) 和 σ(⋅) 分别表示特征图的均值和标准差。通过这种方式,AdaIN 能够调整内容图像的特征分布,使之接近于风格图像的特征分布。
AdaIN 的优点在于它的简单和高效,能够在不需要复杂优化过程的情况下实现快速的风格迁移。这使得它在实时风格迁移应用中非常受欢迎。此外,AdaIN 也被用于多种创新的风格迁移方法和图像生成任务中,展示了其广泛的应用潜力。