Extracting Training Data from Diffusion Models （要旨）翻訳
Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, Eric Wallace
[Submitted on 30 Jan 2023]
Abstract
Image diffusion models such as DALL-E 2, Imagen, and Stable Diffusion have attracted significant attention due to their ability to generate high-quality synthetic images. In this work, we show that diffusion models memorize individual images from their training data and emit them at generation time. With a generate-and-filter pipeline, we extract over a thousand training examples from state-of-the-art models, ranging from photographs of individual people to trademarked company logos. We also train hundreds of diffusion models in various settings to analyze how different modeling and data decisions affect privacy. Overall, our results show that diffusion models are much less private than prior generative models such as GANs, and that mitigating these vulnerabilities may require new advances in privacy-preserving training.
要旨
DALL-E 2、Imagen、Stable Diffusionなどの画像拡散モデルは、高品質な合成画像を生成することができるため、大きな注目を浴びている。我々のチームは本研究において、拡散モデルが学習データから個々の画像を記憶し、生成時にその画像を再度出力することが可能であることを示した。生成とフィルタリングのパイプラインを用いることで、個人の人物写真から商標登録された企業ロゴまで幅広い分野の、千点以上の学習データの例が最先端のモデルから抽出された。また、私たちのチームは、様々な設定の何百種類もの拡散モデルを学習させ、モデリングの方法とデータ決定の方法の種類の差異がプライバシーにどのように影響するかを分析した。その結果、今回検証した拡散モデルはGANのような先行手法の生成モデルよりもプライバシー性が低く、この脆弱性を緩和するためには、プライバシーを保護する学習手法を新たに提唱する必要であることが示された。
