Diffusionsmodell

Diffusionsmodelle lernen, indem sie beobachten, wie Bilder zerstört werden. Beim Training wird Millionen von Bildern schrittweise Rauschen hinzugefügt. Das Modell lernt, dieses Rauschen vorherzusagen und zu entfernen. Nach dem Training kann es den Prozess umkehren: Es startet mit reinem Rauschen und entfernt es Schritt für Schritt, bis ein stimmiges Bild entsteht. Ein Text-Prompt lenkt jeden Schritt in Richtung eines Bildes, das zur Beschreibung passt. Ein Referenzbild, zum Beispiel eine Skizze oder eine Modellansicht, kann zusätzlich die Bildkomposition vorgeben.

Was das für dein Projekt bedeutet

• So lässt sich erklären, warum die Ergebnisse variieren. Jeder Durchlauf startet mit anderem Rauschen, das durch den Seed bestimmt wird. Deshalb liefert derselbe Prompt unterschiedliche Bilder.
• So wird auch klar, warum Referenzbilder wichtig sind. Ohne Referenz legt das Modell die Geometrie selbst fest. Mit einer Referenz orientiert es sich an deinen Linien und Volumen.
• Das Modell reproduziert bekannte Muster. Gängige Gebäudetypen und Materialien stellt es daher zuverlässiger dar als ungewöhnliche.
• Bei feinen Details wie Schrift, einer genauen Anzahl von Fenstern oder präzisen Maßen tut es sich schwerer. Gleiche diese Angaben mit den Zeichnungen ab.
• Die Ergebnisse sind plausible Bilder, keine Berechnungen. Sie ersetzen daher keine Tageslicht- oder Beleuchtungsanalyse.

In Rendair

Du musst das Modell nicht selbst steuern. Tools wie Skizze zu Rendering und Text zu Rendering machen den Prozess einfach: Eingabe, Prompt und Stil. Unter KI-Rendering erfährst du, wie dieser Ansatz im Vergleich zu klassischem Raytracing abschneidet.