Fotogrammetrie/KI für 3D Modellierung nutzen

[BenniS.]

Hallo,
hier ein Thema welches mich momentan etwas beschäftigt.
Spätestens seit ChatGPT ist vermutlichen jedem "KI" ein Begriff. Der Begriff Künstliche Intelligenz hat Blockchain als Modewort abgelöst und begegnet einem seitdem überall.

Neben ChatGPT gibt es mittlerweile jede Menge anderer, durchaus nützlicher Tools, die einem das Leben erleichtern. Egal ob beim erstellen von Texten, schreiben von Code in sämtlichen Sprachen, oder aber auch 3D modelling. Sie nehmen einem die Arbeit nicht komplett ab, aber sie können unter Umständen unterstützend sein.
KI-Chatprogramme schreiben dir z.b. Scripts für Blender, welche in Blender eingefügt dann das vorher gewünschte 3D Modell entstehen lassen. Die Resultate variieren jedoch stark was die Nutzbarkeit angeht. Hier gilt: Je präziser die Aufgabenstellung an die KI, desto besser die Ergebnisse.

Das mit der Kamera aufgenommene Foto eines Hauses kann man online oder in ein Programm hochladen und die KI erstellt ganz im Sinne der Fotogrammetrie innerhalb von wenigen Sekunden ein 3D Modell dieses Hauses. Vor allem im Bereich des Hausbaus/Architektur/Inneneinrichtung werden solche Tools angeboten, die aufzeigen, welche Möglichkeiten es hinsichtlich der Gestaltung eines Gebäudes gäbe. (z.B. HomeGPT, 3DFY). Bei den von mir getesteten Tools (free trials) jedoch stets mit neuer Rendertextur und neuem Hintergrund und auch nur als neues Foto speicherbar. Eine einfache Freistellung des Hauses mit gleichzeitiger Beibehaltung der Textur war nicht möglich.

Mit Fotogrammetrie-Programmen wie Autodesk ReCap oder Meshroom (Open Source & Kostenlos) lassen sich erstellte Bilder in 3D Modelle übertragen. Wichtig hier: Genug Bilder des zu modellierenden Objekts mitsamt der nötigen Metadaten, welche in der Bilddatei gespeichert werden.

Hat jemand von euch bereits Erfahrung mit KI/Fotogrammetrie in Hinsicht auf 3D Modelling gesammelt, und wenn ja, wie seht ihr die Nutzbarkeit in Hinsicht auf den Objektbau bei Zusi?
Vor 6 Jahren kam man noch zu der Erkenntnis, das sich Fotogrammetrie bei Führerstand- und Objektbau nicht lohnt. Aber wie sieht es mittlerweile aus?

[C.Hartlep]

Moin Benni,

ich bin heute wieder dazu gestoßen und habe Deinen Beitrag jetzt erst gelesen.

Ich habe mich tatsächlich mal an dem Thema versucht und kann es für den Bau von Objekten und Szenerien nicht empfehlen.

Teilweise ist das Optimieren solcher Daten für die jeweilige Plattform zeitaufwändiger, als wenn Du eine Bestauswahl von Gebäuden triffst und diese nachbaust. Insbesondere beim LODing wird es spannend. Zudem ist sowas hauptsächlich für Simulationen sinnvoll, die solche Datenmengen wuppen können und auf derartige Darstellungen angewiesen sind, wie z.B. Flug-, Bus- oder ähnliche Simulationen. Ich bin auch ein Freund von Stadtpanoramen. Aber da man im Zusi meistens auf seinem Platz sitzt und überwiegend nach vorne gucken sollte, würde sich das maximal als "nice to have" etablieren, was durch das Blickfeld aus einem Führerstand nur für kurze Augenblicke des Erstaunens sorgt. Die Idee an sich verschwindet irgendwann in der Versenkung und das rechtfertigt den Aufwand nicht.

Das Verwenden von KI offenbart immer eine gewisse Unlust zur Leidenschaft z.b. beim Objektbau. Aber sie wird nie besser sein, als du selbst, weil sie gar nicht wissen kann, was du von ihr willst, auch wenn sie es von sich behauptet.

Beste Grüße,
Christian

[Julius Bolay]

Hallo Benni und Christian,
hallo allerseits,

da mittlerweile die Nutzung von ChatGPT und anderen Diensten sehr niederschwellig möglich ist, habe ich sie in den unterschiedlichsten Sachen verwendet und kann sogar für den 3D-Modellbau ein paar kleine aber dennoch u.U, sehr nützliche Informationen teilen.

In meinem Streckenprojekt Hohenlohe baue ich an historischen Zuständen und dazu gehört der Bau von Gebäuden, die im Vorbild nicht mehr existieren. Auch wenn ich mit Fotografien und Unterlagen ziemlich gut ausgestattet bin, muss ich die Fototexturen oftmals ohne Originalfotos erstellen, da die Originalfotos nicht geeignet und/oder urheberrechtlich nicht nutzbar sind. In der Vergangenheit bediente ich mich bspw. der Textursammlung Textures.com, deren Texturen jedoch nicht mehr ohne kostenpflichtiges Abo heruntergeladen werden können. (Bis vor kurzem ging mittels kostenfreiem Account immerhin ein Tagekontingent von 15 Stk.)

Um geeignete Fototexturen ohne langes Suchen zu bekommen, kam ich auf die Idee, die Fotos des Vorbilds (oder Ausschnitte davon) in ChatGPT hochzuladen und ChatGPT mit der Erstellung einer Fototextur, die für den 3D-Modellbau nutzbar ist, anzuweisen. Hierbei kamen tatsächlich brauchbare Ergebnisse heraus, die ich in meine Textur einbezogen habe.
Die Erstellung der Texturen habe ich weiterhin manuell mittels GIMP gemacht und damit habe ich auch die ChatGPT-Ergebnisse mit verschiedenen Werkzeugen bearbeitet.
Wer Software wie Photoshop verwendet, kann solche Editierungen vermutlich schneller und effizienter machen.

Rechtlich sind die Erzeugnisse aus ChatGPT übrigens ohne Quellenangabe nutzbar - auch kommerziell, wie ich gelesen habe.

Das erste Objekt, das ich mithilfe ChatGPT-Texturen gebaut habe, ist das Stationsgebäude am Haltpunkt Affaltrach im zukünftigen Streckenmodul Willsbach.

Bild des Stationsgebäudes: http://www.landesarchiv-bw.de/plink/?f=2-3147109-1

Bild der Rückseite, anhand dessen ich die Textur des Ziegelstein-Mauerwerks mit Fachwerk generieren ließ:
http://www.landesarchiv-bw.de/plink/?f=2-3147108-1

Das Ergebnis von ChatGPT:


Durch diverse Bearbeitung mittels GIMP und weiteren Einzelteilen generierte ich die folgende Textur:


Das Endergebnis:


Soweit mein erster Erfahrungsbericht. Es ist zwar weiterhin viel Handarbeit erforderlich, aber gerade für historische Zustände ist das durchaus hilfreich.
Das zweite Objekt mit dieser Methode ist bereits in der Textur-Erstellung.

Viele Grüße

Julius

[Carsten Hölscher]

Sieh an - was kommt denn raus, wenn man der KI ein paar Fotos gibt und drum bittet, ein texturiertes Blender-Modell draus zu bauen?

Carsten

[Julius Bolay]

was kommt denn raus, wenn man der KI ein paar Fotos gibt und drum bittet, ein texturiertes Blender-Modell draus zu bauen?

Das kann man tatsächlich machen.
Ich habe das vorhin mal versucht.
Man lädt fotografierte Bilder hoch, gibt ChatGPT ein paar Grundmaße vor und alles, was er sonst noch wissen möchte, fragt er als Chat-Konversation. Viele Dinge soll man einfach nur entscheiden. Dann wird ein Python-Code erstellt, den man in Blender hinein kopieren und ausführen kann.
Das kann anfänglich zu Fehlermeldungen führen, die man dem ChatGPT mitteilt. Dann wird der Code iterativ gefixt und irgendwann kann das Programm ohne Fehlermeldung ausgeführt werden.
(Dass anfänglich Code-Fehler auftreten, kannte ich bei ChatGPT bereits von anderen Situationen, als ich ihn Excel-Formeln oder VBA-Skripte erstellen ließ.)

Richtig vorzeigbare Ergebnisse lieferte das bei mir nicht. und der Chat merkt sich bspw. hochgeladene Bilder nicht dauerhaft. Irgendwann "vergisst" er die hochgeladenen Bilder auch wieder und wenn man nicht möchte, dass er abweicht, muss man die Bilder neu hochladen.

Ich denke, mit den aktuellen KI-Modellen ist das gegenwärtig noch nicht so wirklich produktiv, aber jeder der Zeit und Lust hat kann das ja mal für sich mit ein paar Bildern ausprobieren. (... Und Erfahrungen sowie Ergebnisse gerne hier teilen )
Wichtig dabei ist lediglich, dass man dem ChatGPT seine Blender-Version verrät, das ist bekanntlich relevant bei verschiedenen Funktionen.

Für entferntere Häuse (Kulisse) kann ich es mir vorstellen, dass es (in Zukunft) klappt, aber bei ausgestalteten, detaillierten Modellen, wird die KI gegenwärtig nicht im Ansatz an die Ergebnisse eines menschlichen Objektbauers herankommen.

Hier ein paar Eindrücke, nachdem ChatGPT einen ersten Entwurf erstellt hatte. Der Einbau von Fenstern klappte so semi....


Viele Grüße
Julius

[KarlSaiz (Pierre)]

Sieh an - was kommt denn raus, wenn man der KI ein paar Fotos gibt und drum bittet, ein texturiertes Blender-Modell draus zu bauen?

Mann kann sich in der Theorie von ChatGPT einen Phyton Code ausspucken lassen, da kam (zumindest bei mir) bisher nur Mist raus.

Für Texturen macht ChatGPT durchaus Sinn. Nachbearbeiten muss man trotzdem, allerdings kann man sich das Ausrichten von Texturen sparen und Texturen einfach Kacheln lassen.

[Peter_88]

Vielleicht wäre auch Artec Studio einen Blick wert. Die aktuelle Version unterstützt AI-Photogrammetrie aus normalen Fotos und Videos, also auch ohne Artec-Scanner

Für Zusi wäre das vermutlich eher ein Werkzeug zur Erzeugung eines Ausgangsmodells – Retopologie, Vereinfachung und LOD-Erstellung wären danach natürlich weiterhin nötig