KI-Tool für Zusi: 3D-Objekte automatisch suchen

[ichbinreis]

Moin zusammen,

wie im Thema "Streckenbau mit KI" - siehe viewtopic.php?t=20070&hilit=Tools - schon angeschnitten, habe ich die letzten Wochen hauptsächlich damit verbracht, mittels KI ein Tool zu schreiben, was das Raussuchen von passenden Objekten (in der Regel Häuser) soweit wie möglich automatisiert. Dieses Tool habe ich inzwischen noch etwas weiter optimiert und Fehler behoben.

Das Programm ist selbsterklärend aufgebaut. Man wählt ein Bild eines Objektes aus und klickt auf "Analyse starten".


In aller Regel tut es die schnelle Analyse, die in der Regel nur ca. 5 Sekunden pro Bild in Anspruch nimmt.



Wenn die Analyse abgeschlossen ist, wird automatisch eine html-Seite mit den besten 50 Treffern, den Bildern und allen wichtigen Daten angezeigt. Man kann jetzt ganz einfach auf "Pfad kopieren" klicken und im 3D-Editor damit super schnell zu dem passenden Objekt navigieren.

Das Script, den Code und alle benötigten Dateien habe ich auf GitHub gepostet: https://github.com/ichbinreis/zusi-bildanalyse
Ich habe aber auch eine direkt ausführbare .exe-Datei mit allen benötigten Inhalten (dem Tool selbst, dem trainierten Modell für den Bildvergleich, den Hilfsfunktionen zur Bildvorbereitung, den Ressourcen und Einstellungen die das Modell braucht, meinen vorberechneten Daten und dem Suchindex, der Konfigurationsdatei sowie dem kompletten Datenordner). Damit steckt alles in einer einzigen Datei, die sofort läuft und kein Internet benötigt).

Aktuellste Version als .exe steht hier bereit:
v3.0 -> https://drive.google.com/file/d/1ayNJHp ... sp=sharing

Ältere Versionen:
v1.1 -> https://drive.google.com/file/d/1bCb_Vb ... sp=sharing

Falls beim ersten Ausführen eine Fehlermeldung auftritt, siehe weiter unten in diesem Thema, einfach in der Konsole (cmd) das ausführen:

pip install torch torchvision torchaudio
pip install open_clip_torch
pip install pillow pandas scikit-learn

Für die zusätzliche, neue Funktion ab v3.0: "Hintergrund mit KI entfernen", muss einmalig ausgeführt werden:

pip install "rembg[cpu]"

Großes Danke geht an dieser Stelle auch nochmal an Alwin Meschede, der mir erlaubt hat, alle Bilder und dazugehörigen Daten aus seiner Objektdatenbank zusammenzustellen.

Viele Grüße
Robin

[Carsten Hölscher]

Sehr schön! Wär vielleicht irgendwie in den 3D-Editor integrierbar? Eigene Menüpunkte kann man ja erzeugen, brauchst Du noch mehr dafür?

Der Thread-Titel wär vielleicht besser "3D-Objektsuche für Zusi per KI" oder sowas?

Carsten

[ichbinreis]

Ja, habe den Titel mal angepasst. Dabei ist mir aufgefallen, dass ich ihn für „Tools für Zusi 2“ statt „Tools für Zusi 3“ gepostet habe. Wenn das jemand bitte verschieben kann? Danke

Integration in den 3D-Editor klingt super. In welchem Dateiformat wünschst du dir das Tool in dem Fall? Ich tüftle dann schon mal, wie ich die größten Dateien auslagere und teils beim ersten Ausführen automatisch erzeugen lassen kann. Denn aktuell ist es in der Gesamtfassung etwa 2 GB groß.

[Alwin Meschede]

Mal interessehalber: Nach welchen Kriterien wird "vermutlich ungeeignet für Geländeformer" vergeben?

[Juergen_Verheien]

Hallo,

hier das Ergebnis eines Tests.....

Aus dem Modul Langschede habe ich ein beliebiges Foto gewählt, welches Michael Gross im Mai-2019 gemacht hat...

Hier das Original-Foto...

https://imgur.com/a/IRb9R8s

und hier das Ergebnis in der Umsetzung für Zusi3, besonders das erste Bild links in der oberen Zeile ist bemerkenswert.....

https://imgur.com/a/vWVWdcB

[ichbinreis]

Mal interessehalber: Nach welchen Kriterien wird "vermutlich ungeeignet für Geländeformer" vergeben?

Ich habe zweimal ein leeres Streckenmodul genommen, alle Häuser mit gleichem Abstand platzieren lassen, einen Geländeformerlauf mit einem 10 m DEM gestartet und dann alle auffälligen Objekte als ungeeignet eingestuft und zusammengestellt. Alle, bei denen mir optisch aufgefallen ist, dass die Grundplatte nicht korrekt an das Objekt angeschlossen hat, sind in dieser Einstufung gelandet.

Etwa 80 Prozent der Fälle sind solche wie diese:




Ich habe auch eine Liste angefangen mit Objekten, die perfekt anschließen. Bei fast 6000 Objekten ist das aber ein ziemlich großer Aufwand, weshalb ich das erstmal verschoben habe.

[Alwin Meschede]

Ich habe zweimal ein leeres Streckenmodul genommen, alle Häuser mit gleichem Abstand platzieren lassen, einen Geländeformerlauf mit einem 10 m DEM gestartet und dann alle auffälligen Objekte als ungeeignet eingestuft und zusammengestellt. Alle, bei denen mir optisch aufgefallen ist, dass die Grundplatte nicht korrekt an das Objekt angeschlossen hat, sind in dieser Einstufung gelandet.

Ah ja. Doing the lord's work.

[F. Schn.]

Du kannst die Liste der verdächtigen Daten gerne auch mal in dieses Thema hier kippen: viewtopic.php?t=12889 (Wenn man das wirklich verfolgen will, muss man das aber vermutlich einzeln ansprechen.)

[Juergen_Verheien]

Hallo @ichbinreis,

dieser Effekt mit den Anschlüssen des GF an die Dächer ist begründet in der fehlenden Grundplatte der Objekte. War vor vielen Jahren nicht üblich, da die Objekte vor dem Einsatz des Gf umbaut wurden.

Um diesen Effekt zu umgehen, bauen einfach im Polygenbaumodus eine sehr große Grundplatte, z.B. 100*100 auf die Du dann die Objekte Deiner Wahl platzierst, dann wird der GF sich "normal" also fehlerfrei verhalten.

[Carsten Hölscher]

Kannst Du mal beschreiben, wie genau das Ganze funktioniert? Also welche Dateien müssen wo liegen, braucht man Internet, wie genau ruft man das auf, wie kommt die Antwort usw.

Carsten

[ichbinreis]

Kannst Du mal beschreiben, wie genau das Ganze funktioniert? Also welche Dateien müssen wo liegen, braucht man Internet, wie genau ruft man das auf, wie kommt die Antwort usw.

Carsten

Ich gebe dir die Tage nochmal ausführlich Rückmeldung dazu. Ich versuche das jetzt so umzubauen, dass man nur beim ersten Ausführen Internet benötigt und das KI-Modell automatisch herunterladen kann, das ist der allergrößte Brocken. Kurzgefasst:

KI-Modell (open_clip) - ca. 600 MB
Bilder aller Objekte - ca. 230 MB
Objektdatenbank als Tabelle - ca. 2,2 MB
Script und Indizierung - ca. 15 MB

[ichbinreis]

Kannst Du mal beschreiben, wie genau das Ganze funktioniert? Also welche Dateien müssen wo liegen, braucht man Internet, wie genau ruft man das auf, wie kommt die Antwort usw.

Carsten

So, ich habe das Tool verschlankt. Es arbeitet folgendermaßen:

Beim ersten Ausführen prüft es, ob das open clip Modell bereits installiert ist, wenn nicht wird dieses zum Download angeboten. Das ist ein Open Source Bilderkennungs-Tool von Open AI, wenn du die so integrierst musst du meines Wissens nach die Lizenz mit angeben, siehe hier rechts auf "view licence": https://github.com/mlfoundations/open_c ... ile#readme

Wenn open clip bereits installiert ist, sieht die Oberfläche wie folgt aus:



Und auch hier, wenn das Tool das erste Mal ausgeführt wird erzeugt es mit Klick auf die Schaltfläche "Embeddings erstellen" die Vektor­repräsentationen der vorhandenen Daten und speichert sie in einer Datenbank, sodass spätere Suchanfragen direkt darauf zugreifen können. Danach funktioniert das Tool wie beschrieben, wenn ein Eingabebild geladen wird und der Prozess gestartet wird, findet das Tool automatisch die 50 besten Treffer und stellt sie in einer html-Seite dar, die sich automatisch öffnet.

Einzig benötigt werden folgende Dateien:

bildvergleich_gui_v1.2.py (22 KB, das Python-Script)
Unterordner "Daten" -> Objektdatenbank.csv (2,2 MB, alle Informationen und Daten über die 3D-Objekte)
Unterordner "Daten" -> Unterordner "Bilder" -> ***.jpg (224 MB, alle Bilder der Objekte)

Download hier: https://drive.google.com/file/d/1ZeHf7c ... sp=sharing

Wenn du noch etwas benötigst, gib mir gerne Bescheid.

[Carsten Hölscher]

Ich versuche ja gerade rauszukriegen, wie man das bei Zusi integrieren könnte.

Also es braucht auf jeden Fall erstmal eine externe Installation, damit kann man ja leben.
Jetzt ist die Frage, wie man das Tool startet, denn das könnte man ja in den 3D-Editor einbauen, damit es schön einfach geht. (bat-Datei? Welche Parameter? usw.)
Und dann stellt sich die Frage, wie man das Ergebnis bekommt und verarbeitet. Also was gibt das Tool wo aus?

Carsten

[ichbinreis]

Ja, verstehe. Soll ich dir diese Version einfach ebenfalls als .exe kompilieren? Ich baue nur das python-Script, die Objektdatenbank.csv und die Bilder ein. Eine .bat-Datei wird wohl schwierig, weil der Anwender dann Python 3.x und die ganzen Bibliotheken installiert haben muss, nutzerfreundlich ist das nicht.

Zur Frage wie das Ergebnis erzeugt wird folgende ausführliche Erklärung, ich erkläre es aber mal von ganz vorne:

Das Tool besteht ja wie gesagt aus dem Script selbst als .py-Datei, im gleichen Verzeichnis liegt ein Ordner "Daten" in dem die Datei Objektdatenbank.csv liegt, und in diesem Unterordner wiederum ein Ordner "Bilder" mit allen Fotos der Objekte.

Beim ersten Ausführen wird das open clip Modell (ca. 400 MB) heruntergeladen und standardmäßig hier gespeichert: C:\Users\***\.cache\torch\checkpoints\. Außerdem werden beim ersten Ausführen, oder mit Klick auf die entsprechende Schaltfläche, die Dateien alle_bilder_embeddings.npy + alle_bilder_index.csv erzeugt. Diese landen dort, wo auch das Tool selbst läuft und werden benötigt, um die Bilddatenbank schneller durchsuchen zu können.

Der Nutzer wählt ein oder mehrere Eingabebilder, diese werden in den Arbeitsspeicher geladen und vom clip model analysiert, Berücksichtigung finden am Ende 50 Objekte mit dem größten Ähnlichkeitswert.

Für dieses Eingabebild legt das Tool im Ordner ausgabe_bilder\ (ebenfalls im gleichen Verzeichnis, in dem das Tool liegt) einen neuen Unterordner an, der denselben Namen wie das Eingabebild (ohne Dateiendung) trägt. In diesem Ordner werden folgende Dateien erzeugt:

Das Eingabebild selbst (als Kopie, damit es im Ergebnis sichtbar ist),
die 50 besten Trefferbilder (ebenfalls als Kopien aus Daten\Bilder),
index.html – eine automatisch generierte HTML-Datei, die das Eingabebild oben und darunter die Trefferbilder in einer Galerie anzeigt

Die Datei index.html ist dann genau die Datei, die automatisch im Browser geöffnet wird, sobald die Analyse abgeschlossen ist.

Zusammengefasst:
KI-Modell wird gespeichert in: C:\Users\***\.cache\torch\checkpoints\
alle_bilder_embeddings.npy + alle_bilder_index.csv + ausgabe_bilder werden gespeichert im gleichen Verzeichnis, in dem das Tool ausgeführt wird

[Carsten Hölscher]

Und wie startest Du dann eine Suche ganz konkret?
Besteht eine Möglichkeit, den Pfad der ausgewählten ls3-Datei zu erhalten?

Carsten

[F. Schn.]

Besteht eine Möglichkeit, den Pfad der ausgewählten ls3-Datei zu erhalten?

Also wenn ich die Beschreibung richtig lese, landet der am Ende in der Zwischenablage und kann dann sowohl bei "Import an Anker" als auch bei "Objekte entlang Gleis importieren" bequem in den Datei-Öffnen-Dialog eingefügt werden.

Die Frage ist... Wo benötigt man den Pfad am Ehesten? Vermutlich wird in der heutigen Zeit das tendentiell eher über den Anker gehen, oder?

[Alwin Meschede]

Häuser setzt man ja normalerweise per "Import Drag & Drop"

[ichbinreis]

"Analyse starten" startet die Suche - im Code wird analyse_ausfuehren() gestartet. Wenn die Suche fertig ist, öffnet sich automatisch die erzeugte .html-Datei. Auf dieser steht auch für jedes Objekt der Pfad zur .ls3-Datei und ein Button zum Kopieren des Pfads:

[Carsten Hölscher]

Vielleicht machst Du mal ein Video von dem Vorgang vom Start bis zum importiertem Haus?

Carsten

[F. Schn.]

1. Tool öffnen

2. BIlder auswählen (ist ein normaler File-Open-Dialog)
3. Analyse starten.
4. Ergebnis: Der Standardbrowser öffnet sich und zeigt das hier:

(@ichbinreis: Ergebnis ist in diesem Fall eher naja... )
5. Klick auf "Pfad kopieren"
6. 3D-Editor öffnen
7. Landschaft erstellen -> Objektimport Drag&Drop (nur mal Beispielhaft)
8. Öffnen-Knopf öffnen
9. Wegen der komischen Linux-Abwege mit den Dateipfaden / vs \ muss man oben in die Titelleiste klicken, um den Pfad einzufügen, Strg+V, Objekt auswählen. (Wenn das Tool einfach den absoluten Pfad zur Datei mit korrektem \ kopieren würde, könnte man hier einfach Strg+V+Enter machen)
10. Drag&Drop in Zusi hinein.

Kann man da Zusi-Seitig etwas verbessern? Mir fiele nicht ein, wie.