ZusiObjektAlbum: V8.0.1beta: Neu - Ähnlichkeitssuche unter allen 14.631 Zusi-Objekten
Neue Beta Version: V8.0.1
- Änderungen: Anpassungen an .net8
- Neu: Ähnlichkeitssuche unter allen 14.631 Zusi-Objekten
Beschreibung der Änderungen:
- Ähnlichkeitssuche unter allen 14.631 Zusi-Objekten
Robin (IchBinReis) hat vor einem Jahr ein Tool vorgestellt, daß das Raussuchen von passenden Objekten (in der Regel Häuser) soweit wie möglich automatisiert.
Es ist natürlich sinnvoll so eine Ähnlichkeitssuche auch in das ZusiObjektAlbum zu integrieren.
Prinzipiell läuft die Suche so ab:
Ein Bild des gesuchten Objekts wird per Drag&Drop oder über eine Dateiauswahl in das Suchfeld übergeben. Nach dem Starten der Suche vergleicht ZusiObjektAlbum das gesuchte Bild mit allen 14.653 Objekten und gibt eine Liste mit den besten 100 Objekten aus. Durch Anklicken eines Objekts in der Ergebnisliste werden die 4-Ansichten und das animierte Bild angezeigt.
Mit Drag&Drop kann man das gefundene Objekt dann in den 3D-Editor ziehen oder den Pfad kopieren und es anderweitig verwenden. (Eine detailiertere Beschreibung, wie das funktioniert, findet Ihr weiter unten).
Einige Beispiele:
Haus mit Verkehr:
Es wird ein Haus und der Bus gefunden:
Haus steht auf dem Kopf:
Bahnsteigbank mit Hintergrund
Der Hintergrund irritiert und führt zuerst zu falschen Ergebnissen. Reduziert man den Hintergrund (nur ausschneiden des Objekts - Hintergrund nicht entfernen), funktioniert es besser
Wie arbeite die Ähnlichkeitssuche:
Stell dir vor, ein Computer könnte sich von jedem Bild einen "visuellen Fingerabdruck" merken – keine exakte Pixelkopie, sondern eher einen Eindruck davon, wie das Objekt aussieht: Form, Proportionen, Baustil, Struktur.
Genau das passiert hier mit einem darauf trainierten KI-Modell (genannt CLIP, Datei vision_model.onnx): Es hat Millionen Bilder gesehen und dabei gelernt, was Dinge visuell ähnlich macht – ganz ähnlich, wie ein Mensch auf einen Blick erkennt "das sieht aus wie ein Bauernhaus", ohne jedes Detail bewusst zu vergleichen.
So läuft die Suche ab:
1. Vorbereitung (einmalig): Von jedem der 14.653 Zusi-Objekte wurden vier Ansichten (vorne, hinten, links, rechts) gerendert. Für jede Ansicht hat die KI einen solchen "Fingerabdruck" berechnet und gespeichert. (Datei: index.bin)
2. Dein Foto: Wenn du ein Foto eines echten Gebäudes oder Objekts hochlädst, berechnet die App auf dieselbe Weise einen Fingerabdruck dafür.
3. Vergleich: Die App vergleicht deinen Fingerabdruck mit allen gespeicherten – und zwar, wie "nah" sie sich sind. Zwei sehr ähnliche Fingerabdrücke bedeuten: die Objekte sehen sich vermutlich auch ähnlich.
4. Ergebnis: Du bekommst die Objekte angezeigt, deren Fingerabdruck deinem Foto am nächsten kommt – als Ausgangspunkt für deinen eigenen 3D-Nachbau.
Wichtig zu wissen: Die App "versteht" nicht wirklich, was ein Haus ist – sie erkennt nur visuelle Ähnlichkeit. Deshalb können auch mal Objekte auftauchen, die zwar ähnlich aussehen, aber etwas ganz anderes sind (z. B. ein Schuppen statt eines Wohnhauses) – die Vorschläge sind ein guter Startpunkt, kein Garant für die exakt richtige Kategorie.
Installation:
Die o.a. zip-Datei herunterladen und in einem Ordner auspacken. ZusiObjektAlbum.exe einmal aufrufen.
Das Programm erzeugt dabei einen neuen Menüpunkt im 3D-Editor unter "Landschaft bearbeiten".
ZusiObjektAlbum kann jetzt direkt aus dem 3D-Eitor aufgerufen werden.
ZusiObjektAlbum funktioniert jetzt wie bisher.
Damit die Ähnlichkeitssuche funktioniert muß aber noch etwas gemacht werden:
Das trainierte KI-Modell (vision_model.onnx) ist sehr groß (ca 350Mbyte). Es wird nur einmal benötigt. Deshalb ist es im Programmdownload nicht enthalten.
Im Programm kann mit dem Menükommando: "Tools-> Modell von GitHub herunterladen..." das Model heruntergeladen werden.
Zum Erstellen der gerenderten Zusi-Objekte "index.bin", gibt es zwei Optionen:
- Das Rendern lokal vornehmen mit dem Menu-Punkt: "Tools->Objekte indexieren" - die Datei index.bin wird aus den lokal auf dem PC gespeicherten Objekten erstellt. Da insgesamt fast 60.000 Bilder verarbeitet werden müssen kann das 1 bis 2 Stunden dauern. Dies ist z.B. sinnvoll, wenn man keine Standarinstallation von Zusi hat.
- Mit dem Menu-Punkt: "Tools->Index von GitHub herunterladen...", kann man eine aktuelle index.bin Datei herunter laden. Die Datei basiert auf dem Paket 212 und der Zusi-Installation auf meinem PC. Nach dem herunterladen der index.bin kann mit "Tools->Objekte indexieren" ein Update durchgeführt werden, falls z.B. neuer Pakete installiert wurden.
Offene Punkte:
Private Objekte werden bei der Suche noch nicht berücksichtigt. Wo werden die gespeichert und wie sollen die am besten eingebunden werden? Sind die im privaten Zusiordner oder woanders gespeichert?
Ich hoffe, das war jetzt einigermaßen verständlich. Wenn Fragen sind, bitte hier stellen.
Viel Spaß
Harold
PS: Die gerenderten Bilder werden NICHT gespeichert, sondern existieren nur im RAM. Alle Bilder werden wenn sie gebraucht werden in Echtzeit aus den 3D-Modellen erzeugt. Sonst müsste man 60.000 Bilder (ca 2.5GByte) downloaden.
Ich habe das Programm gerade getestet und bin begeistert. Es ist ja quasi eine Weiterentwicklung meines bisherigen Tools mit ein paar weiteren Vorteilen.
