KI-Tool für Zusi: 3D-Objekte automatisch suchen

[ichbinreis]

Man könnte vielleicht diese html-Seite so öffnen, dass man das Objekt direkt per Drag & Drop von der Seite aus im 3D-Editor reinziehen kann, ohne vorher den Umweg zu gehen, die Funktion „Objekte per Drag & Drop importieren“ zu gehen.

Da fehlt mir aber die Kenntnis, wie das im 3D-Editor selbst funktioniert. Das müsste man halt erst einmal migrieren.

[Carsten Hölscher]

Ideal wär natürlich der Ablauf: Man zieht ein Foto in das Drag+Drop-Import-Fenster, es klappt ein Fenster aus mit den Vorschlägen. man klickt seinen Vorschlag an und er steht bereit zum Drag+Drop.
Dem Dialog noch eine html-Ausklappung zu geben, wär natürlich kein großes Problem, aber ich weiß nicht, ob das Tool sich passend hinbiegen lässt.

Carsten

[ichbinreis]

Und noch besser, wenn man das Bild des passendsten Objekts aus der html-Seite direkt in die Landschaft ziehen kann. Dafür müsste ich aber wissen, wie der Drag & Drop Modus technisch umgesetzt ist, auch welche Daten in welcher Form erwartet werden, wenn man ein Objekt in die Landschaft zieht. Da ich technisch nicht wirklich viel Ahnung davon habe und das Tool wie gesagt von KI geschrieben ist hier folgende technische Rückfragen:

- Kann das DnD-Fenster reine Bilder (Drop/Paste) annehmen und als Tempdatei speichern?
- Darf der Editor danach einen lokalen HTTP-POST an unseren Dienst schicken? Wenn nein: lieber Einmal-CLI-Call?
- Reicht zum Einfügen ein einzelner Dateipfad zu .ls3/.st3 (wie „Datei öffnen → Liste“)? Wenn nein: welche Zusatzdaten braucht er?
- Treffer übernehmen: Externes Drag (CF_HDROP) akzeptiert der Editor – oder soll ein Button „In Importliste übernehmen“ die Datei per Aufruf anlegen?
- Pfadregeln: absolut vs. relativ zu _ZusiData; nur Dateien unter _ZusiData erlaubt?
- Zeitbudget/Timeout pro Bild (Sekunden).
- Wie bekommt unser Dienst den _ZusiData-Root: liefert der Editor ihn im Request?

[Carsten Hölscher]

Wenn eine Drag+Drop-Aktion stattfindet bekommt die Anwendung eine Info und z.B. wenn das aus einem Explorer rübergezogen wurde bekommt man dann den Dateinamen mitgeteilt. Anschließend kann die Anwendung dann entscheiden, was sie mit der dem Dateipfad macht, also aktuell z.B. lädt er dann diese Datei. Da gibt's programmiertechnisch keine Einschränkungen.

Carsten

[F. Schn.]

Hm. Ist in der Tat eine Idee. Wie sehr bzw. wie oft wird denn diese Drag&Drop-Bedienung genutzt? Ist sie der "primär-Anwendungsfall" oder bedient man das alles normalerweise ehe eher anders?

Das zweite wäre, wie so etwas Schnittstellentechnisch aussehen kann. Jemand muss feststellen, dass nicht Zusi, sondern das Tool für die Dateinamenserweiterung zuständig ist, dann den Drag&Drop-Vorgang abbrechen, das Tool die Thematik behandeln lassen und dann den Einfügevorgang neu anstoßen.

Option 1: Man erweitert den Editor so, dass er bei bestimmten Dateinamen (welche genau kann man in der Registry festlegen) ein externes Programm aufruft (welches genau kann man ja ebenfalls dort festlegen) und ihm den Pfad übergibt. Das Externe Tool ermittelt die PID des Vaterprozesses und sendet dort einen Drag&Drop-Request. (Weitgehend die Option, die du beschrieben hast.) Das Tool muss dann u.a. auch das Browserfenster selbst handhaben, also den Pfad aus der Webseite selbst abrufen, und das Tool muss selbst die Schwarze Magie der Windows-Message-Sonderversendungen beherrschen.
Option 2: Man erweitert die ZusiEditorExtensions, so dass sie die Drag&Drop-Message abfangen können und eine eigene Drag&Drop-Message auslösen können, dann entwickelt jemand ein C#-Wraper-Programm oder portiert das Tool auf C# (oder was anderes von .Net8). Ähnlich Option 1, aber Bindung an C#, dafür muss der Zusi3DEditor selbst nicht verändert werden.
Option 3: Zusi wird so erweitert, dass wenn Drag&Drop mit Bilddateien auftritt (was Bilddateien sind wird am besten in der Registry festgelegt):
* Zusi eine "Bitte-Warten"-HTML-Datei aus einem festgelegten Ordner in den Temp-Ordner kopiert, die ein JS enthält, das die Webseite alle Sekunde aktualisiert.
* Zusi einen WebView2 aufmacht, wobei der WebView einen Sonderbefehl für das Hinzufügen von Dateien zum "Objektimport Drag&Drop" enthält.
* Zusi den Prozess für das Tool startet, Kommandozeilenparameter = Dateiname
* Das Tool alle nötigen Schritte durchführt und zum Schluss die produzierte Webseite im Temp-Ordner speichert und dabei die "Bitte-Warten"-Datei überschreibt.
Im Prinzip die Option, die für den Editor am natürlichsten wäre.
Option 4: Erweitern von Zusi um eine DLL-Schnittstelle, wo der Editor dann die DLL fragt, ob die DLL eine Dateinamenserweiterung speziell behandeln möchte, und außerdem der Editor der DLL die Möglichkeit gibt, zu einem selbst gewählten Zeitpunkt Dateien einzufügen. Ähnlich Option 1 und 2, aber von den Schnittstellen her am klarsten.
Weitere Optionen?

(So wirklich überzeugend finde ich nämlich keine der Optionen...)

[Johannes]

Ideal wär natürlich der Ablauf: Man zieht ein Foto in das Drag+Drop-Import-Fenster, es klappt ein Fenster aus mit den Vorschlägen. man klickt seinen Vorschlag an und er steht bereit zum Drag+Drop.

Das klingt unnötig kompliziert und integriert – das Foto kann man ja stattdessen auch in das externe Tool ziehen. Am wichtigsten und universellsten wäre, dass man eine 3D-Datei von extern in den 3D-Editor ziehen kann und die dann importiert wird. Dann ist auch egal, von welchem Tool die kommt.

[Carsten Hölscher]

Ich finde es tendentiell unkomfortbaler, mit je mehr Fenstern und Programmen ich rumhantieren muss. Aber das sind jetzt eher Details. Mir ist noch nicht ganz klar, wie man an die Ergebnisse rankommt und dann am Ende an den Pfad den braucht für den Import.

Carsten

[ichbinreis]

Der Pfad des Objekts und wie es heißt - all diese Daten zu den .lod.ls3-Dateien - stecken in der Objektdatenbank.csv drin. Die habe ich halb automatisch und halb manuell einmal aufgebaut. Steckt wie auf github verlinkt mit hier drin: https://drive.google.com/file/d/1lzHgA6 ... sp=sharing

Wie das Tool zu den Ergebnissen kommt ist komplex und hängt hauptsächlich mit dem open_clip Modell zusammen. Alle Daten (Bilder, Namen und Pfade der Objekte, Links zur Objektdatenbank, ...) werden aber auf der lokal erstellten html-Seite erfasst, ich kann das Tool aber beliebig umbauen (lassen) und die Daten anderweitig ausgeben. Wie du es eben brauchst.

[Carsten Hölscher]

Bei meiner Überlegung müsste ja der Editor an die Dateinamen kommen, das meinte ich.

Objektimport per Drag+Drop wär kein Problem. Ich denke man sollte das in das Importfenster ziehen dafür, um es vom Laden der Datei zu unterscheiden?

Carsten

[ichbinreis]

Das kann auch das Tool übernehmen, es kennt ja den Pfad des Objekts und ich kann es so umbauen, dass es den exakten Dateinamen.lod.ls3 mitgibt. Wir können es wahrscheinlich folgendermaßen lösen:

Wenn ich etwas in das Drag & Drop Fenster ziehe, muss der 3D-Editor:
1. erkennen, ob es ein Bild ist, vorzugsweise .png, wenn nicht eine Fehlermeldung auswerfen
2. der 3D-Editor müsste dann erkennen, wo diese Datei liegt und das Tool starten:
bildvergleich_gui_v1.2.exe --image "Pfad\Bild.png"

Das Tool arbeitet dann selbstständig und wirft nach einigen Sekunden die .html-Seite in einem kleinen Fenster aus. Wie gesagt: ich würde es so überarbeiten, dass man den Pfad plus Namen des Objekts.lod.ls3 per Klick in die Zwischenablage kopieren kann. Alle guten Dinge sind drei:

3. Im Drag & Drop Fenster musst du den Befehl STRG + V erlauben, um eine Datei zur Liste hinzuzufügen. Ist denke ich die einfachste Lösung, oder? Sag mir mal, ob das so passt, dann baue ich das Tool einmal ohne die GUI. Ziehst dann einfach nur ein Bild rein, Klick, STRG + V, fertig

[SirTobie]

Ich hätte das ja gerne mal ausprobiert. Gibt es eine Installationsanleitung für Nicht-Programmierer?

Ich habe das zip-Paket heruntergeladen und entpackt. Dann den Code aus Github unter "Getting startet" ausgeführt, was mir einen Ordner "venv" hinzugefügt hat. Und jetzt?

[ichbinreis]

Ich hätte das ja gerne mal ausprobiert. Gibt es eine Installationsanleitung für Nicht-Programmierer?

Ich habe das zip-Paket heruntergeladen und entpackt. Dann den Code aus Github unter "Getting startet" ausgeführt, was mir einen Ordner "venv" hinzugefügt hat. Und jetzt?

Dann brauchst du, vorausgesetzt du hast die „required files“ heruntergeladen und abgelegt, nur noch die Datei: bildvergleich_gui.py
Die kannst du mit der Eingabeaufforderung ausführen. Du musst nur eingeben:
cd „Pfad“
und dann
python „bildvergleich.py“

Oder du führst einfach die .exe aus, neueste Version hier, und das ergänze ich mal im ersten Beitrag:
https://drive.google.com/file/d/1bCb_Vb ... sp=sharing

[SirTobie]

Ich hab jetzt zuerst die exe geladen. Nach kurzer Wartezeit kommt diese Fehlermeldung:

Code: Alles auswählen

---------------------------
Fehler beim Laden von CLIP
---------------------------
Failed to download weights for tag 'openai': Failed to download file (open_clip_pytorch_model.bin) for timm/vit_base_patch32_clip_224.openai. Last error: 'NoneType' object has no attribute 'write'

Und wenn ich die vorhandene bildvergleich_gui_v1.2.py aufrufe, kommt das:

Code: Alles auswählen

---------------------------
Fehlende Abhängigkeit
---------------------------
No module named 'pandas'

Bitte installiere:
  pip install torch torchvision torchaudio
  pip install open_clip_torch
  pip install pillow pandas scikit-learn

*winsel* *Hilfe!* *will_nach_Hause*

[ichbinreis]

Und wenn ich die vorhandene bildvergleich_gui_v1.2.py aufrufe, kommt das:

Code: Alles auswählen

---------------------------
Fehlende Abhängigkeit
---------------------------
No module named 'pandas'

Bitte installiere:
  pip install torch torchvision torchaudio
  pip install open_clip_torch
  pip install pillow pandas scikit-learn

*winsel* *Hilfe!* *will_nach_Hause*

Das kannst du einfach lösen, indem du das was da stehst in die Eingabeaufforderung eingibst

pip install torch torchvision torchaudio
pip install open_clip_torch
pip install pillow pandas scikit-learn

Ich hab jetzt zuerst die exe geladen. Nach kurzer Wartezeit kommt diese Fehlermeldung:

Code: Alles auswählen

---------------------------
Fehler beim Laden von CLIP
---------------------------
Failed to download weights for tag 'openai': Failed to download file (open_clip_pytorch_model.bin) for timm/vit_base_patch32_clip_224.openai. Last error: 'NoneType' object has no attribute 'write'

Das klingt sehr nach einem Coding-Fehler. Was mich wundert, weil ich das Tool auf einem jungfräulichen PC erstmalig ausgeführt habe und es das ohne Probleme gemacht hat... Wie dem auch sei - wenn ich den Fehler dahinter herausfinde und lösen kann, müsste ich trotzdem eine ganz neue .exe kompilieren und hochladen. Vielleicht mag jemand anderes die v1.2 einmal ausführen und mir sagen, ob es bei ihm funktioniert?

Und ich hoffe einfach mal, dass die .py-Datei ausführbar ist, wenn du die drei Dinger installiert hast

[Michael Springer]

Vielleicht mag jemand anderes die v1.2 einmal ausführen und mir sagen, ob es bei ihm funktioniert?

Done
EXE geladen, ausgeführt, Result

[Uli-Sch]

Vielleicht mag jemand anderes die v1.2 einmal ausführen und mir sagen, ob es bei ihm funktioniert?

mit der Version v1.2 bekomme ich auch die gleichen Fehlermeldungen

[SirTobie]

Das kannst du einfach lösen, indem du das was da stehst in die Eingabeaufforderung eingibst

pip install torch torchvision torchaudio
pip install open_clip_torch
pip install pillow pandas scikit-learn

Stimmt. Das hat funktioniert. Danke!

[ichbinreis]

Stimmt. Das hat funktioniert. Danke!

Das freut mich ich setze mich morgen mal dran und fixe die .exe. Auf meinem aktuellen Gerät funktioniert sie wahrscheinlich dann auch nur, weil das open_clip schon installiert ist.

[SirTobie]

Nachtrag: nachdem ich das obige installiert hatte, läuft jetzt auch die exe...

[ichbinreis]

Ich habe jetzt ein paar Stunden getüftelt, aber keine Lösung hinbekommen, bei der die .exe nicht mehrere GB groß wird. Dann müssen wir uns übergangsweise damit abfinden, dass diese 3 Modelle über die Eingabeaufforderung initial einmal installiert werden müssen, damit die .exe funktioniert. Aber immerhin funktioniert das.

Noch ein kleiner Tipp für das Tool: Mit sehr schwach aufgelösten Bildern, etwa aus der Webversion von Google Earth, erzielt das Tool eher schlechte bis mittelgute Ergebnisse. Wer ein iPhone oder einen Mac hat, kann Apple "Karten" verwenden, die Luftbilder (auch größtenteils 3D) sind extrem scharf. Wer kein Apple-Nutzer ist, dem kann ich, sofern es dafür Inhalte in seiner nachzubauenden Region gibt, Google Street View empfehlen.

Und natürlich gilt: Das Tool kann nur die besten Objekte finden, die im Bestand existieren. Ich werde in etwas ferner Zukunft sicher einmal die Datenbank und Fotogrundlage aktualisieren und eine Version 3 draus bauen.