Beta-Uploads, technische Frage

Alle Fragen zur Verwaltung, Organisation usw. rund um neue Add-Ons.
Nachricht
Autor
Benutzeravatar
Carsten Hölscher
Administrator
Beiträge: 33384
Registriert: 04.07.2002 00:14:42
Wohnort: Braunschweig
Kontaktdaten:

Beta-Uploads, technische Frage

#1 Beitrag von Carsten Hölscher »

Ich teste gerade etwas wg. Vereinfachungen zum Addon-Einreichen usw. Ein Bestandteil wäre das eigenständige Hochladen von Addon-Veröffentlichungskandidaten auf den Server, wofür man z.B. einen ftp-Zugang in die Verwaltung integrieren könnte (ich würde ungern einen eigenen Account für jeden Bastler anlegen, evtl. gibt es da auch Beschränkungen in der Anzahl).
Frage an die Web/Server-Fachleute: Ich könnte über die Verwaltung recht genau steuern, was jeder wohin laden oder auch löschen kann. Allerdings dürfte man recht einfach die zum Login verschickten Daten mitlesen und sich dann mit einem ftp-Client einloggen können - und dann im dümmsten Fall auf dem Server Quatsch veranstalten. Hilft hier nur eine Datenbanklösung oder gibt es eine Möglichkeit, den ftp-Zugang "abhörsicher" zu gestalten?

Carsten

Benutzeravatar
F. Schn.
Beiträge: 6629
Registriert: 24.10.2011 18:58:26

Re: Beta-Uploads, technische Frage

#2 Beitrag von F. Schn. »

So weit ich weiß nein. Du kannst es allerdings etwas hinauszögern, indem du die Verbindung noch vor der Passwortübergabe verschlüsselst (was die meisten Standardverschlüsselungen machen), aber dann werden halt die Zugangsdaten über Assembler ausgelesen.
Zuletzt geändert von F. Schn. am 24.07.2020 18:24:45, insgesamt 1-mal geändert.
Diese Signatur möchte folgendes bekannter machen: ZusiWiki · ZusiSK: Streckenprojekte · YouTube: Objektbau für Zusi · euirc: Zusi-Chat

F(R)S-Bauer
Beiträge: 6281
Registriert: 09.11.2002 02:00:47

Re: Beta-Uploads, technische Frage

#3 Beitrag von F(R)S-Bauer »

Hallo Carsten,

mit eine Normale FTP Zugang bist du nicht mehr mehr Datenschutzgrundverordnung-Konform. Auch ist es Theoretisch (und mit Routerzugriff auch praktisch) möglich Daten mit zu lesen und zu manipulieren. Bitte sftp (https://de.wikipedia.org/wiki/SSH_File_ ... r_Protocol" target="_blank) verwenden, das geht ohne TSL und beseitigt die Problem.
Denn Public SSH Key kann man dann Public Stellen, so das Sicherheitsbewuste User Verifizieren können, ob es der Richtig Host ist.
Standardkonform sollte es diverse Clients dafür geben, in W10 wird es auch über Kurz oder lang Einzug halte.
Grundsätzlich würde ich das zu den Standarports auch über Port 443 anbieten, beseitig Problem mit Firewalls.

Unter Linux gibt es da mehrere, als Windows Client kann man z.B. den Total-Commander mit Plugin als auch winscp verwenden.

Nur im Bezug auf Reposit müste man noch mal recherchieren.

Wenn Ihr auf eurem Server eine Userverwaltung habt, sollte es auch kein Problem sein da drüber eine SFTP Zugriff zu steuern. Je nach CMS gibt es Plugins.
Von der Idee auf eine Einzel - Userverwaltung zu verzichten würde ich ganz Dringen abraten, über kurz oder lang sind die PWs Allgemeingut. Und dann bekomme mal raus wer darüber den Server in ein Virenschleuder verwandelt hat.
Ansonsten sollten in jeden Linux ein SFTP Server drin sein, und ggf per PAM ankoppelbar

Ansonsten für die Clientseite, winscp ist Scriptbar, und für Delphi gibt es wohl SFTP Module, aber jetzt nicht zwingen für sehr alte Versionen...

Gruß

Ralf
Zuletzt geändert von F(R)S-Bauer am 24.07.2020 22:20:51, insgesamt 6-mal geändert.

Benutzeravatar
Max Senft
Administrator
Beiträge: 3004
Registriert: 04.11.2001 14:01:40
Aktuelle Projekte: Dies und das
Wohnort: Blieskastel, Saarland, Deutschland
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#4 Beitrag von Max Senft »

Hi,

also irgendeine Art Benutzerverwaltung wirst du ja auf jeden Fall brauchen?! Ich vermute, dass du allerdings bei FTP nicht drum herum kommst, eigene Benutzerkonten anzulegen, außer du würdest einen eigenen FTP-Server schreiben.

Meine erste Frage wäre ja tatsächlich: Was soll die Umsetzung alles können?
  • Pro Benutzer:
    • Hochladen
    • Anzeigen eigener Dateien
    • Verschieben
    • Löschen
  • Für Admins (also dich):
    • Anzeigen aller Dateien
    • Herunterladen von Dateien aller Benutzer
    • Löschen von Dateien aller Benutzer
  • Sonstige Funktionen:
    • Integration in Paketverwaltungs-Funktionen?
    • Irgendwelche automatischen Funktionen?
Ich hätte ja fast eher zu einer HTTP-/HTML5-/PHP-basierten Lösung geraten. Damit gehen ja heutzutage Uploads eigentlich auch ziemlich gut. Auch die Wiederaufnahme von Uploads sollte möglich sein etc. pp. Aber auch dafür müsste erstmal bekannt sein, was überhaupt möglich wäre auf dem/den Server(n).

Gruß
Max
Administrator, Programmierer, Ansprechpartner bei Problemen mit dem Board

Benutzeravatar
Michael Springer
Beiträge: 2925
Registriert: 24.06.2002 16:22:44
Wohnort: Schwäbisch Gmünd

Re: Beta-Uploads, technische Frage

#5 Beitrag von Michael Springer »

Wäre es vielleicht nicht sinnvoller in diesem Fall auf ftp zu verzeichen und es eher http basiert zu machen? Ich denke z. B. im Hintergrund an einen Dienst sowas wie NextCloud als Dateispeicher. Das könnte man mit (Gast-)Zugängen oder wie auch immer geartet regeln.

Michael

Mr. X
Beiträge: 1335
Registriert: 04.05.2008 22:12:22
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#6 Beitrag von Mr. X »

Ich hätte auch Ralfs SFTP-Lösung vorgeschlagen. Als dann aber das Stichwort "NextCloud" fiel, kam mir in den Sinn, ob denn nicht vielleicht ein Versionskontrollsystem (SVN) an der Stelle gut einsetzbar wäre...

Benutzeravatar
Carsten Hölscher
Administrator
Beiträge: 33384
Registriert: 04.07.2002 00:14:42
Wohnort: Braunschweig
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#7 Beitrag von Carsten Hölscher »

Also jeder Bastler soll sein Addon einreichen können, indem er es mit der Verwaltung auf den Zusi-Server hochlädt (statt es mit bisher per email zu schicken). Evtl. könnte man dabei definieren, ob es direkt ein öffentlicher Testdownload sein soll bzw. welche Zusi-Teilnehmerkreise Zugang zu der Version bekommen.
Dann sollten alle Leute mit Zugang die Möglichkeit haben, Anmerkungen/Fehlerberichte zu hinterlassen, die der Autor dann abarbeiten kann.

Für jeden Bastler einen eigenen ftp-Account einzurichten, wäre halt ziemlich viel Aufwand, da ich das wohl nicht automatisieren kann.

Carsten

F(R)S-Bauer
Beiträge: 6281
Registriert: 09.11.2002 02:00:47

Re: Beta-Uploads, technische Frage

#8 Beitrag von F(R)S-Bauer »

Hallo,

also http geht nicht zwingend durch jede Firewall ohne Eingriff in die daten durch, sftp über 443 schon. Uns sftp hat keinen Mehrfachkanäle wie ftp, was bei Proxys und Firewalls schon mal zu Problemen führt.

Wenn es denn über die Verwaltung gehen soll nimm doch den Dort hinterlegten AuthorID als User. Denn must du ja sowieso haben. Passwort könnte z.B. Die Stick-Kennung sein, ist doch als "Lizenz" mit Sicherheit irgendwo im System hinterlegt.
Den SFTP Client nimmst du Delphi-Modul in die Verwaltung rein. In der verwaltung gibt es dann noch eine Schalter der Sagt Beta, Update, ... und das wird dann durch den Client in entsprechende Verzeichnisse auf dem Server gespeichert. Beim Upload packt die Verwaltung vorne an den Dateinamen den Author-ID dran.

Gut, einmal muss man Author id und Stick-Kennung zusammenführen. Das ganze dann als *.txt Exportieren und als Userdatenbank für den SFTP Server verwenden (Möglichst verschlüsselte DB). Wenn du der Verwaltung den ssl Key des Server mit gibst sollte das auch schwer angreifbar sein.

Wenn es denn kein Internes Modul seine soll, weil es kostet, nimm in dein Programm winscp rein: https://winscp.net/eng/docs/lang:de" target="_blank. Ist OpenSource, und per Script Steuerbar.

Verwende ich in der Firma um Nacht Daten an Shops zu übertragen, gesteuert per cmd-Script, sprich, die Parameter werden beim Aufruf an die Exe gehangen.

Und was die Fehlerberichte angeht, könnte man das über ein Textdatei erledigen, die man mit dran hängt, oder nur diese Überträgt.

Nachtrag:
Noch ein Wort zu Cloud-Systemen, nette Idee, aber nach dem Aktuellen Urteil des EuGH zum Privacy-Shield, und der US Gesetzeslage das alle Firmen die Direkt oder indirekt Amerikanischen Recht unterliegen auch Ausländische Daten Rausrücken müssen, wäre ich da sehr Vorsichtig. Allein schon OneDrive vom Office 365/W10 ist Somit ein verstoß gegen Datenschutzgrundsätze.
Der EuGH hat sich an der Massenüberwachung gestoßen, und das Explizit auch für Einzelvertragsverhältnise in Frage gestellt.
Und weist du wer letztendlich der Juristische Besitzer der Cloud ist?

Da würde ich erst wieder drüber nachdenken, wenn es die ersten Urteile gegeben hat, die Sache nimmt langsam erst fahrt auf. FaceBook, Google, und Microsoft werden die ersten sein wo es Ärger gibt. Klar ist, das ganze nochmal umdeklarieren und als neues Gesetz ausgeben wird wohl nicht gehen, da Elementare Rechtsansichten Kollidieren.

Gruß

Ralf
Zuletzt geändert von F(R)S-Bauer am 25.07.2020 13:29:02, insgesamt 3-mal geändert.

Benutzeravatar
F. Schn.
Beiträge: 6629
Registriert: 24.10.2011 18:58:26

Re: Beta-Uploads, technische Frage

#9 Beitrag von F. Schn. »

Wirklich gute Alternativen zu einem eigenen Account pro Nutzer sehe ich nicht (und zwar egal ob FTP, SVN oder HTML/PHP). Was ist das denn für ein FTP-Server, es wundert mich etwas, dass die Automatisierung hier so aufwendig seien soll?

Und es ist denke ich klar, dass du natürlich den (FTP-)Zugang so sichern musst, dass ein Angreifer nur auf die neuen ZAO-Dateien Zugriff hat, und wenn er etwas anstellt auch nur dort Schaden anrichten kann. Unabhängig davon, ob es nur einen Account gibt, oder mehrere. Eine Beschränkung, dass man nicht versehentlich oder absichtlich riesige Dateien hochläd und damit dem Server den nötigen Festplattenspeicher klaut, gehört da natürlich auch dazu. (Also am besten ein Platzkontingent für das FTP.)

Die Daten werden dir mit der Zweckbindung der Veröffentlichung übergeben. Wenn es durch einen Angriff zu einer verfrühten Veröffentlichung kommt, sehe ich aus Sicht des Datenschutzes hier keine ernsthaften Hebelmöglichkeiten.
Diese Signatur möchte folgendes bekannter machen: ZusiWiki · ZusiSK: Streckenprojekte · YouTube: Objektbau für Zusi · euirc: Zusi-Chat

F(R)S-Bauer
Beiträge: 6281
Registriert: 09.11.2002 02:00:47

Re: Beta-Uploads, technische Frage

#10 Beitrag von F(R)S-Bauer »

Mit dem Authoren ID hast du das ja beschränkt auf die die Bauen. Und da ist es Bedingung!
Man könnte natürlich ohne Authoren ID eine Dummy hinterlegen, der dann bei Fehlermeldungen zur Übertragung genutzt wird und ein genereller Account ist.
Somit ist das auch Datentechnisch begrenzt im Sinne von Notwendigen Daten.

Grundsätzlich kann man SFTP Server auch auf Write-Only+NoList Einstellen. Durch ein Authorenkennung im Dateinamen wird auch überschreiben fremder Sachen verhindert. Und die Lizenznummer als PW, ggf. mit einem Hash verschleiert sollte auch nicht so häufig sein...

Gruß

Ralf
Zuletzt geändert von F(R)S-Bauer am 25.07.2020 14:26:54, insgesamt 4-mal geändert.

Alwin Meschede
Beiträge: 8926
Registriert: 04.11.2001 19:57:46
Aktuelle Projekte: Zusi3 Objektbau
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#11 Beitrag von Alwin Meschede »

Vorhin habe ich drüber nachgedacht, ob man nicht ein fertig entwickeltes System wie Gerrit einführen könnte, anstatt das Rad neu zu erfinden.
Mein Youtube-Kanal: youtube.com/echoray1

Benutzeravatar
Max Senft
Administrator
Beiträge: 3004
Registriert: 04.11.2001 14:01:40
Aktuelle Projekte: Dies und das
Wohnort: Blieskastel, Saarland, Deutschland
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#12 Beitrag von Max Senft »

Hi.

Das war auch mein Gedanke... Jira kam mir bereits in den Sinn. Aber das würde ja schon eine großflächigere Umstellung des gesamten Prozesses bedeuten, weshalb ich das nicht ansprechen wollte. Auch die generelle Verwendung eines Versionskontrollsystems für die Add-On Daten wäre schon sinnvoll...

Gruß
Max
Administrator, Programmierer, Ansprechpartner bei Problemen mit dem Board

Flo Zille
Beiträge: 201
Registriert: 15.05.2018 09:06:32

Re: Beta-Uploads, technische Frage

#13 Beitrag von Flo Zille »

Für die Richtung "Versionskontrollsystem" werfe ich mal noch git mit LFS (large file storage) in den Ring. Habe ich unter Windows zwar noch nicht benutzt, aber soweit ich weiß ist der Umgang damit dann auch nicht groß anders als z.B. TortoiseSVN. Wobei zu klären wäre, inwiefern die GUI-Tools LFS unterstützen. Es hat den Vorteil, dass es kein Versionskontrollsystem fast noch aus dem letzten Jahrtausend ist und heute sehr viel stärker verbreitet ist als SVN.

Für git-repositories gibt es diverse Web-Frontends wie gitlab oder gitea, die neben einem Zugriffsschutz (je nach Konfiguration nur mit Login nutzbar) auch die Historie, Issue-Tracking, Merge Requests (also Einreichung von Änderungsvorschlägen) mit Reviewmöglichkeit oder die Einbindung von CI-Umgebungen (also automatisierte Überprüfungen der eingereichten Änderungsvorschläge) unterstützen. Wobei es dann sinnvoller wäre, das ZAO-Format in der Addon-Entwicklungsphase ganz aufzugeben und höchstens ganz am Ende bei der Erstellung eines Addonpakets mit ZAO anzufangen. Git kann dann die seit dem letzten Addon veränderten Dateien auflisten, diese müssten dann in die ZAO-Datei gepackt werden. Diese git-Webfrontend-Systeme sind nämlich für den Betrieb auf Unix-artigen Servern ausgelegt (bzw. wahrscheinlich eigentlich nur Linux), und SQX2 bietet keine Unterstützung für andere Systeme als Windows. Die Einreichung würde also besser per git merge request erfolgen statt per ZAO.

Ich bin mir aber nicht sicher, ob die Nutzung dieser eigentlich für Softwareentwickler entworfenen Tools nicht eine zu hohe Einstiegshürde darstellen würde. Mit SVN scheinen hier aber ja schon viele zu arbeiten, das ist letztlich nichts anderes, nur 10-15 Jahre älter, vielleicht etwas weniger komplex, aber dafür ohne die schönen neuen Weboberflächen.

Benutzeravatar
Jens Haupert
Beiträge: 4910
Registriert: 23.03.2004 14:44:34
Aktuelle Projekte: http://www.zusidisplay.de
Wohnort: Berlin
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#14 Beitrag von Jens Haupert »

Hallo,

vielleicht nochmal einen Schritt zurück. Ein Großteil der Bastler war doch schon mit der neuen Verwaltung überfordert. Es kann mir doch keiner erzählen, dass eine Laie von heute auf morgen Merge-Reqeuests in Gitlab manages soll? :rolleyes:

Grüße
Jens
Zuletzt geändert von Jens Haupert am 27.07.2020 14:36:22, insgesamt 1-mal geändert.

F(R)S-Bauer
Beiträge: 6281
Registriert: 09.11.2002 02:00:47

Re: Beta-Uploads, technische Frage

#15 Beitrag von F(R)S-Bauer »

Hi,
Ausserdem geht das an Carstens Anforderung vorbei.
Er will Dateien sicher Hochladen, in der Verwaltung nur eine Schalter ein bauen zum senden, und das ganze Userabhängig. Versionscontrollsysteme werden die meisten User nicht Akzeptieren.
Schau dir doch das Theater an, das einige User jetzt mal von der Verwaltung die Fehler bemängelt kriegen, und das überhaupt nicht einsehen was anderes als eine Zip Datei zu senden und nach mir die Sinnflut. Sie froh das die Überhaupt zip nutzen...

Gruß

Ralf

Benutzeravatar
Michael Springer
Beiträge: 2925
Registriert: 24.06.2002 16:22:44
Wohnort: Schwäbisch Gmünd

Re: Beta-Uploads, technische Frage

#16 Beitrag von Michael Springer »

Naja, wenn auf dem Server keine wichtigen oder kritischen Daten sind oder hochgeladen werden, könnte man ja mit hardcodierten Zugangsdaten arbeiten (ein Account für alle) und nur anhand der Bastler-ID jeweils die Dateien in ein anderes Verzeichnis schieben. Fertig ist die Sache. Ich habe aber von IT-Sicherheit keine Ahnung, wie clever das am Ende ist...

Michael

Benutzeravatar
Max Senft
Administrator
Beiträge: 3004
Registriert: 04.11.2001 14:01:40
Aktuelle Projekte: Dies und das
Wohnort: Blieskastel, Saarland, Deutschland
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#17 Beitrag von Max Senft »

Hi.

Man kann auch Versionskontrollsysteme nutzen ohne dass der Benutzer was davon großartig mitbekommt. Wenn die Oberfläche entsprechend einfach gehalten ist und quasi nur aus Upload und Kommentar besteht, sollte das nicht wirklich kompliziert sein. Es geht ja dann darum was ein derartiges Tool ggf für Carsten oder wer auch immer die Paketverwaltung in Zukunft macht noch für zusätzliche Vorteile hat.

Generell halte ich "ein Account für alle" als kritisch, sobald die Nutzer auch Dateien löschen können sollen.

Auch wäre ich eher für eine webbasierte Lösung als für eine Integration in ein Tool. Außer das Tool macht nichts anderes als das was man mit einem Browser auf der Webseite machen würde... Wäre aber halt irgendwie doppelte Arbeit.

Gruß
Max
Administrator, Programmierer, Ansprechpartner bei Problemen mit dem Board

Benutzeravatar
Max Senft
Administrator
Beiträge: 3004
Registriert: 04.11.2001 14:01:40
Aktuelle Projekte: Dies und das
Wohnort: Blieskastel, Saarland, Deutschland
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#18 Beitrag von Max Senft »

Hi.

Noch ein Zusatz: möglich wäre ja auch die Integration von bspw. Chromium in das Tool. Das kann dann auch über die API ziemlich gut programmseitig gesteuert werden. Hätte den Vorteil, dass das http/HTML Rad nicht neu implementiert werden müsste und man ein modernes Framework unter der Haube hätte.

Gruß
Max
Administrator, Programmierer, Ansprechpartner bei Problemen mit dem Board

Benutzeravatar
Carsten Hölscher
Administrator
Beiträge: 33384
Registriert: 04.07.2002 00:14:42
Wohnort: Braunschweig
Kontaktdaten:

Re: Beta-Uploads, technische Frage

#19 Beitrag von Carsten Hölscher »

Ja, Ihr habt schon erkannt: Forderung ist, dass der Nutzer nicht durch extra zu nutzende Software oder gar ein SVN überfordert wird.
Hab eben mit meinem Serveradmin beraten und vermutlich haben wir eine praktikable Lösung. Melde mich wenn es getestet ist.

Carsten

spaddi
Beiträge: 4
Registriert: 03.12.2020 12:57:54

Re: Beta-Uploads, technische Frage

#20 Beitrag von spaddi »

F(R)S-Bauer hat geschrieben:Hallo,
Nachtrag:
Noch ein Wort zu Cloud-Systemen, nette Idee, aber nach dem Aktuellen Urteil des EuGH zum Privacy-Shield, und der US Gesetzeslage das alle Firmen die Direkt oder indirekt Amerikanischen Recht unterliegen auch Ausländische Daten Rausrücken müssen, wäre ich da sehr Vorsichtig. Allein schon OneDrive vom Office 365/W10 ist Somit ein verstoß gegen Datenschutzgrundsätze. Der EuGH hat sich an der Massenüberwachung gestoßen, und das Explizit auch für Einzelvertragsverhältnise in Frage gestellt. Und weist du wer letztendlich der Juristische Besitzer der Cloud ist? Da würde ich erst wieder drüber nachdenken, wenn es die ersten Urteile gegeben hat, die Sache nimmt langsam erst fahrt auf. FaceBook, Google, und Microsoft werden die ersten sein wo es Ärger gibt. Klar ist, das ganze nochmal umdeklarieren und als neues Gesetz ausgeben wird wohl nicht gehen, da Elementare Rechtsansichten Kollidieren.Gruß
Ralf
Aber mal unter uns .. gab es denn schonmal einen Fall wo solche Daten wirklich auch rausgerückt wurden? Klar, sollte man vorsichtig damit sein, aber man muss auch den Ball flach halten (meine Meinung)

Antworten