Die nachfolgenden Empfehlungen gelten für den manuellen Upload von Dateien über das Webinterface ins ETH Data Archive (http://data-archive.ethz.ch/deposit).
Im ersten Teil dieses Dokuments wird erklärt, wie Sie Ihre Dateien und Ordner vorbereiten können, damit ihre Daten möglichst langfristig lesbar bleiben.
Für die befristete Archivierung von grösseren Mengen heterogener Forschungsdaten empfehlen wir zur Zeit das Packen der Dateien in Containerformate. Hinweise zum Vorgehen beim Erzeugen von ZIP- oder Tar-Containern und zur Wahl des geeigneten Tools finden Sie im zweiten Teil dieses Dokuments.
1. Daten vorbereiten
Daten selektieren
Wählen Sie nur Daten, die einen wissenschaftlichen Bezug haben und auch wirklich langfristig verfügbar bleiben sollen, für die Archivierung aus. Entsorgen Sie „Datenschrott" und vermeiden Sie Redundanzen wie ZIP-Files neben entpackten ZIP-Inhalten, mehrfache Backups oder temporäre Dateien. Private Daten gehören nicht ins ETH Data Archive.
Offene Formate wählen
Im Hinblick auf eine langfristige Lesbarkeit sollten Sie darauf achten, dass Ihre Daten nach Möglichkeit in nicht-proprietären Formaten gemäss offenen, dokumentierten Standards gespeichert sind. Wenn die Daten länger als 10 Jahre nutzbar bleiben sollen, empfiehlt es sich, seltene Formate in gebräuchlichere zu konvertieren. Hinweise dazu gibt Ihnen unser Merkblatt zum Thema Archivtaugliche Dateiformate.
Sonderzeichen vermeiden
Vermeiden Sie Sonderzeichen in den Namen von Dateien und Ordnern. Solche Zeichen erschweren die Kompatibilität, da sie je nach Betriebssystem unerwünschte Effekte erzeugen.
Problematische Zeichen sind:
- \ / ? : * " > < |
Diese sind unter Windows in Dateinamen nicht erlaubt und werden beim Entpacken mit WinZip in der Regel durch Underscore ersetzt. - Nicht-ASCII-Zeichen wie z.B. ¢ ™ ® , Umlaute (ä ö ü), diakritische Zeichen wie à é ô etc.
Beim Packen mit WinZip erzeugen diese Zeichen auf Linux ein Problem, das die betroffenen Dateien aus ihrer Ordnerstruktur herauslöst.
Erlaubt sind folgende ASCII-Zeichen:
!#$%&'()+,-.0123456789;=@ABCDEFGHIJKLMNOPQRSTUVWXYZ[]^_` abcdefghijklmnopqrstuvwxyz{}~
Dateiendung bewusst verwenden
Die Dateiendung (z.B. .txt, .pdf) sollte mit dem tatsächlichen Dateiformat konsistent sein. Vermeiden Sie es, Dateien ohne Endung zu speichern. Vermeiden Sie Sonderzeichen in der Dateiendung.
Länge der Datei- und Ordnernamen beschränken.
Vermeiden Sie bei der Organisation Ihrer Daten überlange Pfade. Eine Kombination von langen Dateinamen mit fein abgestuften Ordnerstrukturen kann schnell zu Pfadlängen über 256 Zeichen führen. Diese sind bei der Weiterverarbeitung der Daten auf Windows problematisch.1
Sonderzeichen in den Dateinamen sowie das Auspacken von Containern in Unterordnern können die Pfade zusätzlich verlängern. Daher empfehlen wir im Sinne einer Faustregel eine maximale Pfadlänge von 200 Zeichen.
2. Empfehlungen für das Packen von Dateien in ZIP- oder Tar-Archive
Für die befristete Archivierung von grösseren Mengen heterogener Forschungsdaten im ETH Data Archive ohne aktive Validierungs- und Erhaltungsmassnahmen empfehlen wir zur Zeit das Packen der Dateien in Containerformate (ZIP oder Tar). Dieses Verfahren erlaubt es, sämtliche zu einem Archivpaket gehörenden Dateien in einem Schritt hochzuladen und auch als Gesamtpaket wieder herunterzuladen. Dabei bleiben ursprüngliche Ordnerstrukturen gewahrt.
Daten vorbereiten
Auch bei der Verwendung von Containern ist auf eine vorbereitende Pflege der Daten gemäss den Hinweisen im ersten Teil diese Dokuments zu achten. Die zu archivierenden Dateien sollten sorgfältig ausgewählt werden und ihr Inhalt möglichst klar dokumentiert sein. Zudem sollten die benutzten Dateiformate in 10 oder 15 Jahren noch lesbar sein.
Länge der Datei- und Ordnernamen beschränken
Bitte beachten Sie, dass sich die ursprünglichen Ordnerstrukturen aus den Containern in verschiedenen Betriebssystemen wiederherstellen lassen sollten. Vermeiden Sie daher bei der Organisation Ihrer Daten überlange Pfade. Pfadlängen über 256 Zeichen sind bei der Weiterverarbeitung auf Windows problematisch, und WinZip kann Pakete mit überlangen Pfaden gar nicht vollständig entpacken. Vgl. auch die Empfehlungen unter Punkt 1.
Grosse Datenpakete portionieren
Grosse Datenmengen können sowohl beim Upload als auch beim späteren Download über den Viewer Schwierigkeiten bereiten. Ab welcher Menge die Probleme auftreten, ist von verschiedenen Faktoren abhängig, die wir nicht beeinflussen können (Browser, Internetverbindung). Es hat sich gezeigt, dass Uploads von bis zu 15 GB Grösse zwar technisch möglich sind. Pakete in dieser Grössenordnung werden sich aber über den Browser kaum herunterladen lassen. Daher empfehlen wir eine maximale Grösse pro ZIP- oder Tar-Datei von 2 GB . Falls die Grösse Ihres Archivpakets diesen Wert überschreitet, teilen Sie es bitte in sinnvolle Untereinheiten auf und packen Sie diese in einzelne ZIP- oder Tar-Container. Mit einem Mehrfach-Dateiupload können Sie diese als eine Einheit hochladen.
Bitte benutzen Sie für die Aufteilung nicht die Split-Funktion in WinZip!
Allgemeine Hinweise zum Erzeugen von Containern
• Erzeugen Sie ausschliesslich Archive mit der Endung .zip oder .tar (kein .7z, tar.gz, .rar etc.).
• Falls Sie ZIP-Archive erzeugen, zippen Sie Ihre Daten bitte ohne Komprimierung.
• Wenden Sie keine Verschlüsselung an.
Formate und geeignete Tools
Unter praktischen Gesichtspunkten richtet sich die Wahl des Containerformats in erster Linie nach dem Betriebssystem des Nutzers. Windows-Nutzer werden eher ZIP-Archive generieren, in einer Mac-Umgebung hingegen wird in der Regel das Tar-Format bevorzugt.
Das Tar-Format bietet für die langfristige Aufbewahrung den Vorteil, dass es ein offen dokumentiertes und nicht an einen Hersteller gebundenes Format ist.
Windows:
Format: .zip, unkomprimiert.
Empfohlenes Tool: 7-Zip2
Mac:
Format: .tar
Empfohlenes Tool. Keka3
Oder mit Befehl „Tar" auf der Kommandozeile
1 Für den Dateinamen selber gilt auch in anderen Betriebssystemen eine Beschränkung von 255 Zeichen.
2 Kostenlos downloadbar auf http://www.7-zip.de/ (Zugriff am 03.03.2015). Kontaktieren Sie bitte Ihren Informatik Support.
3 Kostenlos downloadbar auf http://www.kekaosx.com/de/ (Zugriff am 03.03.2015). Kontaktieren Sie bitte Ihren Informatik Support.
