Versions Compared

Old Version 17

changes.mady.by.user Hirschmann Barbara

Saved on

compared with

New Version 18

changes.mady.by.user Hirschmann Barbara

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Info

Unsere Empfehlungen gelten für die Langzeitarchivierung von Publikationen und Forschungsdaten allgemein und sind nicht zwingend für eine Aufnahme Ihrer Daten in die Research Collection.

1. Einschätzung verschiedener Dateiformate

Tabelle 1: Einschätzung zur zukünftigen Lesbarkeit einiger gebräuchlicher Dateiformate.

Dateiart

Geeignet zur Nutzung für mehr als zehn Jahre

Geeignet zur Nutzung beschränkt auf zehn JahreNicht geeignet zur Archivierung
Text
  • PDF/A (*.pdf)
  • Unformatierter Text (*.txt, *.c, *.cpp, *.m, usw.) kodiert als ASCII, UTF-8, oder UTF-16 mit Byte Order Mark
  • XML (inklusive XSD/XSL/XHTML, etc.; wobei Schema und Buchstabenkodierung explizit im File angegeben werden sollen)
  • PDF (*.pdf), wobei die Fonts im PDF File eingebettet sein müssen
  • Unformatierter Text (*.txt, *.c, *.cpp, *.m, usw.) (ISO 8859-1 kodiert)
  • Rich Text Format (*.rtf)
  • HTML (mit DOCTYPE Deklaration)
  • Word *.docx
  • PowerPoint *.pptx
  • LaTeX, TeX (Die ASCII Texte sind langfristig lesbar; allenfalls benutzte lizenzfreie Softwarepakete mit Spezialfonts sollten möglichst mitgeliefert werden)
  • HTML und XML (Die ASCII Texte sind langfristig lesbar; externe Links möglichst vermeiden)
  • Programmcode wie *.c, *.cpp, usw. (Die ASCII Texte sind langfristig lesbar; benutzte lizenzfreie Softwarepakete und Libraries sollten möglichst mitgeliefert werden.)
  • Word *.doc
  • PowerPoint *.ppt
Spreadsheets und Tabellen
  • Komma- oder Tab-begrenzte Text Files (*.csv)
  • Excel *.xlsx (Containerformat)
  • Excel *.xls, *.xlsb (binäre Formate)
Workspace Speicherung für Matlab, R oder S-Plus 
  • Text Dateien für S-Plus (*.sdd). Der ASCII Text ist langfristig nutzbar, die spätere maschinelle Lesbarkeit ist jedoch unsicher.
  • Matlab *.mat in HDF Format speichern, denn nichttriviale Matlab *.mat ASCII Files können mit load nicht gelesen werden (siehe Tabelle 2).
  • Binäre Dateien wie Matlab Dateien *.mat (binär), R Dateien *.RData
Rastergrafik (Bitmap)
  • TIFF (*.tif) (unkomprimiert, möglichst TIFF 6.0, Part 1: Baseline TIFF)
  • PNG (unkomprimiert)
  • JPEG2000 (verlustfreie Komprimierung)
  • TIFF (*.tif) (komprimiert)
  • GIF (*.gif)
  • BMP (*.bmp)
  • JPEG/JFIF (*.jpg)
  • JPEG2000 (verlustbehaftete Komprimierung) (*.jp2)
 
Vektorgrafik
  • SVG ohne JavaScript binding (*.svg)
 
  • Grafik InDesign (.indd), Illustrator (.ait)
  • Encapsulated Postscript (EPS)
Ton, Audio
  • WAV (*.wav) (unkomprimiert, pulse-code moduliert)
  • Advanced Audio Coding (*.mp4)
  • MP3 (*.mp3)
 
Video
  • Motion JPEG 2000 (ISO/ IEC15444-4) (*.mj2)
  • AVI (unkomprimiert, motion JPEG) (*.avi)
  • QuickTime Movie (unkomprimiert, motion JPEG) (*.mov)
  • MPEG-1, MPEG-2 (*.mpg,*.mpeg, in den Container Formaten AVI oder MOV)
  • MPEG-4 (H.263, H.264) (*.mp4, in den Container Formaten AVI oder MOV)
  • Windows Media Video (*.wmv)

1.1 Nutzung beschränkt auf zehn Jahre

Falls Sie Ihre Daten für höchstens zehn Jahre nutzen wollen, empfehlen wir die Formate in der mittleren und der linken Spalte von Tabelle 1. Auch weniger bekannte Formate, die in Ihrem Fachgebiet für diese Art von Daten üblich sind, sind normalerweise geeignet.

...

  • Dateien in seltenen Formaten sollten Sie möglichst in übliche Formate konvertieren. Dabei sollten Sie jeweils Original und Kopie archivieren.
  • Die Dateien sollten nicht auf andernorts gespeicherte Daten, Zeichensätzen, Formatvorlagen oder Programme verweisen sondern solche zusätzlichen Objekte sollten stattdessen mitarchiviert werden. Wenn solch eine Unabhängigkeit von externen Objekten nicht möglich ist, sollten Sie die bestehenden Abhängigkeiten in einer reinen Textdatei dokumentieren („Readme“). Das Readme legen Sie zusammen mit den Daten ab.
  • Dateien sollten nicht passwortgeschützt, verschlüsselt oder komprimiert sein.
  • Verwenden Sie nur Buchstaben, Zahlen, Unterstrich (_) und Bindestrich (-) in den Namen von Ordnern und Dateien, also keine Leerzeichen, Schrägstriche, Umlaute, usw.
  • Die Dateinamenerweiterung sollte konsistent mit dem tatsächlichen Dateiformat sein.

1.2 Nutzung für mehr als zehn Jahre

Um Dateien für mehr als zehn Jahre zu nutzen, sollten zunächst auf jeden Fall die oben angegebenen Empfehlungen eingehalten werden. Zusätzlich sollten die Dateiformate sehr verbreitet sein, möglichst offenen Standards folgen und nicht proprietär sein. Es gibt jedoch keine Gewähr für die langfristige Nutzung, weil diese von zukünftigen Softwareentwicklungen abhängt.

...

Die ETH-Bibliothek wird die archivierten Dateiformate periodisch überprüfen und wird sich bemühen, veraltete Formate möglichst in gebräuchlichere Formate zu konvertieren. Die Originaldatei wird dabei immer mit-archiviert.

2. Empfohlene Konvertierungsmethoden

Empfohlene Konvertierungen sind in Tabelle 2 angegeben. Nützliche Konvertierungen hängen auch davon ab, welche Informationen in den Dateien benötigt werden. So könnten Sie die Tabellen in einem Excel File zu *.csv Text Files konvertieren. Falls jedoch Makros, Formeln oder eingebettete Objekte im Excel File vorhanden sind, verlieren sie diese Informationen.

...

Gewisse neuere Filetypen (*.docx, *.xlsx, *.pptx) sind sogenannte Container Dateien. Wenn Sie die Dateinamenerweiterung „.zip“ anhängen, können Sie die einzelnen Komponenten ansehen und geeignete einfachere Dateien auch zusätzlich separat speichern.

 

Tabelle 2: Empfohlene Dateikonvertierungen

DateiartEmpfohlene Konvertierungen
Text
  • Sie sollten Word und PowerPoint Dateien möglichst zu PDF/A-1b Dateien konvertieren. Für Microsoft-Dateien Word oder PowerPoint Dateien sollte dazu gemäss unseren Tests folgende Methode verwendet werden: Die Datei mit Word oder PowerPoint öffnen, dann unter Menu "Datei", „Drucken“ auswählen. Bei Drucker „Adobe PDF“ auswählen. Das Feld „Druckereigenschaften“ anwählen und dort „PDF/A-1b: 2005 (RGB)“ auswählen. Dann Schaltfläche „Drucken“. Vgl. auch die ausführliche Anleitung zu diesem Thema.
  • LaTeX oder TeX möglichst zu PDF/A konvertieren.
  • Sie müssen die Qualität von Konvertierungen sorgfältig visuell überprüfen. Achten Sie dabei insbesondere auf Formeln, Sonderzeichen, Umlaute, spezielle Fonts, Textschreibfehler, Auswählen und Suchen im Text, Tabellen, Farben, transparente Objekte, Kommentare, Vektorgraphiken sowie mehrfache Zeichenebenen.
Tabellen
  • Excel *.xls Dateien zu *.xlsx konvertieren
  • Für wichtige eingebettete Objekte (wie z. B. Figuren) sollten sie möglichst auch eine Kopie als separate Datei abspeichern
  • Tabellen könnten Sie folgendermassen zu ASCII Text Dateien (*.csv) konvertieren: In Excel die einzelnen Blätter als *.csv Datei speichern, in R Tabellen mit write.csv speichern und in S-Plus mit „write.table“ als *.sdd Datei speichern.
Workspace Dump in Matlab, R oder S-Plus
  • Matlab *.mat Files als v7.3 MAT Dateien abspeichern (mit save -v7.3 x.mat), weil es dadurch einem HDF5-basierten Standard folgt. (HDF54 ist ein offener Standard für Tabellen, Mediadaten und komplexe Datenstrukturen.)
  • Der R Workspace sollte mit dem Packet rhadf55 in HDF5 Format gespeichert werden. Die S-Plus Funktion data.dump produziert ein File welches mit der R-Funktion data.restore6 gelesen werden kann.
  • Für komplexe Datenstrukturen ist es meist nicht sinnvoll den Workspace als ASCII zu speichern, weil dies auf schwer lesbare Dateien führt. (Einen solchen ASCII Workspace Dump erhält man in mit save(…, ascii = TRUE), in Matlab mit save file.txt –ascii und in S-Plus mit dump().)
  • Wichtige Tabellen im Workspace sollten zusätzlich als CSV-Datei gespeichert werden.
Grafik
  • Vektorgrafikdateien werden langfristig eher schwieriger zu öffnen sein als Rastergrafikdateien (Bitmaps). Auch das Einbetten von Vektorgrafik in PDF Dateien ist fehleranfällig. Dateien in speziellen Vektorgrafik Formaten, wie InDesign (*.indd) oder Illustrator (*.ait), sollten Sie möglichst auch als baseline TIFF, PDF/A-1b (siehe oben), SVG oder JPG Datei speichern. Sie sollten die Qualität der Konvertierung sorgfältig visuell überprüfen (Schärfe, Auflösung, Farben, halbdurchsichtige Objekte, Beschriftungen).

3. Dateiformat-Verifikation mit DROID

Die kostenfreie JAVA Applikation DROID7 erlaubt Ihnen für grosse Dateisammlungen einen Überblick über die benutzten Dateiformate. Zudem können sowohl unbekannte Formate als auch Inkonsistenzen zwischen Inhalt und Dateinamenerweiterung ermittelt werden (Figur Abbildung 1).

Die meisten Fileformate, ausser den Textdateien, enthalten in den Dateien spezielle Zeichenfolgen um das Dateiformat anzugeben. Diese Zeichenfolgen werden auch Signatur genannt oder „magic numbers“. Falls DROID eine bekannte Signatur innerhalb einer Datei findet, so wird diese Methode benutzt um das Dateiformat zu bestimmen. Unter der Spalte „Method“ (siehe Figur 1) wird dann „Signature“ oder „Container“ angegeben. Falls die Signatur nicht mit der Dateinamenerweiterung übereinstimmt, zeigt DROID eine Warnung (gelbes Dreieck mit Ausrufezeichen).

Reine Text Dateien (*.txt) oder auch Tabellen in Text Format (*.csv Dateien) enthalten keine Signatur. DROID klassifiziert solche Dateien nur anhand der Dateinamenerweiterung. Falls keine Signatur gefunden wird und die Dateinamenerweiterung nicht auf ein Textfile hindeutet, so wird die Datei nicht klassifiziert (die untersten beiden Dateien in der FigurAbbildung). 

Abbildung 1: Screenshot zur Auswertung einiger Testdateien mit dem Programm DROID. Dateien mit unklaren oder unbekannten Formaten können mit DROID schnell gefunden werden.

...