Meditor XML-Export

Aus Physik
Zur Navigation springen Zur Suche springen

Es soll möglich sein "von außen" dem MLTutor ein Matlab-File zu übergeben, woraufhin er dieses partitioniert und diese Information in einem XML-File speichert.

Für dieses File sind Transformationen für html und tex zu schreiben.

Zielsetzung für html: z.B. http://itp.tugraz.at/LV/kernbich/AppSoft-1/MatlabPublish/

Was geht

  • Aufruf von außen für ein File
  • Export des aktuellen Files aus dem MLTutor heraus
    • Menüpunkt "Export as..." mit "Speichern unter" Dialog
    • Menüpunkt "Export" welcher die Einstellungen aus der Preference Page nimmt
  • Konfiguration über XML-File
  • Erzeugen eines XML-Files
    enthält:
    • Metadaten
    • Partitionierung
    • Den Originalcode
    • Auszeichnungselemente
  • Urform eines Schemas existiert - muss aktualisiert werden
  • Transformation allgemein
    • Java-Funktionalität zum Transformieren (in beliebiges Format)
    • Transformation in HTML
      • XSL File
      • php-Skript für serverseitige Transformation
      • Java-Funktion um gleich ein html-File zu exportieren
    • Transformation in LaTeX
      • XSL File und LaTeX Template
      • Java-Funktionalität um gleich ein tex-File zu exportieren
    • Transformation in PDF (aus tex-File)
  • Preference Page für den Export
    • Einstellungen für:
      • Speicherort
      • Ausgabeformate (XML, HTML, LaTeX, PDF)
      • Metadaten
    • Nur Variablen liefern
    • Nur Funktionen liefern

Beispieldokument

Das html-Ergebnis kann hier betrachtet werden.

Den XML-Output gibt's da.

Für die LaTeX Ausgabe kann man sich das tex und das pdf File ansehen. (Die weiteren nötigen .tex Files liegen im selben Verzeichnis)

short.m:

% ==Einfaches Testbeispiel==
% ===Der Code=== 

ex = [0:5]     % dies ist der laufindex 
for ind=1:10
    sin(ind)
    erg(ind,:)=ind.^ex
end
disp('fertig');

% === Doppelbedeutung von 'end' ===
for ind=1:10
    disp(num2str(erg(ind:end,1)));
end

% ===Latex Problemzeichen===
str_arr = {'knock knock', 'who is it'};
eqsys   = [1,4;2,3];
y       = [5;6];
x       = eqsys \ y
eqsys = 0; y=0;


% ===Formatierungstests=== 
%% jetzt ein bissi text
%% und noch etwas
%%  
%% neue zeile
% ====Ueberschrift3====
%% und auch <tt>variablen</tt> gibts hier
%%
%% genauso wie [http://links.da]
%% und Formeln:
%% $$a=\int_0^1 x^2 dx$$

Änderungen:

Beispieldokument erweitert (Doppelbedeutung von end), XML-Format erweitert (Metadaten) --Osiris 10:02, 30 October 2006 (CET)
Beispieldokument erweitert und den Rest aktualisiert --Osiris 13:48, 4 June 2006 (CEST)
Änderung des XML-Formats und Erweiterung (Metadaten - Autor) --Osiris 12:32, 4 June 2006 (CEST)
Kleine Änderung bei den Gleichungen und der Formatierung des XML-Files --Osiris 18:32, 16 May 2006 (CEST)

Was fehlt / Ideen

  • Allgemein:
    • Welche Metadaten kommen ins HTML & PDF
  • Im XML-Format:
    • Tags für Metadaten: so lassen oder alles dcmi (siehe weiter unten)
  • Im erzeugten HTML-File:
    • Link zum .m-File
  • Preference Page für den Export fertigstellen
    • Einstellungen für:
      • Was kommt in den Header
  • Verbindung mit der Matlab-Konsole
    • Matlab-Ausgaben sollen angezeigt werden können
      • Dafür den Code Zeile für Zeile an Matlab übergeben und die Antwort auswerten (Variante 2)
      • oder nur bei Anforderung etwas an Matlab schicken (Variante 1)

Auszeichnungssprache

Es soll möglich sein, in Kommentaren Text auszeichnen zu können. Dieser wird nun nicht als Matlab-Kommentar sondern entsprechend seiner Bestimmung formatiert ausgegeben. Ziel ist es, damit bereits im .m File eine schön formatierte Seite zu definieren, um Code einfach und ansehnlich zu dokumentieren.

Als Basis wird die Wiki-Syntax verwendet.

Elemente

Überschriften mit

%==Überschrift 1==
%===Überschrift 2===

Wobei auch die Erstellung von Inhaltsverzeichnissen möglich sein soll.

Überschriften funktionieren


Gewöhnlicher Text in Proportionalschrift, wobei Absätze durch "Leerzeilen" erzeugt werden.

%% blabla blablabla
%%
%% Hier startet ein neuer Absatz, und blabla

Funktioniert


Hervorhebung von Variablen im Text:

%% bla <tt>variable</tt>

Funktioniert


Links und vordefinierte Platzhalter

%% [http://something.somedomain Links] wie im Wiki, 
%% und Kurzformen: [matref://sin]

Links funktionieren, müssen aber in [] angegeben werden


Verborgener Text

% <!-- Dies kommt zwar ins XML, wird aber in den entgültigen Seiten nicht mehr 
% dargestellt -->

% <!-- Auch enthaltener Matlab Code 
testi = sin(input) > 0; 
% wird ausgeblendet -->

Formeln Sowohl inline

%% Hier steht eine Formel $l = a \cdot tex$ im Text

Als auch zentriert in einer eigenen Zeile

%% $$ l = a \cdot tex $$

Letzteres funktioniert (in html mit png-Bildchen)


Listen (nicht nummeriert) und Aufzählungen (nummerierte Listen)

Definition einer Liste:

%* Der erste Punkt
%* Ein weiterer
%* usw.

Definition einer Aufzählung:

%# Der erste Punkt
%# Ein weiterer
%# usw.

Bei beiden ist eine tiefere Verschachtelung nicht möglich. Bei den Aufzählungen erfolgt eine durchgehende Nummerierung nur innerhalb eines Blocks direkt aufeinanderfolgender Elemente. (Auch ein eingestreutes Listenelement oder eine Leerzeile sind eine Unterbrechung!) Funktioniert

Funktioniert


Matlab-Ausgaben

1. Variante: Den Wert von x ausgeben lassen mit z.B.:

%#x

2.Variante: überall wo Matlab etwas ausgeben würde dieses auch anzeigen

Weiters sollen von Matlab generierte Bilder auch angezeigt werden (können).


Weiteres:

  • Listen
  • ...

Formeln

  • schreiben in Latex-Syntax
  • Umsetzung in Planung, Ideen:
    • MathML und XHTML
      Darstellungsprobleme, LaTeX2MathML Transformation fraglich
    • Bilder generieren und ins zu erstellende File einbauen
      Wie generieren, geht's auch ohne Latex (weit entfernter Traum: Webservice)

Anmerkung zur Entwicklung

  • Vordefinierte Platzhalter
    • konfigurierbar machen -> Property Page
    • speichern in Properties-File
    • brauchen nicht mehr im XML-File stehen
  • Für Matlab-Ausgaben den Code Zeile für Zeile an die ML-Konsole schicken
  • Variablenerkennung: Was links von einem = steht ist eine Variable
    • Diese Erkennung ist nicht für die Partitionierung geeignet!!

Metadaten

Tags nach: http://dublincore.org/documents/dcmi-terms/

Problem damit: Für den Autor gibt es nur den Tag: creator, toll wäre etwas mehr Information, weshalb hier nicht dcmi-terms verwendet werden.

Implementierte Tags:

  • author
    • name
    • email
    • homepage
  • file
    • title
    • date
    • content
    • type

Weiteres Problem: Es macht nicht viel Sinn filespezifische Daten in den Preferences zu speichern. Lösungsideen:

  • Preferences bei jedem File-Öffnen löschen (wäre z.B. beim Feld date nicht nötig.
  • Beim Export Dialogfeld anstelle der Preferences

Struktur

Die Klasse XMLExporter

public class XMLExporter {
    /** keys and default values for the properties */
    private final static String PROPERTYFILE      = "XML_export_properties.xml";
    public  final static String CONFIGFILEDIR_KEY = "CONFIGFILEDIR";
    private final static String CONFIGFILEDIR_DEF = "./";
    public  final static String OUTPUTDIR_KEY     = "OUTPUTDIR";
    private final static String OUTPUTDIR_DEF     = "./";
    public  final static String SCHEMAFILE_KEY    = "SCHEMAFILE";
    private final static String SCHEMAFILE_DEF    = "schema.xsd";

    // Definitionen der XML-Tags
    ...

    public static void main(String[] args) {}
    public static void writeToFile(String content, IPath outputFilePath) 
            throws FileNotFoundException, UnsupportedEncodingException, IOException {}
    public String export(IDocument document, Properties properties, Properties metadata, IPath XMLOutputFilePath) {}
    public String export(Properties properties, Properties metadata, IPath XMLOutputFilePath) {}
    public String exportOnlyVars(IDocument document,  Properties metadata, IPath XMLOutputFilePath) {}
    public String exportOnlyVars(Properties metadata, IPath XMLOutputFilePath) {}
    public String exportOnlyFuncs(IDocument document,  Properties metadata, IPath XMLOutputFilePath) {}
    public String exportOnlyFuncs(Properties metadata, IPath XMLOutputFilePath) {}
    public void exportPics(IPath outputDir, String filetitle) {}
    public void transformToHTML(String filetitle) {}
    public static void transform(String xmlFile, String xslFile, String outputFile) 
            throws FileNotFoundException, TransformerException {}
    public static String genSingleLineTag(String tag, String args, String content) {}
    public static String genSingleLineTag(String tag, String args, String content, boolean newline) {}
    ...
}

Der Funktion export(...) kann man über das Properties Objekt den Namen des Schema-Files mitteilen (mehr wird nicht verwendet). Passt dessen Default-Wert, so kann null übergeben werden. Der Titel des zu exportierenden Files wird im XML-File festgehalten, falls er übergeben wird.

Mit exportOnlyVars(...) kann eine Liste (im XML-Format) der im File verwendeten Variablen geholt werden. Da der Partitioner keine Variablen markiert, müssen sie in dieser Funktion erkannt werden. Dazu wird das Dokument in Zeilen zerlegt, welche wiederum mit ';' als Token in Befehle zerteilt werden. Ist nun ein Befehl in der Form " var = .... " aufgebaut, so ist var eine Variable. Die dabei verwendete Regex ist:

\s*([a-zA-Z][\w_]*)(\(.*\))?\s*=.*

wobei der Inhalt der ersten capturing group der Name der Variable ist. Im Ausgabefile wird jede Variable nur ein Mal angeführt.

Die Funktionen exportOnlyFuncs(...) leisten im Prinzip das Gleiche, wobei hier alle verwendeten Matlab-Funktionen geliefert werden. Die Suche nach Funktionen basiert hier auf der Partitionierung des Dokuments.

Verwendung als Anwendung

java at.tugraz.itp.mltutor.tools.XMLExporter <inputfile> [-o <outputfile>] [--xml] [--html] [--latex] [--pdf] [--varonly] [--funconly] [-m <metadatafile>]

Als Parameter ist dem Programm der Filename des zu exportierenden .m Files anzugeben. Als optionalen Parameter kann man den Namen des XML-Output-Files angeben. Wenn das nicht geschieht, wird der Name des Matlab-Files verwendet, wobei die Dateiendung von .m auf .xml geändert wird. Bei Angabe von Pfaden beim Ausgabefile ist zu beachten, dass diese relativ zum (evtl. im Konfigurationsfile angegebenen) Ausgabeverzeichnis liegen. Mit den Optionen --xml, --html, --latex und --pdf wird angegeben, welche Files generiert werden sollen. Deren Namen entspricht (bis auf die Endung) dem des Ausgabefiles. Wichtig: sollte die Option --xml nicht angegeben werden, so wird das xml-File nach dem Durchführen der Transformationen wieder gelöscht!
Ist --varonly (--funconly) gesetzt, so werden nur die im Matlab-File vorhandenen Variablen (Matlab-Funktionen) ausgegeben. In diesem Fall ist derzeit nur eine Ausgabe in XML möglich.
Weiters kann ein File, welches Metadaten (Autor, Email, ...) enthält angegeben werden. Dessen Format muss kompatibel zur Properties Klasse sein.

Es sollte an der durch PROPERTYFILE spezifizierten Stelle ein Properties-XML File befinden, falls von den Default-Werten abweichende Einstellungen vorgenommen werden sollen.

Und natürlich müssen die benötigten Eclipse Klassen irgendwie zugänglich gemacht werden (Package org.eclipse.jface.text)

Konfiguration

Die Konfiguration wird über ein zur Klasse java.util.Properties kompatibles XML-File durchgeführt. Die Keys sind in der oben angeführten Beschreibung der Klasse enthalten.

  • CONFIGFILEDIR - Verzeichnis in welchem die Konfigurationsfiles für den Partitioner liegen.
  • OUTPUTDIR - Verzeichnis in welches das erzeugte File gespeichert wird.
  • SCHEMAFILE - Pfad und Name des XML-Schema Files (wird wie angegeben in das XML-File eingetragen)

Entwicklungsnotizen

Nomenklatur

Benennung von Variablen, die Filenamen und Verzeichnisse speichern:

*Dir Verzeichnis
*FileName Name des Files, ohne Pfad/Verzeichnis - Angaben
*FilePath Komplette Pfadangabe eines Files

Hinzufügen eines Markup-Elements

Diese Beschreibung funktioniert, wenn das Element sich über eine Zeile erstreckt und von einer RegEx erkannt werden kann. Das Hinzufügen einer nicht numerierten Liste in Wiki-Syntax wird hier als Beispiel verwendet.

  • Definieren der nötigen Tags als static member
    private final static String XML_M_LISTITEMTAG    = "listitem";
  • Hinzufügen der RegEx im Konstruktor
        this.regexList.add(new MarkupRegex("(%\\*\\s*(.*))",         XML_M_LISTITEMTAG));
  • Erweitern der XSL-Files

Export aus dem MLTutor heraus

Dafür sind in gewohnter Manier die Klassen

public class MatlabExportAction extends MatlabAction implements IEditorActionDelegate{
...
}
public class MatlabExportAsAction extends MatlabAction implements IEditorActionDelegate{
...
}

zuständig. Diese sind mit den Menüpunkten File->Export bzw. File->Export as... verbunden.

Beide verwenden zum Exportieren die Klasse XMLExporterThread, welche eine Art Mini-Facade für XMLExporter darstellt.

public class XMLExporterThread implements Runnable {
    public XMLExporterThread(IDocument document, Properties metadata, IPath XMLFilePath, 
            boolean xmlOutput, boolean htmlOutput, boolean latexOutput, boolean pdfOutput) {}
    public void run() {}
    public void doExportOperations() throws FileNotFoundException, TransformerException {}
}

Eine Initialisierung entfällt hier, da es ja schon einen Partitioner zum Dokument gibt. Dadurch ist das CONFIGFILEDIR ohne Bedeutung.
MatlabExportAction verwendet direkt doExportOperations(), MatlabExportAsAction hingegen startet einen neuen Thread.

Scripts

tex2png.sh transformiert ein Latex-File in ein schönes Bildchen. Dies wird für die Umwandlung von Formeln in Bilder (für HTML) in der Funktion XMLExporter.latexToPic(...) benötigt.
Aufruf:

$ tex2png.sh <outputdir> <picname>

wobei <outputdir> das jenen Ort, an dem das zu transformierende .tex-File liegt, bezeichnet und <picname> den vollen Pfad des zu erzeugenden Bildes beinhaltet.


tex2pdf.sh macht aus dem tex-File ein PDF und löscht alle nebenbei anfallenden Dateien.
Aufruf:

$ tex2pdf.sh <outputdir> <texfilename>

wobei <outputdir> das jenen Ort, an dem das zu transformierende .tex-File liegt, bezeichnet und <texfilename> den Pfad zum tex-File absolut oder relativ zu <outputdir> beinhaltet.


Bedienung und Konfiguration im MLTutor

Menüpunkte

  • File->Export as...
    Erzeugt "Speichern Unter"-Dialog, wobei das Ausgabeformat durch die angegebene Dateiendung bestimmt wird.
    Das gewählte Verzeichnis und die Dateiendung werden gespeichert und beim nächsten Aufruf des Dialogs vorgeschlagen. Der vorgeschlagene Filename entspricht (bis auf die Endung) dem des Matlab Files. Als Quelle für die Daten dient der im Editor angezeigte Text, nicht das gespeicherte File.
  • File->Export
    Führt alle Exporte wie in der zugehörigen Preference Page angegeben durch und verlangt keine weiteren Usereingaben.

Die Propertypage

gewünschte Konfigurationsmöglichkeiten

  • Ausgabeverzeichnis imlementiert
  • Ausgabeformat(e) imlementiert
  • Autor imlementiert
    • Name
    • Email
    • Homepage
  • Namen der erzeugten Files
  • für HTML:
    • Auswahl aus mehreren Styles
  • für LaTeX:
    • Angabe einer eigenen Präambel