efa 2.2.2 / Win - HTML Statistik enthält XML Statistik

[HorstRechner]

Hallo liebes efa-Forum,

seit kurzem benutzen wir efa 2.2.2 unter Windows XP und erstellen damit automatisch HTML und XML Statistiken. Läuft auch alles wunderbar, jedoch gibt es einen Fehler, der ab und zu auftritt, nämlich das sich die XML Statistik in der HTML Kilometerstatistik wiederfindet.

Konfiguration:

- efa 2.2.2 unter Windows XP
- Mehrere Statistiken (2x Kilometerliste (nach KM und Namen sortiert) und Fahrtenbuch) mit Ausgabeart HTML - wobei hier noch zusätzlich die Option "in existierenden HTML-Dateien nur Tabelle ersetzen" angehakt ist (die HTML Dateien beginnen auch mit <!--EFA-START--> und enden mit <!--EFA-ENDE-->)
- Mehrere Statistiken (2x Kilometerliste (nach KM und Namen sortiert) und Fahrtenbuch) mit Ausgabeart XML
- Alles wird mit dem integrierten FTP-Client vom Bootshausrechner auf unseren FTP Server hochgeladen
- Die Einzelstatistiken werden jeweils alle 10 Minuten rund um die Uhr mit dem integrierten CRON (automatische Abläufe) erzeugt - also die erste Statistik jeweils um 1,11,21,...,51 Minuten, die zweite um 2,12,22,...,52 Minuten usw.

Fehlerbeschreibung:

- Der Fehler tritt immer nur sporadisch auf (1-2 Mal die Woche)
- In der ausgegebenen HTML Kilometerstatistik, die als erste (um jeweils 1,11,21,... Minuten) erstellt wird findet sich vor dem <!--EFA-START--> Kommentar noch das exportierte XML Fahrtenbuch, welches als letztes (um jeweils 6,16,26,... MInuten) erstellt wird.
- Wenn ich das vorangestellte XML manuell lösche funktioniert die automatische Statistikerstellung wieder wunderbar

Diagnose (soweit ich das beurteilen kann):

- Die Konfiguration ist grundsätzlich glaube ich richtig (sonst würde die automatische Statistikerstellung nicht die meiste Zeit wunderbar funktionieren)
- Da der Inhalt der letzten Statistikerstellung (der XML Fahrtenbuchexport) in die erste Statistik (den HTML Kilometerexport) mit integriert wird schätze ich, das irgendwas schief geht, wenn der FTP Upload länger (vielleicht manchmal länger als 6 Minuten - bis die erste Statistik erstellt wird) dauert
- Ich habe auch mal 2 Statistiken zu exakt der selben Zeit automatisch erstellen lassen (beide um 1 Minuten), und interessanterweise waren die Dateiinhalte die selben, obwohl die Definition eine andere war (1x sortiert nach KM und 1x sortiert nach Namen)

Fehlerbehandlung?

Da brauche ich eure Hilfe. Momentan ist das einzige, was mir einfällt
- die Statistiken noch seltener erstellen zu lassen, damit sich die Erstellung und der FTP-Upload nicht überschneiden, was schwierig wird, da das Fahrtenbuch über das Jahr hin gesehen immer größer wird
- den FTP Upload komplett abzuklemmen, und selber was zu bauen (auch nicht wirklich schön, da das Feature in efa wirklich toll ist!)
- eine Mögichkeit zu finden, das Fahrtenbuch immer nur teilweise zu exportieren (wobei ich nicht wüsste, wie das geht)

Was meint ihr dazu?
Viele Grüße aus Cannstatt,
Horst

[Stefan Schmidt]

Les ich das richtig? Statistiken im 10 Minutentakt, Wieviel Betrieb habt Ihr den? das wären 144 Statistiken/Tag, die abgearbeitet werden müssen.
Wer schaut sich die alle wann und wo an? Die Nachts erzeugt werden sind alle identisch, oder fahrt ihr unter Flutlicht.
Da ist ja Stundentakt von SA bis SU schon zuviel.
Vorschlag einmal bis zweimal am Tag, das reicht völlig und den Erzeugungsabstand der Einzellisten einfach länger.
Ein Backup komplett, wenn wirklich viel Betrieb ist, alle Stunde, wäre viel wichtiger.
Überleg mal, man muss nicht immer alles machen, was technisch möglich wäre.
Stefan

[HorstRechner]

Überleg mal, man muss nicht immer alles machen, was technisch möglich wäre.

Hallo Stefan,

danke für den netten Hinweis, wie man das Problem umschifft. Das Problem taucht in der Tat nicht auf, wenn man weniger / keine (z.B. Nachts) Statistiken erstellt.
Dieser Workaround ist aber leider in meinem Fall keine Lösung.

Weisst Du, ob man mit efa einen eingeschränkten Export des Fahrtenbuchs in XML hinbekommt (z.B. letzte 100 Einträge, aktueller Monat, ...) ohne hier manuell eingreifen zu müssen (z.B. das Startdatum setzen)? Das würde das Problem wahrscheinlich auch schon entschärfen - geht in die selbe Richtung wie Dein Vorschlag.

Viele Grüße,
Horst.

[Stefan Schmidt]

Irgendwie find ich keine Begrenzungen für Zeit oder Datum, scheint nur pro Fahrtenbuch zu gehen. Von wieviel Einträgen pro Jahr max. gehst Du aus? Wie Du schreibst, bei größeren Zeit-Abständen packt das System ja das ganze Buch.
Stefan Schmidt

[HorstRechner]

Hallo Stefan,

danke für das Nachschauen!
Wir verwenden pro Jahr jeweils ein Fahrtenbuch und haben am Ende des Jahres wahrscheinlich so um die 5000 Einträge. Momentan haben wir knapp 500 Einträge.

Wenn es für eine Exporteinschränkung (Datum, Anzahl) noch keine Filter gibt, wäre es vielleicht eine Option, diese einzubauen. Ich habe gesehen, dass das Projekt auf https://kenai.com/projects/efa gehostet wird... mal schauen ob ich Zeit habe, mir den Code mal anzuschauen - und das Kernentwicklerteam das gut findet

Bis dahin werde ich wohl die Exportintervalle größer machen müssen und manuell das Startdatum für den Fahrtenbuchexport regelmäßig hochsetzen.
Es sei denn, Du / ein anderer efa-Kollege hat noch eine zündende Idee!

Viele Grüße,
Horst.

[nick]

Hallo Horst,

zu deinem ersten Problem (XML-Daten in HTML Statistiken): Wenn ich dich richtig verstehe, dann erstellst du Statistiken im Abstand von 1 Minute durch cron-Jobs. Wenn die Erstellung einer Statistik mehr als eine Minute dauert, dann laufen zwei dieser Statistik-Erstellungen parallel. Efa benutzt eine temporäre Datei, in die Statistikeinstellungen geschrieben werden, und die durch parallele Statistikerstellung überschrieben wird - so daß plötzlich in einer Statistik die Daten aus einer anderen, zeitgleich erstellten Statistik, auftauchen.

Das Problem ließe sich in efa lösen, indem diese temporäre Datei eine eindeutigen Namen hat, so daß mehrere zeitgleiche Dateien existieren können. Dann allerdings brauche ich in efa zusätzliches Housekeeping, das übriggebliebene Dateien ggf. lösche. Falls z.B. efa abstürzt oder der Strom ausgeht, könnten sich ansonsten viele solcher Dateien im Laufe der Zeit ansammeln. Ich werde mir das mal durch den Kopf gehen lassen. Ist durchaus lösbar, kostet nur etwas Aufwand.

Noch eine Frage: Benutzt du Linux-cron, um die Statistiken mittels efaCLI zu erstellen, oder die automatische Kommando-Ausführung in efa? Im ersteren Fall könntest du - anstelle efaCLI einmal pro Minute aufzurufen, ein Shell Script in cron starten, das efaCLI für jede Statistik aufruft... die nächste Ausführung von efaCLI würde dann erst beginnen, wenn die vorherige abgeschlossen ist. Angeommen dieses Shell script erstellt 10 Statistiken, was im Schnitt 10 MInuten dauert. Um auf der sicheren Seite zu sein, rufst du dieses Script nur alle 15 oder 20 MInuten auf... dann bekommst du jede Statistik alle 15-20 Minuten aktualisiert.

Zum Import/Export von Fahrten in Fahrtenbüchern siehe http://efa.nmichael.de/dokuwiki/doku.ph ... portexport. Hast du vermutlich schon gelesen? Beim Import kannst du Duplikate ignorieren, aber der Export exportiert immer alles. Allerdings könntest du die Export-Datei leicht nachverarbeiten und diejenigen Einträge daraus entfernen, die du bereits erfolgreich woanders importiert hast. Falls du in ein anderes efa importierst, sollte das Problem durch selektiven Import zu lösen sein.

Gruß,
Nick

[HorstRechner]

Hallo Nick,

vielen Dank für die Antwort! Jetzt ist klar, warum sich die XML- und HTML-Statistiken überlappen. Wir haben Efa auf einem Windows-Rechner laufen, und sind sehr froh, dass Efa quasi ein eingebautes cron mitbringt. Die Idee mit dem Linux Shell-Script wäre natürlich auch sehr schön - aber in unserem Fall leider nicht gangbar.

Bezüglich des Imports/Exports - ich verarbeite den XML / HTML Export des Fahrtenbuchs später noch mit einem anderen Skript weiter und schneide dann die meisten Einträge ab - deshalb die Frage, ob man den Export nicht auch schon vor dem Export beschränken könnte - was momentan wohl nur manuell möglich ist (Startzeit der Statistik alle paar Monate mal hochsetzen).

Viele Grüße & danke für die Ideen!
Horst.