Import Personendaten/ Abgleich mit Mitgliederverwaltung

Diskussion, Fragen, Anregungen und Wünsche zu efa2

Moderatoren: nick, smg

Forumsregeln
Verfasse bitte die Beiträge in den passenden Kategorien und gib ihnen einen aussagekräftigen Betreff.
Antworte bitte nur zum Thema und beginne ein neues Thema, falls Du noch etwas Zusätzliches sagen möchtest.
nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Mi 7. Mär 2012, 06:31

Hallo Florian!
florian hat geschrieben:ja, ich habe efa2 aktualisiert. Ein Problem habe ich nun gelöst. Es gab noch kein Fahrtenbuch für 2012. Ich habe die Daten 2009-2012 aus efa1 importiert, dann die Personendaten für 2012 aus einer csv-Datei importiert. Aber ich hatte vergessen, für 2012 ein Fahrtenbuch anzulegen und zu öffnen, es war das 2011er geöffnet. Bei Fahrt beginnen waren die Personen für 2012 daher vermutlich nicht bekannt. Wird bei efa2 eigentlich beim Jahreswechsel automatisch ein neues Fahrtenbuch angelegt?
Ah, verstehe.
Der Fahrtenbuchwechsel wird von efa zur Zeit "halb" unterstützt. In den Projekteinstellungen kannst Du im Expertenmodus etwas kryptisch versteckt konfigurieren, zu welchem Datum ein anderes (existierendes) Fahrtenbuch geöffnet werden soll. Es steht noch auf meiner Todo-Liste, dafür eine vernünftige Oberfläche zu bauen, und z.B. auch den Admin einen Monat vor Ablauf des aktuell geöffneten Fahrtenbuchs auf den Wechsel hinzuweisen. Da das Thema aber erst in einiger Zeit aktuell wird (bei den Paddlern schon zum 1.10.), habe ich bisher nur diese "Notlösung" implemeniert, die ich für den letzten Jahreswechsel für meinen eigenen Verein brauchte...
florian hat geschrieben:Das Problem mit geänderten Daten im Feld "FreeUse2" besteht weiterhin. Es scheint hierbei vom Inhalt des Feldes abzuhängen. In der csv-Datei steht dort das Austrittsdatum, wenn dies schon bekannt ist. Ansonsten steht dort " . . ", die Mitgliederverwaltung gibt dies so aus. Die Meldung wg. geänderter Daten kommt nur bei diesen Einträgen. Habe jetzt die Erzeugung der csv-Datei so geändert, dass diese merkwürdigen Strings nicht mehr auftreten. Speziell für den Fall des Austrittsdatums wäre es natürlich schön, wenn man das Enddatum der Gültigkeit eines Datensatzes aus der csv-Datei übernehmen könnte. (Ist ziemlich weit hinten in der Prioritätsliste :) )
Fehler gefunden! Es sind die Leerzeichen am Anfang und Ende des importierten Strings, die efa nicht mag und erst beim Bearbeiten-Dialog korrigiert (abschneidet) und daher eine Veränderung der Daten feststellt. Wird mit dem nächsten Update korrigiert!

Danke & Grüße,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Mi 6. Feb 2013, 00:47

Hallo Nicolas,

ich greife mal den alten Thread wieder auf, da ich mich aktuell wieder mit dem Abgleich der Personendaten beschäftige.

Planst du für den Import eine Option, nicht geänderte bzw. hinzugefügte Datensätze als ungültig zu markieren? Hatte ich mir ja schon mal gewünscht... Dies würde aber noch zu einem Problem beim Ändern des Nachnamens führen, da in diesem Fall efa nicht automatisch eine neue Version erstellt, sondern einen neuen Eintrag mit dem neuen Nachnamen.
Alternativ ginge vielleicht der Import des Feldes InvalidFrom; ist das sinnvoll? Zum Testen müsste ich aus Datum + Zeit erst die Zeitstempel berechnen. Da könnte dann das bekannte Austrittsdatum benutzt werden.
Import von ValidFrom ist wohl nur bei neuen Einträgen sinnvoll, oder?

Noch ein paar Fragen/Wünsche:

Wenn ein Mitglied ausgetreten ist und ich dies manuell "löschen" möchte, sollte ich wohl nur bei "gültig bis" das entsprechende Datum eintragen anstatt den Eintrag komplett zu löschen, richtig? (Damit die Statistiken für vergangene Jahre noch funktionieren)

Personenübersicht:
Kann auch die Mitgliedsnr. in der Tabelle angezeigt werden? Dies würde das Zusammenfügen von Einträgen erleichtern, wenn sich z.B. der Nachname geändert hat, die Mitgliedsnr. aber gleich geblieben ist.

Export der Personendaten:
Welche Reihenfolge haben die Datensätze beim Export nach csv?
Nützlich fände ich bei Export eine Vorlage für zu exportierende Felder oder ein Anpassen der standardmäßig markierten Felder beim Export.

Viele Grüße
Florian

JudithSigl
Beiträge: 1
Registriert: Fr 1. Feb 2013, 23:52

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von JudithSigl » Do 7. Feb 2013, 17:34

Hallo,
wir führen in unserem Verein (Ruderclub am Lech Kaufering) gerade efa neu ein, sind also noch ganz am Anfang, uns mit dem so hilfreichen Programm zu beschäftigen. Könnte uns jemand sagen, wie wir eine bestehende Mitglieder-Excel-Liste dorthin importieren? Reicht hierfür die Erstellung einer CSV-Datei?
Viele Grüße und Dank im Voraus,
Judith

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Do 7. Feb 2013, 21:34

Hallo Judith,

zum Importieren kann eine csv-Datei benutzt werden, allerdings muss sie dasselbe Format haben wie beim Export von efa erzeugt, dies betrifft insbesondere die "Spaltenüberschriften" in der 1. Zeile der Datei. Also z.B. so:

Code: Alles auswählen

FirstName|LastName|Gender|Birthday|StatusId|MembershipNo
Erika|Musterfrau|weiblich|01.01.1950|Mitglied|001
Vielleicht hilft es dir auch, ein paar Personen manuell in efa anzulegen und dann einen Export ins csv-Format zu machen.

Viele Grüße
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Fr 8. Feb 2013, 10:01

Hallo Judith,

der von Florian beschriebene Weg ist genau richtig (danke, Florian).

Hallo Florian,
florian hat geschrieben:Planst du für den Import eine Option, nicht geänderte bzw. hinzugefügte Datensätze als ungültig zu markieren? Hatte ich mir ja schon mal gewünscht... Dies würde aber noch zu einem Problem beim Ändern des Nachnamens führen, da in diesem Fall efa nicht automatisch eine neue Version erstellt, sondern einen neuen Eintrag mit dem neuen Nachnamen.
Alternativ ginge vielleicht der Import des Feldes InvalidFrom; ist das sinnvoll? Zum Testen müsste ich aus Datum + Zeit erst die Zeitstempel berechnen. Da könnte dann das bekannte Austrittsdatum benutzt werden.
Import von ValidFrom ist wohl nur bei neuen Einträgen sinnvoll, oder?
Tut mir leid, dazu bin ich noch nicht gekommen. So ganz einfach ist das nicht... ein Löschen von Personen, die nicht Teil des Imports sind, halte ich für riskant. Besser fände ich es, wenn du explizit die zu löschenden Personen "importieren" würdest, efa also alle Personen aus dem Import löscht. Du könntest ja in efa manuell Gäste erfaßt haben, die in deiner Mitgliedsdatenbank-Importliste nicht drinstehen (ok, mit Sonderbehandlung könnte man die anhand des Status erkennen, aber das verkompliziert die Funktion noch mehr - nicht nur für den Entwickler ;)). Vermutlich hast du in deiner Mitgliedsverwaltung keine gelöschten Personen drin, daher verstehe ich schon, warum du diese Funktion gerne hättest. Ich muß das nochmal durchdenken, wie das am besten machbar wäre.
florian hat geschrieben:Wenn ein Mitglied ausgetreten ist und ich dies manuell "löschen" möchte, sollte ich wohl nur bei "gültig bis" das entsprechende Datum eintragen anstatt den Eintrag komplett zu löschen, richtig? (Damit die Statistiken für vergangene Jahre noch funktionieren)
Richtig. In den neuesten Updates habe ich auch extra nochmal eine Warnung eingebaut, die beim vollständiges Löschen nachfragt, ob das wirklich gewollt ist. Das sollte der Ausnahmefall sein - normalerweise nur Löschen und ein Datum eingeben, ab wann ungültig.
florian hat geschrieben:Personenübersicht:
Kann auch die Mitgliedsnr. in der Tabelle angezeigt werden? Dies würde das Zusammenfügen von Einträgen erleichtern, wenn sich z.B. der Nachname geändert hat, die Mitgliedsnr. aber gleich geblieben ist.
Könnte ich machen... aber eher ungerne (die meisten Nutzer würden das Feld vermutlich eher störend finden, da sie es gar nicht nutzen). Und es konfigurierbar zu machen... uaah.
florian hat geschrieben:Export der Personendaten:
Welche Reihenfolge haben die Datensätze beim Export nach csv?
Die Reihenfolge, die efa intern verwendet. Relativ willkürlich. Spielt das für dich eine Rolle?
florian hat geschrieben:Nützlich fände ich bei Export eine Vorlage für zu exportierende Felder oder ein Anpassen der standardmäßig markierten Felder beim Export.
Ja, verstehe...

Ich kann alle deine Wünsche gut nachvollziehen. Mir scheint es fast, daß für dich eine efaCLI-basierte Lösung die beste wäre. Dafür müßte das CLI noch ein paar zusätzliche Kommandos bieten, dann könntet du dir ein Skript bauen, das z.B. folgendes macht:
  • Mitgliederliste exportieren (mit festgelegten Feldern)
  • Export mit Mitgliederliste aus Mitgliederverwaltung abgleichen (unter Berücksichtigung von Mitglidsnr)
  • Export der Mitgliederverwaltung in efa importieren
  • Differenz zwischen ursprünglichem efa-Export und Mitgliederverwaltung-Export in efa löschen
Gruß,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Fr 8. Feb 2013, 18:44

Hallo Nicolas,
nick hat geschrieben:Tut mir leid, dazu bin ich noch nicht gekommen. So ganz einfach ist das nicht... ein Löschen von Personen, die nicht Teil des Imports sind, halte ich für riskant. Besser fände ich es, wenn du explizit die zu löschenden Personen "importieren" würdest, efa also alle Personen aus dem Import löscht. Du könntest ja in efa manuell Gäste erfaßt haben, die in deiner Mitgliedsdatenbank-Importliste nicht drinstehen (ok, mit Sonderbehandlung könnte man die anhand des Status erkennen, aber das verkompliziert die Funktion noch mehr - nicht nur für den Entwickler ;)). Vermutlich hast du in deiner Mitgliedsverwaltung keine gelöschten Personen drin, daher verstehe ich schon, warum du diese Funktion gerne hättest. Ich muß das nochmal durchdenken, wie das am besten machbar wäre.
Ja, ein automatisches Löschen bzw. ungültig-Setzen eines nicht im Import vorhandenen Eintrags ist kritisch. Die von dir erwähnte Option des Löschens aus dem Import gibt es aber noch nicht, oder? In unserer Mitgliederverwaltung bleiben die Austritte zunächst erhalten, nur dass dann im Feld "Austritt am" ein Eintrag steht, den kann man vielleicht beim Import nach efa nutzen? Geht das über das Feld InvalidFrom? Und was muss da bei den Einträgen stehen, die nicht ungültig werden sollen?

Zur Export-Reihenfolge: Ist nicht so wichtig, ich hatte mich nur gewundert, wonach wohl sortiert ist...

Dein Vorschlag mit einer Kommandozeilen-Lösung ist gut. Ist ja verständlich, dass du nicht alle Sonderwünsche in die GUI einbauen möchtest :-)
Die Umsetzung dafür wird wohl etwas dauern, oder?

Beste Grüße
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Sa 9. Feb 2013, 08:50

Hallo Florian,
florian hat geschrieben:Ja, ein automatisches Löschen bzw. ungültig-Setzen eines nicht im Import vorhandenen Eintrags ist kritisch. Die von dir erwähnte Option des Löschens aus dem Import gibt es aber noch nicht, oder? In unserer Mitgliederverwaltung bleiben die Austritte zunächst erhalten, nur dass dann im Feld "Austritt am" ein Eintrag steht, den kann man vielleicht beim Import nach efa nutzen? Geht das über das Feld InvalidFrom? Und was muss da bei den Einträgen stehen, die nicht ungültig werden sollen?
Nein, Löschen geht bislang noch nicht. Ich hatte damit mal angefangen, aber es nicht zu Ende entwickelt. Muß ich wieder aufgreifen.
florian hat geschrieben:Dein Vorschlag mit einer Kommandozeilen-Lösung ist gut. Ist ja verständlich, dass du nicht alle Sonderwünsche in die GUI einbauen möchtest :-)
Die Umsetzung dafür wird wohl etwas dauern, oder?
So sehr kompliziert ist das nicht. CLI ist wesentlich einfach zu entwickeln als GUI, da sehr generisch und auf wenige Kommandos beschränkt, die sich sehr leicht auf Grundfunktionen von efa abbilden lassen. Und dadurch, das das "skriptbar" ist, kann das ein sehr mächtiges Werkzeug sein. Winter ist aber eine schlimme Zeit... da werde ich hier im Forum so bombardiert, dass neben dem Support im Forum und Bugfixing nicht eine einzige Minute für Entwicklung mehr übrigbleibt.

Gruß,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » So 10. Feb 2013, 18:18

Hallo Nicolas,
nick hat geschrieben:
florian hat geschrieben:Ja, ein automatisches Löschen bzw. ungültig-Setzen eines nicht im Import vorhandenen Eintrags ist kritisch. Die von dir erwähnte Option des Löschens aus dem Import gibt es aber noch nicht, oder? In unserer Mitgliederverwaltung bleiben die Austritte zunächst erhalten, nur dass dann im Feld "Austritt am" ein Eintrag steht, den kann man vielleicht beim Import nach efa nutzen? Geht das über das Feld InvalidFrom? Und was muss da bei den Einträgen stehen, die nicht ungültig werden sollen?
Nein, Löschen geht bislang noch nicht. Ich hatte damit mal angefangen, aber es nicht zu Ende entwickelt. Muß ich wieder aufgreifen.
Ich habe jetzt einfach mal einen Test gemacht: Export als csv mit diesen Feldern:

Code: Alles auswählen

FirstName|LastName|Gender|Birthday|StatusId|MembershipNo|FreeUse1|FreeUse2|InvalidFrom
Dann habe ich 2 der Datensätze wieder importiert, bei einem habe ich bei "InvalidFrom" den Zeitstempel geändert (entspricht 1.1.2013 00:00:00), bei "gültig bis" wird das dann nach dem Import zu 31.12.2012 23:59:59. Den 2. Datensatz habe ich unverändert gelassen, also InvalidFrom = 9223372036854775807, dort hat sich nach dem Import nichts geändert, also Datensatz ist weiterhin gültig.

Auf diesem Weg könnte man beim Import ja bekannte Austritte ungültig machen. Sollte das so funktionieren und planst du, dass die Funktionalität so bleibt? Dann würde ich das wohl so machen.

Noch eine Frage (kann ich zur Zeit nicht testen):
Funktioniert der Datenimport eigentlich auch via efa Remote?

Beste Grüße
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Mo 11. Feb 2013, 05:32

Hallo Florian,

ja, das InvalidFrom-Feld wird mit importiert und der Wert, den du dort einträgst, wird beachtet. Auf diese Funktionalität kannst du dich verlassen.

Und ja, Datenimport funktioniert auch mit efaRemote. Die zu importierende Datei ist dabei immer lokal (also auf dem Client).

Gruß,
Nicolas

RuderMarkus
Beiträge: 116
Registriert: Do 1. Mär 2012, 18:30

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von RuderMarkus » Mi 13. Jun 2018, 23:23

Hallo Nick, hallo Florian,

Dieser Beitrag wird ja immer mal wieder ausgebuddelt. :)
Ich komme mal wieder dazu am Abgleich unserer Mitglieder mit efa zu basteln und laufe auf verschiedene Fragen/Herausforderungen:

Ich habe Mitglieder in efa, die mal Mitglied waren und in 2018 (in efa immer zum 1.1.18) wieder eingetreten sind.
Beim Versuch diese zu importieren bekomme ich die Fehlermeldung: "Datensatz existiert bereits"
Aktualisieren geht nicht, weil "Keine gültige Version des Datensatzes gefunden." gemeldet wird.
Der Import-Zeitpunkt ist heute, also irgendwann in 2018. In der Import-Datei ist validFrom = 1.1.18

Ich konnte Datensätze aktualisieren, wenn ich mit dem Gültigkeitszeitpunkt des Imports gespielt habe. Damit wurde aber nicht der Gültigkeitszeitraum geändert, sondern nur die neuen Feldinhalte.
ABER: Ich möchte nicht beim Import von möglicherweise Wiedereinsteigern seit 200x jeden Gültigkeitszeitraum durchspielen.
Nachdem ich für jedes derzeit ungültige Mitglied, das ich aus dem Import-Log anhand der Fehlermeldungen gesucht habe, den Gültigkeitszeitraum bis 2018 verlängert habe, waren Feldupdates möglich. Das ist aber sehr aufwändig und langwierig.

1) Wie kann ich ALLE Mitglieder (incl. gelöscht und ungültig) aus efa exportieren lassen? Dann kann ich zumindest die ehemaligen leichter finden.
2) Wie kann ich über einen Datenimport den Gültigkeitszeitraum ändern? Schön wäre es, wenn ich beim Aktualisieren und "neue Version mit angegebenem Gültigkeitsbeginn" einfach eine neue Version bekommen würde, die ich ja im Import-XML definiert habe über ValidFrom.
3) Wie kann ich vorhandene Mitglieder mit einem neuen Gültigkeitszeitraum importieren, ohne das genaue Datum der letzten Gültigkeit zu kennen?

4) Manuelle Erweiterung des Gültigkeitszeitraums: Ich schnall nicht ganz wie ich vorgehen muss. Bei einem Mitglied das bis 2016 im Verein war ist der Gültigkeitszeitraum v3 bis 31.12.2016 23:59:59. Kommt es 2018 wieder und ich sage: Neu und ab "1.1.18" kommt die Meldung: Die aktuelle Version ist im gewählten Zeitraum bereits ungültig. Bitte andere Version oder erst Verlängern.
Wenn ich erst verlängere, muss ich mir das bisherige "gültig bis" Datum merken, dann löschen. Neue Version (hier v4) ist erstellt und ab 1.1.16 gültig. v3 wird automatisch auf Silvester 2015 angepasst. Jetzt kann ich v4 ab 1.1.18 ohne Enddatum laufen lassen.
Um die Historie wieder herzustellen muss ich nun noch v3 vom 31.12.17 auf den 31.12.16 rückdatieren, damit er 2017 als ungültig angezeigt wird. --> Das wiederum klappt gar nicht, weil v3 immer 1 Sekunde vor v4 endet.

Meine Frage: Kann ich das überhaupt irgendwie abbilden?

5) Die Mitgliedsnummer wird immer auf NULL gesetzt

Code: Alles auswählen

WARNING: Value '1478' for Field 'MemberShipNo' corrected to 'null': [#Id#=<UNSET>;FirstN
. Warum?

Danke und Gruß
Markus

Antworten