Import Personendaten/ Abgleich mit Mitgliederverwaltung

Diskussion, Fragen, Anregungen und Wünsche zu efa2

Moderatoren: nick, smg

Forumsregeln
Verfasse bitte die Beiträge in den passenden Kategorien und gib ihnen einen aussagekräftigen Betreff.
Antworte bitte nur zum Thema und beginne ein neues Thema, falls Du noch etwas Zusätzliches sagen möchtest.
florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Do 23. Feb 2012, 23:19

Hallo Nicolas,

ich habe schon etwas mit dem Import von Personendaten über csv-Dateien experimentiert. Eine Sache ist mir noch nicht ganz klar: Im Forum hast du mal geschrieben, die csv-Dateien zum Import müssen dasselbe Format haben, wie die von efa2 via Export generierten Dateien. Heißt das, es müssen die Felder in der Datei stehen, die in der Standardeinstellung auch beim Export erstellt werden? Beim Export der Personendaten können ja die zu nutzenden Felder ausgewählt werden. Und was habe ich im Import-Dialog unter den "Schlüsselfeldern" (die aber nicht zu ändern sind) zu verstehen?

Nun zu meinem Problem: In unserem Verein werden die Mitgliederdaten mit einer separaten Software verwaltet. Wir sind bisher so vorgegangen, dass die Eintritte zeitnah in efa erfasst wurden und am Anfang eines Jahres ein Abgleich mit der Mitgliederverwaltung gemacht wurde. Bei efa1 haben wir für jedes Jahr eine neue efa-Mitgliederliste mit eddi erzeugt (Mitgliederverwaltung -> csv-Datei -> eddi -> efbm-Datei). Die Austritte sind so automatisch rausgeflogen und die anderen Mitglieder hat efa1 über den Namen wiedererkannt. Falls sich der Nachname eines Mitglieds geändert hat, muss der noch manuell in die Synonymliste eingetragen werden.

Wie soll ich jetzt bei efa2 vorgehen? Kann vielleicht die Personen-Id aus efa2 in die Mitgliederverwaltung übertragen werden und dann beim Import verglichen werden (weiß aber nicht, ob in der anderen Software noch ein Feld für Zusatzdaten verfügbar ist)? Der Import bietet aktuell keine Option, nur die Daten aus der Import-Datei zu berücksichtigen, um die Austritte aus der Liste zu entfernen. Die Synchronisation (Fortsetzen eines Datensatzes) zwischen den efa2-Daten und den Importdaten läuft wohl wieder über gleiche Daten in "Vorname Name (Verein)"?

Es wäre schön, wenn du einen Tipp geben könntest, welches Vorgehen du für efa2 empfiehlst. Gut wäre auch eine Möglichkeit, nachträglich zwei Datensätze zusammenzufügen: Also wenn sich die Gültigkeitsbereiche der Datensätze nicht überschneiden und z.B. eine Namensänderung stattgefunden hat.

Viele Grüße
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Fr 24. Feb 2012, 20:23

Hallo Florian!
florian hat geschrieben:ich habe schon etwas mit dem Import von Personendaten über csv-Dateien experimentiert. Eine Sache ist mir noch nicht ganz klar: Im Forum hast du mal geschrieben, die csv-Dateien zum Import müssen dasselbe Format haben, wie die von efa2 via Export generierten Dateien. Heißt das, es müssen die Felder in der Datei stehen, die in der Standardeinstellung auch beim Export erstellt werden? Beim Export der Personendaten können ja die zu nutzenden Felder ausgewählt werden. Und was habe ich im Import-Dialog unter den "Schlüsselfeldern" (die aber nicht zu ändern sind) zu verstehen?
Da war ich etwas ungenau. Wenn ich sage, dass der Import dasselbe Format haben muss, heisst das nur, dass z.B. beim CSV-Import in der ersten Zeile die Spaltennamen stehen muessen, und diese exakt denen von efa entsprechen muessen, und dass auch bei der Werten der einzelnen Datensaetze die Werte verwendet wird, die efa auch beim Export generiert (z.B. MALE und FEMALE fuer das Geschlecht von Personen, nicht aber M und F order W oder was auch immer).

Beim Import muessen aber nicht alle Felder mit angegeben werden. Felder, die in der Importdatei fehlen, werden als leer angenommen. Es gibt allerdings bestimmte Felder, die nicht leer sein duerfen. Dazu zaehlen die Schluesselfelder (also die, die quasi die Identitaet eines Datensatzes ausmachen - Name o.ae.), von denen mindestens eines angegeben sein muss (bei Personen also z.B. mindestens Vorname, Nachname oder Namenszusatz). Es gibt auch einige andere Felder, die nicht leer sein duerfen. Das ist bisher niegendswo dokumentiert, merkst Du aber spaetenstens beim Import an der entsprechenden Fehlermeldung... ;)
florian hat geschrieben:Nun zu meinem Problem: In unserem Verein werden die Mitgliederdaten mit einer separaten Software verwaltet. Wir sind bisher so vorgegangen, dass die Eintritte zeitnah in efa erfasst wurden und am Anfang eines Jahres ein Abgleich mit der Mitgliederverwaltung gemacht wurde. Bei efa1 haben wir für jedes Jahr eine neue efa-Mitgliederliste mit eddi erzeugt (Mitgliederverwaltung -> csv-Datei -> eddi -> efbm-Datei). Die Austritte sind so automatisch rausgeflogen und die anderen Mitglieder hat efa1 über den Namen wiedererkannt. Falls sich der Nachname eines Mitglieds geändert hat, muss der noch manuell in die Synonymliste eingetragen werden.

Wie soll ich jetzt bei efa2 vorgehen? Kann vielleicht die Personen-Id aus efa2 in die Mitgliederverwaltung übertragen werden und dann beim Import verglichen werden (weiß aber nicht, ob in der anderen Software noch ein Feld für Zusatzdaten verfügbar ist)? Der Import bietet aktuell keine Option, nur die Daten aus der Import-Datei zu berücksichtigen, um die Austritte aus der Liste zu entfernen. Die Synchronisation (Fortsetzen eines Datensatzes) zwischen den efa2-Daten und den Importdaten läuft wohl wieder über gleiche Daten in "Vorname Name (Verein)"?
Verstehe. Ja, dafuer ware es wohl praktisch, wenn der Import (entweder anhand von Namen oder ID, falls Deine Mitgliederverwaltung das kann) neue Mitglieder importiert bzw. bestehende ggf. aktualisiert, und eine Option bietet, das alle anderen Datensaetze, die nicht importiert wurden, automatisch ab dem angegebenen Datum als ungueltig markiert werden. Das werde ich mir mal notieren.

Was das Zusammenfuegen von Datensaetzen angeht: Auch das koennte ich mittelfristig anbieten. Bis dahin kannst Du Dir behelfen, indem Du zuerst in dem zu loeschenden Datensatz den Namen so aenderst, wie er auch in dem gewuenschten Datensatz ist, den Datensatz dann loescht, das Projekt neu oeffnest (oder efa neu startest) - dabei laeuft dann der Audit, der die ID's des geloeschten durch den Namen ersetzt, und dann das Projekt noch ein zweites Mal neu oeffnest - hierbei laeft der Audit wieder, findet unbekannte Namen, die zu einem existierenden Datensatz passen, und ersetzt diese durch die ID!

Gruss,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » So 26. Feb 2012, 15:52

Hallo Nicolas,

danke für die Infos. Zu deinem Beispiel mit dem Geschecht: in den exportierten csv-Dateien steht dort "männlich" bzw. "weiblich" und dies funktioniert auch beim Import.
Wenn in der Import-Datei im Feld StatusId ein Text steht, der nicht zu denen in der Statusliste passt, ist mir unklar, welcher Wert dort gesetzt wird. Wird dies beim Import schon überprüft? Ansonsten wäre zumindest eine Warnung nicht schlecht.

Wenn ich mir direkt nach einem Import einen Datensatz über "bearbeiten" ansehe und ohne Änderungen dann wieder schließe, erhalte ich die Meldung: "Die Daten wurden verändert. Möchtest du die Änderungen jetzt speichern?"

Die Idee, für den Import eine Option vorzusehen, nicht geänderte bzw. hinzugefügte Datensätze als ungültig zu markieren ist gut. Als Ergänzung fände ich noch die Wahl über den Status sinnvoll: z.B. Datensätze mit Status "Gast" trotzdem beibehalten - diese sind in der Mitgliederverwaltung nicht aufgeführt und gingen dann verloren.

Das Zusammenfügen nach deiner Anleitung hat bei mir nicht funktioniert. Oder darf sich nur der Name geändert haben? Die neue Version des Datensatzes hat weitere Felder und den vollen Geburtstag statt nur Jahrgang. Trotz mehrfachem Öffnen des Projekts sehe ich nur die importierte Version. Reicht beim Löschen des alten Datensatzes "als ungültig markieren"?

Viele Grüße
Florian

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » So 26. Feb 2012, 16:04

Hallo,

Noch ein Nachtrag:
Es ist wieder ein "alter" Fehler aufgetreten, dass bei Fahrt beginnen die Personen als orange markiert werden.
Import der efa1-Daten bis 2011, dann Import aus csv-Datei gültig ab 1.1.2012. Die Personen, die neu hinzugekommen sind, können bei Fahrt beginnen gar nicht ausgewählt werden.

Version: 1.9.9_55

Grüße
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Mo 27. Feb 2012, 03:38

Hallo Florian,
florian hat geschrieben:danke für die Infos. Zu deinem Beispiel mit dem Geschecht: in den exportierten csv-Dateien steht dort "männlich" bzw. "weiblich" und dies funktioniert auch beim Import.
Sorry, Du hast Recht. Ich hatte das falsch im Gedächtnis. efa übersetzt die intern verwendeten Bezeichnungen beim Import/Export in die Bezeichnungen, die auch an der GUI sichtbar sind.
florian hat geschrieben:Wenn in der Import-Datei im Feld StatusId ein Text steht, der nicht zu denen in der Statusliste passt, ist mir unklar, welcher Wert dort gesetzt wird. Wird dies beim Import schon überprüft? Ansonsten wäre zumindest eine Warnung nicht schlecht.
Wenn ein Feld einen unerlaubten Wert hat, fällt efa auf den Standardwert zurück. Das ist im Fall von Status der Status andere (intern auch null). Eine Warnung gibt es in dem Fall derzeit leider nicht, aber das habe ich soeben korrigiert.
florian hat geschrieben:Wenn ich mir direkt nach einem Import einen Datensatz über "bearbeiten" ansehe und ohne Änderungen dann wieder schließe, erhalte ich die Meldung: "Die Daten wurden verändert. Möchtest du die Änderungen jetzt speichern?"
Das passiert dann, wenn beim Import ein Feld nicht gesetzt wurde, das aber durch die GUI automatisch gesetzt wird. Zum Beispiel kennt efa intern ein Geschlecht "andere", was der Import setzt, wenn Du kein (gültiges) Geschlecht angibst. Wenn Du die GUI aufrufst, erlaubt sie aber nicht, ein Geschlecht "andere" auszuwählen, sondern nur "männlich" oder "weiblich". Das verändert den Datensatz also, daher die Frage. Wenn Dein Datensatz vollständig gültig importiert wurde, sollte so eine Frage nicht kommen.
florian hat geschrieben:Die Idee, für den Import eine Option vorzusehen, nicht geänderte bzw. hinzugefügte Datensätze als ungültig zu markieren ist gut. Als Ergänzung fände ich noch die Wahl über den Status sinnvoll: z.B. Datensätze mit Status "Gast" trotzdem beibehalten - diese sind in der Mitgliederverwaltung nicht aufgeführt und gingen dann verloren.
Ohja.... das macht's noch komplizierter... ;)
florian hat geschrieben:Das Zusammenfügen nach deiner Anleitung hat bei mir nicht funktioniert. Oder darf sich nur der Name geändert haben? Die neue Version des Datensatzes hat weitere Felder und den vollen Geburtstag statt nur Jahrgang. Trotz mehrfachem Öffnen des Projekts sehe ich nur die importierte Version. Reicht beim Löschen des alten Datensatzes "als ungültig markieren"?
Ja, sie müssen komplett gelöscht werden!

Gruß,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Mo 27. Feb 2012, 21:54

Hallo Nicolas,

meine csv-Datei hat diese Spaltenüberschriften:
FirstName|LastName|Gender|Birthday|StatusId|MembershipNo|FreeUse1|FreeUse2

Es wird ohne Warnung und Fehler importiert. Trotzdem erhalte ich nach bearbeiten/schließen eines Datensatzes die Meldung: "Die Daten wurden verändert. Möchtest du die Änderungen jetzt speichern?"
Wird das Projekt einmal neu geöffnet, ist dieses Verhalten weg.

Auch mit komplettem Löschen des alten Datensatzes funktioniert bei mir das Zusammenführen mehrerer Versionen nicht.

Und geänderte/neue Personen nach dem Import werden bei Fahrt beginnen als orange bzw. gar nicht angezeigt.

Falls relevant: ich habe vor dem Import die alten Daten aus einem Backup wieder hergestellt.

Gruß
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Mi 29. Feb 2012, 07:28

Hallo Florian,
florian hat geschrieben:Es wird ohne Warnung und Fehler importiert. Trotzdem erhalte ich nach bearbeiten/schließen eines Datensatzes die Meldung: "Die Daten wurden verändert. Möchtest du die Änderungen jetzt speichern?"
kannst Du mal bitte in die efa-Konfiguration gehen, dort den Expertenmodus aktivieren, das Debug-Logging einschalten und als Trace-Topic 0x100 eintragen? Anschließend erhälst Du in der efa-Logdatei Ausschriften wie "xxx.getValuesFromGui(): xxx has changed", wenn Du nach dem Import das Daten-Edit-Fenster schließt. Bitte mal schreiben, welche Felder efa da als geändert erkennt.
florian hat geschrieben:Auch mit komplettem Löschen des alten Datensatzes funktioniert bei mir das Zusammenführen mehrerer Versionen nicht.
Kannst Du mal ein Beispiel schildern? Welches sind Deine beiden Datensätze, die Du zusammenfügen willst, welchen Gültigkeitszeitraum und welchen aktuellen Namen haben sie? Welchen von beiden löschst Du? Gibt es irgendwelche Ausschriften in der Logdatei bezogen auf diese Datensätze? Und bitte vergewissere Dich nochmal, daß Du - wie in diesem Thread beschrieben, den Audit auch wirklich scharfgeschaltet hast.
florian hat geschrieben:Und geänderte/neue Personen nach dem Import werden bei Fahrt beginnen als orange bzw. gar nicht angezeigt.
Welchen Gültigkeitszeitraum haben diese Personen laut efa nach dem Import, und für welches Datum trägst Du eine Fahrt ein?

Danke & Gruß,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » Do 1. Mär 2012, 22:58

Hallo Nicolas,

im logfile erhalte ich diesen Eintrag:
xxx.getValuesFromGui(): FreeUse2 has changed

Zum Zusammenfügen schicke ich dir bei Gelegenheit mal Beispieldaten per Mail, wenn ich es selbst nicht hinkriege. Das Audit war tatsächlich aus, obwohl ich mir ziemlich sicher bin, das schon mal aktiviert zu haben. Hat beim ersten Versuch aber trotzdem nicht funktioniert.

Zum Problem bei Fahrt beginnen:
Nach dem Import gibt es eine neue Version ab 01.01.2012 00:00:00 sowie die alte Version von 01.01.2009 00:00:00 bis 31.12.2011 23:59:59. Personen, die durch den Import neu hinzugekommen sind, haben nur die 2012er Version. Die Fahrt wird für aktuelles Datum eingetragen, also heute 01.03.2012. Es werden nur die Personen als grün angezeigt, die durch den Import keine neue Version bekommen haben.

Gruß
Florian

nick
Beiträge: 1300
Registriert: Sa 10. Jul 2010, 11:45

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von nick » Sa 3. Mär 2012, 22:32

Hallo Florian,

hattest Du denn, nachdem Du mir diese Fehler schonmal vor einiger Zeit gemeldet hattest und ich sie korrigiert habe, auch efa aktualisiert? Mit der Version vom letzten Sonntag (2.0.0_01) kann ich diese Probleme bei mir nicht mehr nachvollziehen: Weder wird ein nach Deiner Beschreibung importierter Datensatz als ungültig angezeigt, noch glaubt efa, daß sich nach dem Import von Daten das Feld "FreeUse2" geändert hat.

Gruß,
Nicolas

florian
Beiträge: 116
Registriert: Do 2. Dez 2010, 21:35

Re: Import Personendaten/ Abgleich mit Mitgliederverwaltung

Beitrag von florian » So 4. Mär 2012, 16:48

Hallo Nicolas,

ja, ich habe efa2 aktualisiert. Ein Problem habe ich nun gelöst. Es gab noch kein Fahrtenbuch für 2012. Ich habe die Daten 2009-2012 aus efa1 importiert, dann die Personendaten für 2012 aus einer csv-Datei importiert. Aber ich hatte vergessen, für 2012 ein Fahrtenbuch anzulegen und zu öffnen, es war das 2011er geöffnet. Bei Fahrt beginnen waren die Personen für 2012 daher vermutlich nicht bekannt. Wird bei efa2 eigentlich beim Jahreswechsel automatisch ein neues Fahrtenbuch angelegt?

Das Problem mit geänderten Daten im Feld "FreeUse2" besteht weiterhin. Es scheint hierbei vom Inhalt des Feldes abzuhängen. In der csv-Datei steht dort das Austrittsdatum, wenn dies schon bekannt ist. Ansonsten steht dort " . . ", die Mitgliederverwaltung gibt dies so aus. Die Meldung wg. geänderter Daten kommt nur bei diesen Einträgen. Habe jetzt die Erzeugung der csv-Datei so geändert, dass diese merkwürdigen Strings nicht mehr auftreten. Speziell für den Fall des Austrittsdatums wäre es natürlich schön, wenn man das Enddatum der Gültigkeit eines Datensatzes aus der csv-Datei übernehmen könnte. (Ist ziemlich weit hinten in der Prioritätsliste :) )

Gruß
Florian

Antworten