Evaluation des eJournals eleed (e-learning and education)
M. Roos, M. Postel, J. Krinke, H. Häßler

Die Online-Evaluation des eJournals eleed wurde über einen Zeitraum von drei Monaten durchgeführt. In diesem Zeitraum wurden 101 der zur Verfügung gestellten Fragebögen (Anlage) vollständig beantwortet. Dies entspricht einer Rücklaufquote von ca. 4%,, wenn man die Zahl der teilnehmenden Personen in Bezug setzt zu der Zahl der unabhängigen Zugriffe (entsprechend Leser) des eJournal, die bei durchschnittlich 3000 pro Monat im genannten Zeitraum lag. Die folgenden Aussagen können somit als repräsentativ angesehen werden.
Als vorteilhaft für eleed hat sich die Einbettung bzw. Verknüpfung in das international agierende CampusSource-Netzwerk herausgestellt. Allein ein Drittel der Befragten (32,4%) gaben an, über den CampusSource-Newsletter auf eleed aufmerksam geworden zu sein. Ferner sind 22,5% durch Links auf anderen Seiten bzw. 19,6% durch Suchmaschinen zu eleed geleitet worden (vgl. Abbildung 1). Hier zeigt sich eine gute Verknüpfung von eleed zu thematisch vergleichbaren Seiten im Internet.

Abbildung 1 - Wie wurden die Leser auf eleed aufmerksam
eleed wurde als wissenschaftliches Journal gegründet und eingeführt. Die entsprechende Zielgruppe wird sehr gut erreicht: 80% geben an, einer Hochschule anzugehören, Wissenschaftler oder Studenten zu sein (Abbildung 2). Die Leser kommen zum überwiegenden Teil (56,3%) aus Deutschland, was sicherlich durch den hohen Anteil deutschsprachiger Beiträge geschuldet ist (Abbildung 3). Aktuelle Zugriffsstatistiken zeigen jedoch, dass der prozentuale Anteil der ausländischen Leser stark gestiegen ist. Tabelle 1 vergleicht die Länder-Zugriffsstatistik während der Evaluation (Februar 2006) mit der aktuell vorliegenden Zugriffsstatistik (November 2006). Somit stellen Abbildungen Abbildung 2 und Abbildung 3 nur eine Momentaufnahme zum Zeitpunkt der Evaluation dar. Als Grund für die Zunahme ausländischer Leser wurde die Aufnahme des Journals u.a. in ausländische Datenbanken und das vermehrte Zitieren der eleed Beiträge in diversen ausländischen Veröffentlichungen ausgemacht. Dies belegen eindrucksvoll auch die Auswertungen der Zugriffsstatistiken nach der durchgeführten Evaluation. 

Land	Zugriffe im Februar 2006	Zugriffe im November 2006	
USA	22837	46291	
Deutschland	23934	18618	
Großbritannien	3297	7595	
Sonstige	27947	33845	
Tabelle 1: Länder-Zugriffsstatistiken der eleed Webseiten

Abbildung 2 - Nutzer des Journals

Abbildung 3 - Herkunftsländer der eleed-Leser
Die Beiträge selbst sind in 3 Kategorien unterteilt: Wissenschaftliche Beiträge werden jeweils von mindestens zwei, normalerweise jedoch drei unabhängigen, internationalen Gutachterinnen und Gutachtern bewertet. Studien, Projekt- und Forschungsberichte werden nicht wissenschaftlich begutachtet, sondern ausschließlich von der Redaktion ausgewählt und zusammen mit den Einreichern gestaltet. Buchbesprechungen und die Vorstellungen aktueller Literatur runden jede Ausgabe ab. Die durchschnittlichen Noten für die Qualität aller Beiträge liegt zwischen 2,12 und 2,38, wobei die wissenschaftlichen Beiträge am besten abschneiden (Abbildung 4). Gerade hierauf wurde auch besonderes Augenmerk gelegt, da eleed als wissenschaftliches Journal konzipiert, sich zunächst national und international  etablieren musste. Die Auswertung ergibt eindeutig, dass die primäre Zielgruppe der wissenschaftlich arbeitenden Leser mit qualitativ guten Beiträgen versorgt wird. Auffällig ist jedoch eine Diskrepanz in den Benotungen durch deutsche und ausländische Leser. Ausländische Leser beurteilen die Beiträge durchweg besser als deutsche.

Abbildung 4 - Beurteilung der Qualität der Artikel
a) wissenschaftliche (begutachtete) Beiträge
b) Projektberichte
c) Buchbeschreibungen
Die Gestaltung des Journals wird mit Noten von 2,09 bis 2,53 beurteilt (Abbildung 5, Abbildung 6, Abbildung 7, Abbildung 8 und Abbildung 9). Hier lassen sich nach den ersten beiden Ausgaben Schlüsse ziehen, in welcher Weise das Journal in seiner Gestaltung verbessert werden kann. Interessant ist die Beurteilung des Gesamtkonzeptes in Abbildung 7: hier vergeben zwei Drittel der Leser (67,8%) die Noten “sehr gut” bis “gut”. Die aufwendige Planung des Journals seitens des Redaktionsteams hat sich somit als richtig erwiesen. Signifikante Unterschiede in der Beurteilung zwischen deutschen und ausländischen Lesern gibt es nicht.

Abbildung 5 - Beurteilung der Geschwindigkeit des Seitenaufbaus
 (Durchschnittsnote: 2,09)

Abbildung 6 - Beurteilung der Themenauswahl (Durchschnittsnote: 2,19)

Abbildung 7 - Beurteilung des Gesamtkonzepts “eleed” (Durchschnittsnote: 2,16)
 
Ebenfalls interessant ist die Beurteilung der Menge der multimedialen Inhalte durch die Leser in Abbildung 9. Obwohl zum Zeitpunkt der Evaluation erst zwei Ausgaben von eleed veröffentlicht worden sind und das Journal erst am Anfang stand, sind laut den Lesern leicht zu viele multimediale Inhalte in den Beiträgen implementiert. Dies ist umso erstaunlicher, weil auf Grund der kurzen Existenz von eleed viele multimediale Formen in den Beiträgen noch nicht eingebettet wurden. Offensichtlich sind die Leser noch immer die klassische Publikationsform (Text und Abbildungen) gewohnt.

Abbildung 8 - Zufriedenheit mit der Anzahl der Artikel pro Ausgabe
(Durchschnitt: leicht zu viele)

Abbildung 9 - Zufriedenheit mit der Menge der multimedialen Inhalte
(Durchschnitt: leicht zu viele)
Sehr bemerkenswert ist, dass 59% der Leser kein weiteres e-learning Journal lesen (Abbildung 10). Berücksichtigt man, dass 80% der Leser aus dem wissenschaftlichen Bereich kommen (s.o.), so darf für eleed eine führende Position auf dem Markt für wissenschaftliche e-learning Journale vermutet werden. Dies ist umso bedeutsamer, weil eleed erst seit wenigen Ausgaben existiert. Zusammen mit der Tatsache, dass zwei Drittel der Leser eleed als “sehr gut” bis “gut” einstufen, kann das Journal mit sehr positiven Erwartungen in die Zukunft blicken.

Abbildung 10 - Die Frage ob weitere e-learning Journale gelesen werden
Als sehr positiv zu anzumerken ist die Tatsache, dass über 93% Open Access Journale für sinnvoll halten (Abbildung 11). Allerdings ist nur ein Drittel bereit, als Autor einen finanziellen Beitrag zur Kostendeckung für eine Veröffentlichung zu zahlen (Abbildung 12). Diese Aussage erschwert es, ein geeignetes Geschäftsmodell zur kostendeckenden Weiterführung des Journals zu finden.

Abbildung 11 - Bewertung der Frage, ob die Leser Open Access Publikationen als sinnvoll betrachten

Abbildung 12 - Bereitschaft als Autor gegebenenfalls einen Beitrag zur Kostendeckung zu entrichten
Resümee
Das Open Access Journal eleed hat es in kurzer Zeit geschafft, eine sehr gute “Marktposition” zu erreichen. Das Gesamtkonzept, Gestaltung und die Inhalte von eleed wurden für ein neu eingeführtes Journal äußerst positiv bewertet. Zum Erfolg beigetragen hat nachweislich die Einbettung des Journals in das international agierende Netzwerk von CampusSource, mit dessen Hilfe sowohl internationale Beiträge akquiriert, als auch renommierte Wissenschaftler als Gutachter gewonnen werden konnte. Die steigende Anzahl insbesondere ausländischer Leser und Einreicher zeigt, dass es eleed geschafft hat, in vielen exponierten Datenbanken und Publikationen aufgeführt bzw. zitiert zu werden. Eindruckvollstes Ergebnis der Leserbefragung ist, dass weit über 90% der Befragten Open Access-Publikationen für sinnvoll erachten.