 66th IFLA Council and General
Conference
Jerusalem, Israel, 13-18 August
Code Number: 028-129-G
Division Number: VI
Professional Group: Statistics
Joint Meeting with: -
Meeting Number: 129
Simultaneous Interpretation: No
Eine neue Kultur der Beurteilung: Vorläufiger Bericht über die ARL-SERVQUAL Untersuchung
Colleen Cook, Fred Heath & Bruce Thompson
Texas A&M University, Evans Library, College Station,
Texas, USA
Zusammenfassung:
Die Texas A & M Universität und der Verband der Forschungsbibliotheken (ARL) beschäftigen sich im Rahmen der "Neue Maßstäbe-Initiative" mit einem Projekt zur Bewertung der Dienstleistungsqualität in Forschungsbibliotheken unter Verwendung eines vergrößerten SERVQUAL-Instrumentariums. Im Frühjahr 2000 luden 13 Mitgliedsbibliotheken des ARL in Nordamerika eine zufällig zusammengestellte Auswahl von Studenten und Fakultätsmitgliedern ein, an der Untersuchung im Web teilzunehmen. Das Pilotprojekt evaluiert die Effektivität von Web-basierten Begutachtungsinstrumentarien und das vergrößerte SERVQUAL-Protokoll wird auf seinen Nutzen bei der Messung der Dienstleistungsqualität in Forschungsbibliotheken aus der Nutzerperspektive getestet. Der Projektplan wird besprochen und die vorläufigen Ergebnisse werden den ausgewählten ARL-Bibliotheken im Frühjahr 2000 durch die Organisatoren der Untersuchung mitgeteilt.
Paper
Hintergrund
Die 122 Mitgliedsbibliotheken des Verbandes der Forschungsbibliotheken (ARL) gehören zu den wichtigsten Forschungseinrichtungen der Welt. Obwohl sie auch einige öffentliche und Spezialbibliotheken in ihren Reihen haben, sind ihre Mitglieder doch hauptsächlich die Bibliotheken von 111 der führenden nordamerikanischen Universitäten. Die Mitglieder haben eine Verpflichtung zu herausragender Quälität im Dienst für Forschung und Lehre gemeinsam. In großem Maße wird diese Verpflichtung von der universitären Welt anerkannt. Die Mitglieder des Verbandes werden allgemein als die Spitze einer wichtigen Pyramide von mehr als 3.000 universitären Bibliotheken auf dem Kontinent angesehen. Mit ihrem Reichtum an unterschiedlichen Sammlungen unterstützen sie die Aufgaben der Einrichtungen, als deren Teil jede Bibliothek fungiert und ziehen Gelehrte aus der ganzen Welt an, die aus ihren reichen Beständen schöpfen wollen.
Um der ausgesprochen unterschiedlichen Nutzerschaft aus Studenten und Gelehrten, die auf diese einzigartigen Ressourcen angewiesen sind, effektiver dienen zu können, hat der Verband der Forschungsbibliotheken (ARL) ein Dreijahresprogramm in Angriff genommen, um neue Beurteilungskriterien für die Dienstleistungseffektivität unter ihren Mitgliedern zu testen und zu entwickeln. Die Untersuchung ermöglicht es dem ARL, traditionelle Methoden zur Beurteilung der Effektivität zu überprüfen und gleichzeitig neue Theorien zu testen, um das Angebot an hochwertigen Dienstleistungen für diejenigen, die sich der kritischen Ressourcen der Forschungsbibliotheken bedienen, zu messen. Die Notwendigkeit neuer Maßmethoden ist allen Bibliotheken gemeinsam. Obwohl die Untersuchung auf die Gemeinschaft der Forschungsbibliotheken zugeschnitten ist, ist es bei weiterer Forschung in anderen Bibliothekstypen doch möglich, die resultierenden Werkzeuge auf alle universitären Bibliotheken anzuwenden.
Die Einführung neuer Effektivitätsmessungen könnte zu keinem günstigeren Zeitpunkt erfolgen. Forderungen nach Rechenschaftslegung überschwemmen die Welt der höheren Bildung. Akademische Forschungsbibliotheken stehen einer Wasserscheide der Veränderung gegenüber, die alles übertrifft, was der gelehrten Welt seit der Einführung des Buchdrucks im 15. Jahrhundert begegnet ist. Die Kosten der Kommunikation unter Gelehrten steigen schneller als jeder andere Aspekt des universitären Umfeldes. Das Zusammenfallen einer spiralartigen Informationsexplosion, eines fast unerträglichen inflationären Drucks und die Anwendung von Informationstechnologien auf die Sammlung und Verbreitung von Wissen bringen Herausforderungen wie auch Möglichkeiten ohne gleichen mit sich. Nirgends sind die Herausforderungen sichtbarer als unter den Mitgliedsbibliotheken des Verbandes der Forschungsbibliotheken.
Was jedoch begründet herausragende Qualität? Wie beweisen die Mitglieder ihren unterschiedlichen Nutzern und Geldgebern, daß die Bibliotheken des ARL auf der Grundlage der erheblichen Investitionen, die für ihre Unterhaltung vorgenommen werden, die bestmöglichen Dienstleistungen bieten?
Das durch den ARL geförderte Projekt stellt eine kühne Abweichung von den Messungspraktiken dar, die heute unter den Forschungsbibliotheken des Landes Anwendung finden. Gegenwärtig werden die Mitgliedsbibliotheken mechanistisch evaluiert. Die Standardmessungen nehmen eine singuläre objektive Realität an, und alle ARL-Bibliotheken werden im gegenseitigen Vergleich anhand einer Skala von fünf ausgabeabhängigen Variablen evaluiert (ARL 2000).
- Gesamtsumme der Ausgaben für die Unterhaltung
- Gesamtsumme des Fach- sowie des Hilfspersonals
- Gesamtsumme der erhaltenen laufenden Periodika
- Summe der neuerworbenen Bände
- Höhe des Bestandes
Die Beziehung zwischen Ausgaben und Quälität wird weitgehend vermutet, aber niemals empirisch nachgewiesen. Die Betonung der Ausgaben steht in der Tat in erheblichem Gegensatz zu den neuen Forderungen nach Evaluation und Rechenschaftslegung. Es gibt ein wachsendes Bewußtsein der Tatsache, daß die nordamerikanischen Forschungsbibliotheken eher ein reiches und komplexes Gewebe darstellen als eine singuläre objektive Realität, die durch einen solchen Index erklärt werden kann.
Das Problem der Beurteilung quält die nordamerikanischen Forschungsbibliotheken. Über mehrere Jahre hat sich der ARL für Initiativen zur Entwicklung neuer Maßkriterien eingesetzt, die die Forschungsbibliotheken benutzen können, um ihre Leistungen und ihren Wert besser zu beschreiben und zu bewerten. Diese Maßstäbe sind heute unzureichend. Die nordamerikanische Praxis der Evaluierung von Forschungsbibliotheken auf der Grundlage eines Maßsystems ihrer Ausgaben, wie es oben beschrieben wurde, wird in der Tat weitgehend kritisiert. Jedem Mitglied wird mechanisch ein Rang zugeschrieben, ohne daß eine Analyse der einzigartigen Gestaltungskräfte oder der besonderen Rollen und Verantwortlichkeiten der Universitäten erfolgt, deren Bestandteil jede Bibliothek ist. Das Maßsystem macht zum Beispiel keinen Unterschied zwischen dem Dienstleistungskontext einer großen, aus Landesmitteln finanzierten öffentlichen Bibliothek und einer privaten, hauptsächlich akademischen Einrichtung mit enger gefaßten Aufgaben.
Das ARL-SERVQUAL Pilotprojekt stellt eine erhebliche Innovation dar, die den Forschungsbibliotheken eine gut fundierte Theorie der Bibliotheksqualität bieten wird, die auf Nutzerwahrnehmungen basiert und die klügste Verwendung der vorhandenen Ressourcen ermöglichen wird. Lokale Information von Bedeutung wird gewonnen, die den Bibliotheken erlaubt, diejenigen Qualitätsdimensionen zu identifizieren, die die meiste Aufmerksamkeit verlangen, wodurch Energie und Ressourcen dort konzentriert werden können, wo sie am meisten benötigt werden. Zudem könnte es möglich sein, für ausgewählte Einheiten Richtlinien zu identifizieren, die es den Verwaltungen erlauben, an anderen Orten Gelerntes auf seine Anwendbarkeit im lokalen Kontext hin zu prüfen.
Die Studie ist eine Antwort auf den unter den Leitungen der Universitäten verbreiteten Ruf nach Bewertungen, die ein tieferes Verständnis der örtlichen Qualitätsanforderungen erlauben, gleichzeitig aber ermöglichen, die Natur der Beziehungen unter den Forschungsbibliotheken der Universitäten zu erforschen. Indem die Ergebnisse im Kontext der jeweiligen Universitätskultur besser verstanden werden, können diese Kenntnisse Richtlinien für andere bieten, die als Ergebnis ihrer eigenen Analysen identifizierte Defizite korrigieren möchten.
Die Absicht des ARL ist es sicherzustellen, daß die Aufgabensetzung der Forschungsbibliothek für ihre unterschiedliche studentische und Fakultätsklientel Bedeutung hat und eine Unterstützung darstellt, indem traditionelle Konstrukte und Überzeugungen einem Test unterworfen werden. Die Anwendungsmöglichkeiten für Lehre, Lernen und Forschung sind offensichtlich. Ein ausgabenbasiertes Maßsystem hat keine nachweisbare Beziehung zur Effektivität. Das ARL-SERVQUAL Projekt hebt auf die Wahrnehmungen der für ihre Bedürfnisse relevanten Dienstleistungen der Bibliothek durch die Nutzer ab. Wo Defizite bestehen, werden Bibliotheken die Möglichkeit haben, Verbesserungen vorzunehmen, die der lokalen Situation entsprechen. Eine Reihe von Richtlinien für alle Dimensionen, die die Qualität von Bibliotheken beschreiben, kann entstehen, die die Bemühungen der Verwaltungen erleichtern, die verfügbaren Ressourcen den institutionellen Aufgaben am besten anzupassen. Allen Dimensionen gemeinsame Trends können auf nationaler Ebene identifiziert werden, wodurch lokale Ergebnisse für Bibliothekare wie Universitätsleitungen in einen wichtigen Kontext gesetzt werden.
Bedeutung der Initiative
Forschungsbibliotheken verfügen auf ihrem jeweiligen Campus über gewaltige Ressourcen. Insgesamt benötigten die ARL-Bibliotheken zu ihrer Unterhaltung im Fiskaljahr 1997-1998 2,5 Milliarden Dollar. Die Kosten der Zeitschriften und elektronischen Informationsressourcen nehmen pro Jahr um zweistellige Prozentzahlen zu. Trotz innovativer Strategien, mit denen diesen wachsenden Kosten begegnet wird, werden diese Bibliotheken zunehmend von ihren Einrichtungen aufgefordert, Rechenschaft abzulegen und ihren Wert im Verhältnis zu den erfolgten Investitionen und den Bedürfnissen der Universität unter Beweis zu stellen. Diese Rechenschaft und wertsteigernde Leistung wird durch die College- und Universitätsbibliotheken zu diesem Zeitpunkt nicht vollständig bewertet. Zusätzlich müssen die Bibliotheken erfindungsreicher, agiler, auf Bedürfnisse stärker eingehend und effektiver sein, um die Aufmerksamkeit der Fakultätsmitglieder, der Studenten und der Verwaltung zu behalten und um auf die beispiellosen Veränderungen der Umwelt in Folge der technologischen Revolution zu reagieren. Das Angebot neuer und auf die Bedürfnisse der Nutzer eingehender Dienstleistungen und Produkte ist die zentrale Frage der Rechenschaftslegung. Die Notwendigkeit, sowohl agil als auch innovativ zu sein, ist das Resultat der akuten Aufmerksamkeit, die auf Ausgaben und Leistung und deren Verhältnis zueinander gerichtet wird. Forschungsbibliotheken sind dieser Aufmerksamkeit nicht entgangen und als eine der Einheiten mit den größten Budgets auf dem Campus müssen sie immer klarer und deutlicher mitteilen, wie und wann sie im Bezug auf die Gesamtleistung der Einrichtung wertsteigernd wirken.
Die dreijährige Studie ist eine von mehreren Initiativen im Rahmen des "Neue Maßstäbe-Programms" des ARL. Die Studie will auf die Forderungen nach Rechenschaftslegung antworten, indem es die Mitgliedsbibliotheken in die Lage versetzt, die Effektivität der Bibliotheksdienstleistungen anhand der Wahrnehmung des Angebots an Servicequalität durch die Nutzer zu messen. Es ist eine praktische Reforminitiative, die sich breiter Akzeptanz und Unterstützung durch die Mitglieder erfreut, unter denen der Ruf nach neuen Maßstäben allumfassend ist (ARL l999). Das Bewertungsinstrumentarium basiert auf der Lücken-Theorie der Dienstleistungsqualität, die in den 80er Jahren des 20. Jahrhunderts für den kommerziellen Bereich von einer Marktforschungsgruppe entwickelt und von Parasuraman, Zeithaml und Berry beschrieben wurde (1985). Ihre bahnbrechenden Forschungen führten zur Entwicklung des SERVQUAL-Instrumentariums, das sich zum Ziel setzt, die Servicequalität über fünf Dimensionen hinweg zu messen: Verläßlichkeit, Sicherheit, Realia, Einfühlungsvermögen und Eingehen auf (Nutzer-) Bedürfnisse.
Die vom ARL unterstützte Studie leistet mehrere Beiträge. Am Ende des dreijährigen Projekts soll das ARL-Modell
- die Verwaltung des Instrumentariums zur Messung der Dienstleistungsqualität
auf der lokalen Ebene transparent machen
- normative Daten erkennen lassen, die es den Institutionen ermöglichen,
Verhaltensrichtlinien zu entwickeln und
- es ermöglichen, gleichzeitig nationale Trends zu identifizieren und Situationen
von Bedeutung für die örtliche Institution zu verdeutlichen.
Aufgrund der Transparenz und der leichten Handhabbarkeit - es wird kein lokales Fachwissen benötigt - könnte die potentielle Basis von bibliothekarischen Nutzern erweitert werden, zusätzliche qualitative Forschungen und die Adaption des Instrumentariums an unterschiedliche Bibliotheksumgebungen vorausgesetzt.
Design
Das ARL-Projekt übernimmt die Messung der Dienstleistungsqualität in Forschungsbibliotheken anhand eines nationalen Maßstabs unter Nutzung eines vermehrten SERVQUAL-Instrumentariums. Dies ist der erste Versuch des ARL, Daten zu erfassen und zu kollationieren, die aus einer Nutzerbefragung im World Wide Web stammen. Zum ersten Mal wird die Messung von Resultaten aus dem Erziehungsbereich aus der Nutzerperspektive publik gemacht. Die große nationale Investition in die Forschungsbibliotheken wird im Kontext von Wahrnehmungen der Servicequalität durch die Nutzer evaluiert.
Das Projekt beabsichtigt, vier fundamentale Beiträge zur Messung einer effektiven Ausführung von Bibliotheksdienstleistungen zu bieten:
- In erster Linie verlagert es das Schwergewicht fort von einem mechanischen
ausgabenbasierten Maßstab hin zu nutzerorientierten Qualitätsmessungen.
- Zweitens wird es versuchen, das SERVQUAL-Protokoll, das für den privaten
Sektor entwickelt wurde, den Bedürfnissen von Forschungsbibliotheken
anzupassen.
- Drittens wird es analysieren, in welchem Maße die Informationen, die anhand
lokaler Daten gewonnen wurden, für eine größere Gruppe verallgemeinert
werden können, wodurch wiederum dringend benötigte Verhaltensrichtlinien
abgeleitet werden könnten.
- Und schließlich wird es die Effizienz einer großflächigen Organisation von
nutzerorientierten Befragungen im World Wide Web demonstrieren, die in einer
Weise erfolgen, die auch für die lokale Institution ausgesprochen transparent
sind.
Das ARL-Projekt hat seine Ursprünge in den Erfahrungen, die in den Texas A & M Universitätsbibliotheken über sechs Jahre hinweg bei der Adaption des SERVQUAL-Instrumentariums an die Verhältnisse von Forschungsbibliotheken gewonnen wurden. Bei der Anwendung von SERVQUAL als einem Bewertungsinstrumentarium für die Leistung der Bibliothek in den Jahren 1995, 1997 und 1999, haben die Erfahrungen von Texas A & M bewiesen, daß die Dimensionen, die vom SERVQUAL Standardinstrumentarium evaluiert werden, für die Nutzung im Kontext einer Forschungsbibliothek angepaßt werden müssen (Cook, Thompson, 2000a). In Übereinstimmung mit Ergebnissen, die an anderer Stelle in der Literatur gefunden wurden, wurde an der Texas A & M herausgefunden, daß nur drei Dimensionen von Bibliotheksdienstleistungen von SERVQUAL isoliert werden:
- Realia, d.i. das Erscheinungsbild physischer Einrichtungen, Ausstattung,
Personal und Kommunikationsmaterialien;
- Verläßlichkeit, d.i. die Fähigkeit zur Ausführung der versprochenen
Dienstleistung in verläßlicher und akkurater Weise und
- Wirkung der Bibliotheksdienstleistung, was die subjektiveren Aspekte der
Bibliotheksdienstleistung umfaßt, wie etwas das Eingehen auf die (Nutzer-)
Bedürfnisse, Sicherheit und Einfühlungsvermögen (Cook, Coleman, Heath 2000).
Das Projekt paßt das SERVQUAL-Instrumentarium auf den drei Ebenen an, die an der Texas A & M identifiziert wurden. Es wird auch zwei zusätzliche Dimensionen testen, deren Vorhandensein sich während einer umfangreichen Reihe von Interviews herausstellte, die mit Fakultätsmitgliedern, graduierten und nichtgraduierten Studenten an den an der Pilotstudie teilnehmenden Universitäten geführt wurden: erstens der Zugang zu Bibliotheksbeständen und Informationsressourcen als eine - die Dimension der Realia übersteigende - Frage des Eingehens auf die Nutzerbedürfnisse und zweitens das Angebot eines Umfeldes für Studium, Teamarbeit und Reflektion (Heath, Cook 2000).
Eine der zentralen Fragen im Umfeld der Nutzung des SERVQUAL-Protokolls ist, ob es für eine multifunktionelle Analyse sowie für Vergleiche über Zeitspannen hinweg anwendbar ist sowie ob es einen strategischen und diagnostischen Nutzwert hat. Es bestehen kaum Zweifel darüber, daß SERVQUAL ein nützliches Instrumentarium für Managemententscheidungen auf lokaler Ebene darstellt. Die Untersuchungen an der Texas A & M (Cook, Thompson, 2000a) und in Maryland (Nitecki 1006) wie auch andere stellen diese Nützlichkeit unter Beweis. Weitere Untersuchungen wie auch möglicherweise weitere Anpassungen werden jedoch notwendig sein, bevor Aussagen darüber getroffen werden können, ob die Resultate über Institutionen hinweg verallgemeinert werden können. Falls die Gemeinschaft der Forschungsbibliotheken das Instrumentarium aber als einen Mechanismus für die Setzung normativer Messungen annehmen würde, könnten Institutionen erkannt und dann weiter untersucht werden, um Verhaltensrichtlinien zu erkennen, was zu guten Noten für Zufriedenheit der Nutzer mit den Dienstleistungen führen würde.
Das Gesamtkonzept des Projekts wird im nächsten Abschnitt näher beschrieben. Zwölf ARL-Mitgliedsbibliotheken wurden ausgewählt, um einer Auswahl ihrer Nutzer eine gemeinsame, modifizierte Version des SERVQUAL-Instrumentariums anzubieten. Die zwölf umfassen: die Universität von Arizona, die Universität von Connecticut, the Universität von Kalifornien in Santa Barbara, die Universität von Houston, die Universität von Kansas, die Staatsuniversität von Michigan, die Universität von Minnesota, die Universität von Pennsylvania, die Universität Pittsburgh, die Technische Universität von Virginia und die Universität Washington. Eine größere Gruppe wurde ausgewählt, um das Projekt in das Jahr Zwei (2001), das letzte Jahr der von Texas A & M geführten Studie fortzuführen. In Einklang mit dem Konzept der Transparenz wird die Arbeit der lokalen Einrichtung beschränkt auf die Entwicklung der Auswahl an Befragten und der Unterstützung des Design-Teams bei der Gestaltung des angepaßten web-basierten Befragungsinstrumentariums. Die Leichtigkeit der lokalen Verwaltung ist ein Schlüsselkonzept bei der Einführung neuer Maßstäbe für Beurteilung und Rechenschaftslegung.
Das Design der Untersuchung basiert auf den Erfordernissen der Forschungsbibliotheken. Es gibt drei Aspekte der Möglichkeit zur Nachbildung, die die Stärke und den Wert der ARL-Studie unterstreichen.
- Vor allem ist die Befragung web-basiert und die Verwaltung für den örtlichen
Campus transparent,
- Zweitens, obwohl das ARL-Pilotprojekt eine adaptierte Version des
SERVQUAL- Instrumentariums verwendet, kann das Hardwaresystem, das vom
Texas A & M Designteam für die Verwaltung der Befragung wie auch die
Software, die für die Datensammlung und -kollationierung entwickelt wurde, mit
jedem Instrumentarium arbeiten, ein wichtiger Schritt zur Ermöglichung von
Theoriebildung auf dem Gebiet neuer Maß- und Bewertungssysteme.
- Und schließlich, während sich die ursprünglich in Entwicklung befindliche
Theorie insbesondere auf die Bedürfnisse und Erfordernisse von
Forschungsbibliotheken konzentriert, könnten die Werkzeuge adaptiert und bei
anderen Bibliothekstypen getestet werden. Phase Zwei wird Bibliotheken von
außerhalb der ARL-Gemeinschaft umfassen, damit auch diese Fragen untersucht
werden können.
Das Forschungsdesign, das die Implementierung von grundlegenden Reformideen unterstützt, kann von allen Bibliotheken angewandt werden. Die robuste Evaluierung der während der Pilotphase gesammelten und ausgewerteten Daten wird dazu beitragen, das Verständnis dessen zu erweitern, wie effektiv die neuen Maßstäbe bei der Umsetzung der Forderungen nach Überprüfbarkeit sind. Die weitreichenden Pläne für die Verbreitung der Ergebnisse, einschließlich bedeutender internationaler Konferenzen und einer theoriebildenden Monographie, werden dazu beitragen, das während des Projekts Gelernte innerhalb der universitären Gemeinschaft miteinander zu teilen.
Bedeutung des Projektdesigns
Für jeden Bereich der höheren Bildung gilt, daß es wenige web-basierte Paradigmen gibt. Die Initiative befindet sich in der einzigartigen Position, ein pragmatisches, anwendungsorientiertes Projekt zu sein, das gleichzeitig auf dem Gebiet der Theoriebildung führend ist. Nichts von vergleichbarer Grösse wurde bisher mit dem SERVQUAL-Instrumentarium im öffentlichen Bereich unternommen. Das ARL- Projekt gewinnt seinen anfänglichen Impetus aus den Erfahrungen, die an der Texas A & M Universität bei der über sechs Jahre dauernden Anpassung des SERVQUAL Instrumentariums an die Umgebung von Forschungsbibliotheken gewonnen wurden. Eine Serie von etwa 40 Fragen werden zu den fünf Dimensionen gestellt, die die Befragung bewerten soll. Für jede Frage gilt, daß der Befragte nach seinen Eindrücken zur tatsächlichen Ausführung von Bibliotheksdienstleistungen befragt wird und zwar entsprechend 1. eines minimalen Serviceniveaus, 2. eines gewünschten Serviceniveaus und 3. der im Verhältnis zu beiden tatsächlich wahrgenommenen Leistung. Bei jeder Frage wird die Lücke zwischen den minimalen Erwartungen und den wahrgenommenen Leistungen sowie zwischen den gewünschten Erwartungen und wiederum den wahrgenommenen Leistungen kalkuliert. Die Toleranzzone bildet der Bereich zwischen den minimalen und den erwünschten Serviceniveaus. Im optimalen Fall sollen die Einschätzungen der Leistung bequem in diese Zone fallen. Wonach die Verwaltungen Ausschau halten sollten, sind Ergebnisse, die in den Bereich außerhalb dieser Zone fallen sowie über eine Zeitspanne gesehen fallende Bahnen, die - obwohl sie noch im Toleranzbereich liegen - trotzdem Anlaß zur Sorge sind. Das Texas A & M Designteam hat die Hardware erworben, einen Web-Fragebogen für die Sammlung der Daten entworfen und die Software für die Kollationierung der Resultate entwickelt (Cook, Heath, 1999). Die folgenden Absätze schildern die Entwicklung des Projekts während seiner dreijährigen Lebensspanne.
Auswahl der Teilnehmer und Adaption des SERVQUAL-Instrumentariums
Die 12 Teilnehmer des Projekts wurden zu einem späten Zeitpunkt im Jahre 1999 ausgewählt und Ansprechpartner für die Zusammenarbeit mit dem Texas A & M Designteam ernannt. Im Dezember 1999 trafen sich die Ansprechpartner und die meisten Direktoren der 12 Schulen mit dem Texas A & M Designteam auf der Versammlung der amerikanischen Bibliotheksvereinigung (ALA) in San Antonio, um die Erfordernisse und Zeitpläne des Pilotprojekts zu diskutieren. Nach der ALA-Versammlung wurden die meisten teilnehmenden Bibliotheken zum Zweck der Theoriebildung besucht, wobei das SERVQUAL-Instrumentarium durch eine Serie von Interviews mit Fakultätsmitgliedern, graduierten und nichtgraduierten Studenten qualitativ angepaßt wurde. Zwischen 60 und 80 Interviews wurden auf dem jeweiligen Campus der Heimatinstitutionen durchgeführt, um die Fragen im SERVQUAL-Instrumentarium zu präzisieren und bei der Identifizierung möglicher zusätzlicher Dimensionen zu helfen. Die Interviews mit den Fakultätsmitgliedern und Studenten wurden aufgezeichnet und danach einer Inhaltsanalyse unterworfen. Die abschließende Version des SERVQUAL-Fragebogens wurde im März 2000 ins Web gestellt. Die York Universität in Canada war der erste Site, der antwortete.
Beschaffung der Hardware und Software-Entwicklung des Web-Instrumentariums
Die Texas A & M Universität erwarb und installierte einen Dell PowerEdge 4300 Server und zwei Dell PowerEdge 2400 Server für die Administration des Projekts. Die zwei 2400 Server sammelten die Daten von 20.000 potentiellen zu befragenden Personen aus den 12 teilnehmenden Einrichtungen. Auf dem 4300 Server lag die Microsoft SQL Database Software auf, die die Resultatesets erfaßt und zur Analyse in SPSS überführt. Mitglieder des Designteams aus dem "Cognition and Instructional Technologies Laboratory" (CITL) an der Texas A & M konfigurierten die Server und arbeiteten mit den Ansprechpartnern in den teilnehmenden Einrichtungen bei der Erstellung von deren Webseiten und der Entwicklung ihrer Proben zusammen. Das Web-Instrumentarium wurde in Zusammenarbeit mit der medizinischen Bibliothek an der Texas A & M Universität im Februar 2000 beta-getestet. Die York-Version wurde am 15. März ins Web geladen. Auf der Grundlage von Erfahrungen dort wurde das Instrumentarium für die Verwaltung im April geringfügig revidiert.
Datenanalyse und Theorietest
Im Mai und Juni 2000 werden die Daten gesammelt und kollationiert. Im Juli erhält jede der Pilotbibliotheken die einfachen Ergebnisse zu jeder der Fragen sowie zu jeder der Dimensionen, die das Instrumentarium erfolgreich definiert. Jeder Teilnehmer erhält auch die gesammelten einfachen Ergebnisse zu jeder Frage und jeder Dimension sowie andere deskriptive Statistiken. Zusätzlich bekommt jede teilnehmende Bibliothek ihre SPSS-Datei für eine weiter in die Tiefe gehende Analyse. Zur Zeit findet eine Diskussion unter den Teilnehmern darüber statt, ob man die individuellen Ergebnisse der Bibliotheken untereinander austauschen soll. Die Entscheidung darüber wird im Frühjahr 2000 getroffen werden.
Während des Sommers 2000, wenn alle Daten gesammelt worden sind, werden die theoretischen Grundlagen des Instrumentariums rigorosen quantitativen Tests unterworfen werden. Diese Analysen werden auf der Prämisse beruhen, daß die Resultate und nicht die Tests verläßlich und gültig sind (vgl. Thompson & Vacha-Haase, 2000; Wilkinson & The APA Task Force on Statistical Inference, 1999). Es kann daher nicht angenommen werden, daß nur deshalb, weil SERVQUAL gut in kommerziellen Kontexten funktioniert, Ergebnisse desselben Protokolls auch eine ausreichende psychometrische Integrität haben, wenn es in Zusammenhang mit Bibliotheken benutzt wird.
Zuerst wird die Verläßlichkeit der Kollationierungen evaluiert werden. Diese Analysen werden "korrigierte" Faktorenunterscheidungskoeffizienten und "alpha-falls-gestrichen-Statistiken" wie auch Gesamtergebnis-Alphakoeffizienten untersuchen. An zweiter Stelle werden sich die primären Faktoren für die Evaluierung der Gültigkeit auf die Faktorenanalyse berufen. Wie Nunnally (1978) bemerkt hat: "die Faktorenanalyse steht in einem engen Zusammenhang mit Fragen der Gültigkeit .... Faktorenanalyse ist ein Herzstück der Messung von psychologischen Konstrukten" (S. 112-113).
Im akademischen Jahr 2000-2001 wird das Instrumentarium weiter verfeinert werden. Aus der Gruppe der in der ersten Phase Befragten könnten einige für eine Langzeit-Folgestudie ermittelt werden. Auf diese Weise wird es möglich sein, die Ergebnisse qualitativ dadurch zu testen, daß man sich an einige der Befragten in Online- Focusgruppen wendet. Eine Reihe von Bibliotheken hat bereits ihr Interesse an der Teilnahme am zweiten Pilotprojekt im Frühjahr 2001 zum Ausdruck gebracht.
Im dritten Jahr wird die Entwicklung eines ausgereiften Instrumentariums abgeschlossen sein und seine Verlagerung aus der Zuständigkeit der Texas A & M Universität zur operationellen Verwaltung durch die Gesellschaft der Forschungsbibliotheken erfolgen. Ausstattung und Software, vergleichbar zu der, die durch Texas A & M erworben, konfiguriert und entwickelt wurde, wird vom ARL für die weitergehende Verwaltung beschafft werden.
Die Stärke des Projekts ist die Strenge seines Designs und die Robustheit der statistischen Analyse, der die Resultate unterworfen werden. Strenge Beobachtung der Ergebnisse durch Fachkollegen wird durch die weite Verbreitung der Resultate garantiert. Das Modell erkennt den Vorrang lokaler Erkenntnisse an und erlaubt es, Verhaltensrichtlinien aufzustellen, die für mehrere Institutionen Gültigkeit haben. Die im Laufe von sechs Jahren durch die Hauptbibliotheken der Texas A & M Universität gesammelten und analysierten Daten werden mit einer Unternehmung auf nationaler Ebene verglichen, das auch andere verwandte Forschung berücksichtigt. Die Erfahrung wird einen Technologie-Transfer zu Bibliotheken im allgemeinen wie auch zu einem breiten Kreis von verwandten Anwendungen innerhalb des ARL ermöglichen. Über die Ergebnisse des ersten Jahres wird auf der Internationalen Konferenz des ARL über die Kultur der Bewertung in Washington, D.C., im Oktober 2000 berichtet werden. Nach Abschluß der Tests und der Bewertung werden die Mitarbeiter eine Monographie herausbringen, in der die institutionenübergreifenden Daten zu jeder Servicedimension bewertet werden. Die vom ARL gesponserte Monographie wird die Informationen über Aspekte von qualitativen Bibliotheksdienstleistungen umfassen, die aus den Interviews an den 12 teilnehmenden Universitäten abgeleitet wurden. Sie wird auch auf die praktischen Aspekte der Implementierung und Administration einer großflächigen Untersuchung im Web abheben. SERVQUAL wird im Hinblick auf seinen Nutzen als Richtlinien bestimmendes Instrumentarium für Forschungsbibliotheken evaluiert. Zeitgleich mit dem Abschluß der Monographie werden die Ergebnisse des ersten Pilotprojekts auf der vierten Internationalen Northumbria Konferenz über Leistungsmessung in Bibliotheken und bei Informationsdienstleistern im Jahre 2001 der Öffentlichkeit zugänglich gemacht.
Der Projektplan sieht die Migration der operationellen Aufsicht über das Instrumentarium zum ARL bis zum Jahr 2002 vor, wobei das Instrumentarium für eine weitverteilte Verwendung zugänglich sein soll. Die Vorteile eines Bewertungsinstrumentariums, das theoretisch gut fundiert ist und nach strengen Maßstäben verwaltet wird, verspricht endlich eine Antwort auf die Rufe nach größerer Rechenschaft und besserem Eingehen auf Nutzerbedürfnisse in College- und Universitätsbibliotheken.
Referenzen
ARL Membership Criteria Index, 1998-99 (2000). Memorandum to Directors of ARL Libraries from Martha Kyrillidou, Senior Program Officer for Statistics and Measurement and Julia Blixrud, Director of Information Services, Association of Research Libraries, March 8, 2000.
Blixrud, J. (1999) 'The continuing quest for new measures' ARL Newsletter: A Bimonthly Report on Research Library Issues and Actions from ARL, CNI, and SPARC 207 (December), ll.
Cook, C., Coleman, V., and Heath, F. (2000) "SERVQUAL: a client-based approach to developing performance indicators" in Department of Information and Library Management Proceedings of the 3rd Northumbria International Conference on Performance Measurement in Libraries and Information Services 27-31 August 1999.
Newcastle upon Tyne : Information North 211-218.
Cook, C. and Heath, F. (1999) 'SERVQUAL and the quest for new measures' ARL Newsletter: A Bimonthly Report on Research Library Issues and Actions from ARL, CNI, and SPARC 207 (December), 12-13.
Cook, C. and Thompson, B. (2000a) 'Reliability and validity of SERVQUAL scores used to evaluate perceptions of library service quality.' Journal of Academic Librarianship (im Druck)
Cook, C. and Thompson, B. (2000b) "Higher order factor analytic perspectives on users' perceptions of library service quality.' (Manuskript zur Publikation eingereicht)
Heath, F. and Cook, C. (2000) 'User perceptions of service quality in research libraries: a qualitative assessment' (Manuskript in Vorbereitung)
Nitecki, D.A. (1996) 'An assessment of the applicability of SERVQUAL dimensions as customer-based criteria for evaluating quality of services in an academic library' (Doctoral dissertation, University of Maryland, 1995). Dissertation Abstracts International 56, 2918A (University Microfilms No. 95-39, 711).
Nunnally, J.C. (1978). Psychometric theory (2nd ed.). New York : McGraw-Hill
Parasuraman, A; Zeithaml, V.A.: and Berry, L.L. (1985) 'A conceptual model of service quality and its implications for future research' Journal of Marketing 70(3) Fall. 201-230.
Thompson, B., & Vacha-Haase, T. (2000). Psychometrics is datametrics: The test is not reliable. Educational and Psychological Measurement, 60, 174-195.
Wilkinson, L., & The APA Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594/604. (reprint erhältlich über die APA Home Page>
http://www.apa.org/journals/amp/amp548594.html)
|
