IFLA

As of 22 April 2009 this website is 'frozen' in time — see the current IFLA websites

This old website and all of its content will stay on as archive – http://archive.ifla.org

IFLANET home - International Federation of Library 
Associations and InstitutionsAnnual 
ConferenceSearchContacts

64th IFLA Conference Logo

   64th IFLA General Conference
   August 16 - August 21, 1998

 


Code Number: 027-137-G
Division Number: III
Professional Group: Public Libraries
Joint Meeting with: -
Meeting Number: 137.
Simultaneous Interpretation:   Yes   /   No

Leistungsmessung und Evaluation von öffentlichen Bibliotheken

Beverly P. Lynch
University of California, Los Angeles
USA


Zusammenfassung:

Vier Methoden eignen sich besonders für die Evaluation von öffentlichen Bibliotheken. Diese sind: die zielorientierte Methode, die Management-orientierte Methode, die fachlich orientierte Methode und die natürliche und Teilnehmer-orientierte Methode. Mit dem Nachlassen des Interesses an Standards für Bibliotheken (die fachlich orientierte Methode) rückte die zielorientierte Methode in den Vordergrund, mit einem Schwerpunkt auf Leistungsmessung. Die zielorientierte Methode erlaubt jedoch weder den Vergleich zwischen Institutionen noch eine Bewertung der Qualität. Diese Probleme sind immer noch aktuell, und der Berufsstand muß die Verantwortung für die Entwicklung von Bewertungskriterien übernehmen und Wege finden, Bibliotheken bei der Anwendung der Kriterien für die Evaluation und Entscheidungsfindung zu unterstützen.


Paper:

Bewertungen von Bibliotheken sind unvermeidbar und allgegenwärtig. Alle Aspekte der Bibliotheksentwicklung werden von den Ergebnissen von Bewertungen beeinflußt. Um erfolgreiche Bewertungen auszuarbeiten, ist es unerläßlich, daß die angestrebten Ziele bekannt sind. Daneben müssen die Kriterien der Bewertung spezifiziert werden und die Implikationen der Werte deutlich sein. Ich bin davon überzeugt, daß bei Bewertungen von Bibliotheken die wesentlichen Bewertungskriterien von Bibliothekaren entwickelt werden müssen und daß Standards für Bibliotheken, die vom Berufsstand entwickelt und akzeptiert wurden, die grundlegenden Maßstäbe für die Bewertung sein sollten.

Natürlich können genaue Bewertungen von Bibliotheken und Bibliotheksdienstleistungen niemals die alleinige Basis für die Entscheidungsfindung sein. In vielen Fällen spielt die Politik eine Rolle, und ein sehr subjektives Element tritt hinzu. Es ist aber die Bewertung, die auf zuverlässigen Kriterien basiert und systematisch durchgeführt wird, die die Politik abmildern kann.

Einige Fragen sind bei der Bewertung von Bibliotheken aufgetaucht, die die wesentlichen Bestandteile von Bibliotheksstandards bilden:

Alle existierenden Standards für Bibliotheken basieren auf Versuchen, zu bestimmen, warum eine Bibliothek effektiver ist als eine andere, und zu entscheiden, worin Qualität und Erfolg in den Bibliotheken bestehen. Die Entwicklung von Standards erwuchs aus dem Interesse an der Bewertung von Bibliotheken.

Eine Bewertung setzt normalerweise voraus, sich über den Zweck der Bewertung klar zu werden. Sie macht das Sammeln und die Analyse von Daten und die Schaffung von Werten und Beurteilungen erforderlich. Die Datensammlung ist das Zusammentragen von spezifischen Informationen, die sich auf ein Problem beziehen. Die Daten werden gesammelt, um spezifische Anliegen oder spezifische Probleme zu behandeln. So benötigen Bibliothekare z.B. Informationen, die ihnen erlauben, ein spezifisches Bibliotheksprogramm zu verbessern. Oder es besteht ein Interesse daran, spezifische Ziele zu erreichen, und man braucht einen Bewertungsplan, um dies zu tun.

Standards werden vom bibliothekarischen Berufsstand entwickelt, um bei der Bewertung von Bibliotheksprogrammen zu helfen. Die Qualität eines Bibliotheksprogramms wird von Experten beurteilt, die professionell entwickelte Standards und ihre eigenen Fachkenntnisse bei der Entscheidungsfindung benutzen.

Alternative Methoden der Evaluation

Es gibt alternative Ansichten der Evaluation, und diese Ansichten haben Bibliothekare beeinflußt, die über Bibliotheksbewertung, Standards und Leistungsmessung schreiben. Es ist wichtig für uns, die abweichenden Standpunkte zur Kenntnis zu nehmen und zu akzeptieren, daß nicht alle Bibliothekare sich über die Methode einig sind, die man bei der Bibliotheksbewertung anwenden soll. Vier Methoden eignen sich besonders gut für die Bewertung von Bibliotheken:

  1. Zielorientierte Methoden. Der Schwerpunkt dieser Methode liegt darauf, Ziele zu spezifizieren und das Ausmaß festzulegen, in dem sie erreicht werden müssen. Der Bewerter sammelt Daten über den Erfolg von Programmen und vergleicht die tatsächliche Leistung mit den Programmzielen. Die Arbeit an Leistungsmessung in Bibliotheken betont diese Methode. (1) Die meisten Arbeiten über Leistungsmessung in Bibliotheken hebt die Notwendigkeit hervor, Leistungsmessung im Kontext der strategischen Planung und der Funktion und der Zielvereinbarungen und -vorgaben der Bibliothek zu entwickeln.(2)

  2. Management-orientierte Methoden. Die Betonung liegt auf der Identifizierung und Erfüllung der Informationsbedürfnisse von Managern, die Entscheidungen treffen. Der Bewerter liefert dem Entscheidungsfinder Informationen und Alternativen. Die Methode der Bewertung wird normalerweise von externen Bewertern durchgeführt. Das Management läßt die Bewerter wissen, was sie untersuchen sollen und welche Arten von Ergebnissen erwartet werden könnten. Eine verwandte Methode, die bei der Bibliotheksbewertung an Beliebtheit gewinnt, ist die Verwendung von Richtwerten (Benchmarks), um Management-Entscheidungen zu lenken. In der Wirtschaftsliteratur und besonders in der Literatur zu TQM (total quality management) ist eine Benchmark ein Leistungsstandard, an dem andere vergleichbare Ergebnisse gemessen oder beurteilt werden. Eine Bibliothek, die eine bestimmte Dienstleistung oder einen Ablauf verbessern will, bestimmt eine andere Institution, die ihrer Meinung nach eine beispielhafte Dienstleistung oder einen Ablauf erbringt. Dann bewertet sie ihren eigenen im Vergleich mit dem beispielhaften und legt die Veränderungen fest, die notwendig sind, um ihren eigenen zu verbessern. Diese Verwendung von Benchmarks ist im wesentlichen komparative Evaluation.

  3. Fachlich orientierte Methoden. Die Betonung liegt auf der direkten Anwendung von professioneller Fachkenntnis zur Beurteilung von Qualität. Die Beurteilungen werden unter Verwendung von Standards und Praktiken, die vom Berufsstand akzeptiert werden, getroffen. Diese Methode war in der Vergangenheit wegweisend für die Entwicklung von Standards für öffentliche Bibliotheken und ist die Methode, die von den meisten Bundesstaaten in den USA verwendet wird. (3) In den 70er und 80er Jahren wurden Standards, die von den berufsständischen Organisationen entwickelt und übernommen wurden, oft aufgegeben. Die Einleitung der IFLA-Richtlinien für öffentliche Bibliotheken von 1986 legt dar, warum die IFLA diese Standards aufgab:

    Die meisten Standards für Bibliotheken legen Gewicht auf Ressourcen, die notwendig sind, um adäquate Bestände, Dienstleistungen, Personal und Ausstattung sicherzustellen. Die Standards entwickeln sich aus einem Konsens der Fachleute, die als Experten in der jeweiligen Bibliotheksdienstleistung angesehen werden. Die Bibliotheksstandards waren besonders für solchen Bibliotheken nützlich, die gerade im Aufbau waren oder die einige Zeit lang über unzureichende Mittel verfügten. Bibliotheken, die mehr als die festgelegten Standards leisteten, fühlten sich oft jedoch nicht gleich gut bedient. Sie fürchteten, daß ihre Ressourcen gerade aus dem Grund, daß sie mehr als die Standards leisteten, reduziert werden würden. Darüber hinaus gab es eine starke Tendenz dazu, daß die einzelne Bibliothek ihre eigenen Ziele und Vorgaben festlegt und entscheidet, was für Ressourcen notwendig sind, sie zu erreichen. Das heißt, daß die zielorientierte Methode der Bewertung die gängige Bewertungsmethode wurde und die fachlich orientierte Methode verdrängte.

  4. Natürliche und Teilnehmer-orientierte Methode. Die Betonung liegt auf der Beteiligung der Benutzer oder Kunden bei der Festlegung von Werten, Kriterien, Bedürfnissen und Daten. Der Bewerter arbeitet mit Kunden zusammen und schafft Kontakte und kommuniziert mit Kunden und ihren Interessen. Diese Methode liegt den aktuellen Forschungsaktivitäten bei der Bewertung von digitalen Bibliotheksprojekten zugrunde. (5) Sie wurde auch in der Literatur zur Leistungsmessung in Bibliotheken oft in den Vordergrund gerückt. (6) Wie Powell in seiner Übersicht über Studien zur Nutzung öffentlicher Bibliotheken und dem Gebrauch von Leistungsmessung feststellte, „... tendierte die Bewegung im Bibliothekswesen dazu, Bibliothekseffektivität aus der Perspektive des Benutzers zu beurteilen". (7)

Die unterschiedlichen Methoden lassen uns erkennen, daß Werte und Beurteilungen bei der Bibliotheksbewertung eine wichtige Rolle spielen.

Aktuelle Richtungen

In den 70er und 80er Jahren ging das Interesse an der Entwicklung von quantitativen Standards für Bibliotheken zurück. Man entwickelte Maßstäbe für den „Output" an Leistung. Da die Bibliothekskosten schneller stiegen als das Bibliothekseinkommen, suchten Bibliothekare nach sinnvollen und meßbaren Methoden, um zu zeigen, was ihre Bibliotheken leisteten. Die Entwicklung von Leistungsmessung beinhaltet nicht Indikatoren dafür, was als eine hervorragende Dienstleistung betrachtet wird. Die Methode ist vielmehr, daß eine einzelne Bibliothek ihre Dienstleistungen danach beurteilt, in welchem Verhältnis sie zu ihren eigenen Zielen und Vorgaben steht (vgl. oben Nr. 1).

Leistungs- oder Output-Messung entwickelte sich zuerst im öffentlichen Bibliothekswesen. In diesem Bereich wird nun anerkannt, daß Leistung, wenn sie zufriedenstellend sein soll, ein bestimmtes Niveau an Ressourcen voraussetzt. Wie King Research in Schlüssel zum Erfolg feststellte, „ist Leistung das Verhältnis zwischen Ressourcen, die in die Bibliothek gehen - der Input - und dem, was die Bibliothek mit Hilfe dieser Ressourcen erreicht - der Output oder Outcome" (8). Was sich herausstellt, ist das Bedürfnis nach Standards, die sich auf Ressourcen (oder den Input) beziehen, die ein angemessenes Niveau an Leistung (oder Output) ermöglichen, und es gibt ein zunehmendes Interesse an der Entwicklung professioneller Standards, an denen eine bestimmte Bibliothek gemessen werden kann. Daneben entwickelt sich ein Interesse an vergleichender Beurteilung und Bewertung.

Eine Methode der vergleichenden Bewertung ist es, eine Gruppe von Institutionen auszuwählen, mit denen man verglichen werden möchte, und diese Gruppe als Bezugspunkt bei Vergleichen von verschiedenen Aspekten der Bibliotheksleistung heranzuziehen. Die ARL (Association of Research Libraries) experimentiert mit dieser Methode. Bei der Entwicklung der grundlegenden Gruppe von Bezugsgrößen, hebt ARL drei Problembereiche hervor, die bei der Beurteilung der Zuverlässigkeit und Gültigkeit der Daten berücksichtigt werden müssen:

  1. Einheitlichkeit (Konsistenz), d.h. die Art, wie Daten in den einzelnen Institutionen und im zeitlichen Verlauf gesammelt werden. Hier gibt es Schwierigkeiten bei der Definition;
  2. Einfachheit versus Nutzen, d.h. worüber leicht Daten zu sammeln sind, ist vielleicht nicht die Größe, deren Messung am wünschenswertesten ist;
  3. Werte und Bedeutung; sie haben vielleicht nur im Rahmen einer örtlichen Situation Bedeutung.

Die ARL hat über viele Jahre hinweg statistische Daten ihrer Mitglieder gesammelt. So ist die ARL in einer guten Ausgangsposition, statistische Messungen vorzunehmen, die dazu beitragen werden, die Qualität und Kosten von Bibliotheksdienstleistungen zu messen und Vergleiche zwischen den Institutionen zu ermöglichen.

Bei der Entwicklung jeder Äußerung zu quantitativen Standards und besonders bei der Entwicklung aller internationalen Standards bezieht sich eine wichtige Überlegung auf die Notwendigkeit von einheitlichen Vorgehensweisen bei der Sammlung von statistischen Daten und der Entwicklung von Standarddefinitionen. Die Standardisierung von Statistiken ist unerläßlich, wenn genaue Vergleiche durchgeführt werden sollen. John Sumsion hat internationale Vergleiche von öffentlichen Bibliotheken durchgeführt, indem er die veröffentlichten Statistiken einzelner Bibliotheksleitungen in 25 Ländern herangezogen hat. (9) Auch wenn es nicht seine Absicht war, Vergleiche durchzuführen, so sind solche Vergleiche doch unvermeidbar. Seine Vergleichsstatistiken finden sich in Anhang A.

Wie Sumsion sagt, können die Daten aufgrund der unterschiedlichen Sammelmethoden, Definitionen und Problemen mit unvollständigen Datenbereichen nicht als exakt angesehen werden. Man sollte festhalten, daß Daten aus verschiedenen Jahren verwendet wurden. Die Ausgaben wurden durchwegs in Britische Pfund umgerechnet, wobei der durchschnittliche Wechselkurs im Jahr, aus dem die Statistik stammt, zugrunde gelegt wurde. Die untersuchten Jahre sind 1992-1994. In den Tabellen bezeichnen „Ausleihen pro Kopf" (loans per capita data) häufig Ausleihen aus dem gesamten Bestand, nicht nur dem Buchbestand. Sumsions Arbeit bietet eine Richtlinie für die Entwicklung von internationalen Vergleichsstatistiken. Auch die ISO-Norm 2789, die 1998 zur Revision vorliegt, stellt eine Richtlinie dar. Die Standardisierung von Statistiken ist unerläßlich, wenn genaue Vergleiche durchgeführt werden sollen und wenn internationale Standards oder Benchmarks für Bibliotheken entwickelt werden.

Schlußbemerkung

Standards für Bibliotheken, die von ausgebildeten Bibliothekaren und Bibliotheksverbänden in Ländern auf der ganzen Erde entwickelt und anerkannt wurden, haben die Arten von Ressourcen definiert, die für die Entwicklung von Bibliotheksdienstleistungen notwendig sind. (10) Als Bibliothekare die festgelegten Mindestanforderungen erfüllten und als Bibliothekare in vielen Ländern sich gegen von außer auferlegte Standards zu wehren begannen, wurden Standards von lokal festgesetzten Aufgaben, Zielen und Vorgaben abgelöst, und Kriterien für Leistungsmessung wurden entwickelt. Auch wenn in den vergangenen 25 Jahren viel Arbeit auf dem Gebiet der Leistungsmessung durchgeführt wurde, so haben diese Maßnahmen doch Bibliothekaren nicht dabei geholfen, Qualitätsmaßnahmen zu definieren oder die Arten von Ressourcen festzulegen, die heute von Bibliotheken gebraucht werden.

Bewertungen von Bibliotheken und Bibliotheksdienstleistungen führen unvermeidlich zu Vergleichen, und oben wurden mehrere Methoden untersucht. Kriterien für Effektivität sind illusorisch geblieben. Es hat Versuche gegeben, die Kundenzufriedenheit als ein Kriterium für Effektivität zu verwenden. Auch hier gibt es Schwierigkeiten, denn die Kunden wissen oft nicht, ob sie gut bedient wurden. Untersuchungen von Zufriedenheit zeigen, daß der Kunde einen hohen Grad an Zufriedenheit zeigte, wenn er höflich und freundlich behandelt wurde. Es gibt keine größeren Untersuchungen, die die Zufriedenheit in zeitlichem Abstand zum Bibliotheksbesuch messen.

Die Forderung nach größerer Rechenschaft wird in den meisten Organisationen und Institutionen lauter. Daher werden die Bemühungen, die Leistung von Bibliotheken zu messen und zu bewerten, weitergehen. Es ist klar, daß Bibliotheken weiterhin besser Methoden suchen werden, ihre Leistung zu bewerten und messen. Es ist dringend notwendig, daß der Berufsstand die Verantwortung für die Entwicklung dieser Kriterien übernimmt und Bibliotheken dabei unterstützt, die Kriterien auf Bewertung und Entscheidungsfindung anzuwenden.

Notes

  1. Measuring Quality; International Guidelines for Performance Measurement in Academic Libraries. (IFLA Publications 76). Munchen, K.G. Saur, 1996.

  2. De Prospo, Ernest R., et al. Performance Measures for Public Libraries. Chicago, American Library Association, 1973; Abbott, Christine. Performance Measurement in Library and Information Services. London, Aslib, 1994; Poll, Roswitha and P. te Boekhorst, Measuring Quality. Munchen, Saur 1996.

  3. Lynch, Beverly P., "Performance Measurement and Quality Management: The USA; a paper prepared for the International Conference on Performance Measurement and Quality Management in Public Libraries." Berlin, August 1997 (in press).

  4. IFLA Guidelines for Public Libraries. Munchen, Saur, 1986, p. 10.

  5. Van house. Nancy A. User Needs Assessment and Evaluation for the UC Berkeley Electronic Environmental Library Project: A Preliminary Report. Berkeley, CA, 1995.

  6. Powell, Ronald R. The Relationship of Library User Studies to Performance Measures: a Review of the Literature. Champaign, Ill, University of Illinois Graduate School of Library and Information Science, 1988.

  7. Powell, p. 88

  8. King Research Ltd. Keys to Success: Performance Indicators for Public Libraries; a Manual of Performance Measures and Indicators. London, HMSO, 1990, p. 2.

  9. Sumsion, John, "International Comparisons of Public Libraries," in Proceedings of the 2nd Northumbria International Conference on Performance Measurement in Libraries and Information Services. Newcastle upon Tyne, Depart. of Information and Library Management, University of Northumbria at Newcastle, 1998, pp.369-375; Hanratty, Catherine and John Sumsion. International Comparison of Public Library Statistics. Loughborough, Loughborough University, Department of Information and Library Studies, Library and Information Statistics Unit, 1996.

  10. Withers, F.N. Standards for Library Services: an International Survey. Paris, Unesco Press, 1974.