logo flag
TI-Score

Entwicklung der Kriterien im TI-Score

Die Erarbeitung der Kriterien zur Festlegung des TI-Scores erfolgte in einem mehrstufigen Verfahren, in welchem hilfreiche und hinderliche IT-Umsetzungen der Anwendungen identifiziert und statistisch auf ihren Einfluss auf die Bewertung der Alltagstauglichkeit geprüft werden. Die Kriterien werden aufgrund dieser Prüfung ausgewählt. Im Rahmen der Weiterentwicklungen der Anwendungen der TI werden die Kriterien entsprechend angepasst oder gestrichen sowie neue Kriterien identifiziert.
Die qualitative Erhebung von Kriterien des TI-Scores für die Usability des Softwaremoduls zum E-Rezept in Apothekenverwaltungssystemen erfolgte durch Fachverantwortlichen der gematik in Zusammenarbeit mit Apothekenverbänden und Herstellern von Apothekenverwaltungssystemen. Kriterien, die eine Umsetzung des E-Rezepts qualitativ richtig und praxistauglich ermöglichen, wurden erhoben und für den TI-Score ausformuliert.

Evaluation der Kriterien

Um die Eignung der qualitativ definierten Kriterien für den TI-Score zu evaluieren, wurden diese anhand einer quantitativen Stichprobe überprüft. Dafür führte die gematik im Zeitraum vom 26. August 2024 bis 09. September 2024 eine Online-Befragung von Apotheken zu deren Nutzungserfahrungen mit dem E-Rezept durch. Die Stichprobe umfasst insgesamt 350 Personen, die bereits Erfahrung mit dem E-Rezept hatten.
Die Kriterien des TI-Scores wurden durch das IGES Institut in den Befragungsdaten dahingehend statistisch analysiert, inwiefern sie sich auf die Bewertung der Alltagstauglichkeit des E-Rezepts bei den befragten Apotheken auswirken.
Bei dieser Analyse wurde zunächst festgestellt, dass ein Großteil der abgefragten Kriterien einen statistisch signifikanten Zusammenhang mit der eingeschätzten Alltagstauglichkeit haben. Kriterien, bei denen dieser Zusammenhang nicht festgestellt werden konnte, wurden nicht bei der Auswahl der Kriterien für den TI-Score berücksichtigt.
Eine multivariaten Regressionsanalyse der Kriterien zur Voraussage der Alltagstauglichkeit zeigte zudem, dass vier Kriterien als besonders relevant eingeschätzt werden können, ob ein System als alltagstauglich eingestuft wird:

  1. „Der durchschnittliche Abruf eines E-Rezepts bis zur Anzeige des Rezepts nach dem Einscannen dauert maximal 3 Sekunden.“
  2. „Das System unterstützt Stapelsignaturen.“
  3. „Den Nutzern wird die Gültigkeit von E-Rezepten angezeigt. (z.B. Hinweis auf 'Erstattungsfähigkeit zulasten der GKV abgelaufen, aber gültig als Privatrezept‘).“
  4. „Schulungsmaterial oder Schulungsangebote explizit zur Nutzung des E-Rezepts stehen Kunden zur Verfügung (kostenfrei/kostenpflichtig).“

Die Kriterien wurden von den Befragten als in Ihrem Primärsystem vorhanden oder nicht bewertet. Zudem gab es die Möglichkeit mit „Weiß nicht“ zu antworten. Um auch Befragte in die Analyse einzubeziehen, wurde hier davon ausgegangen, dass die mehrheitliche Einschätzung zu dem jeweiligen Primärsystems richtig ist und bei den „Weiß nicht“-Antworten ersetzt („imputiert“2).

Kriterien des TI-Scores für das E-Rezept

Die vier multivariat signifikanten Kriterien wurden unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Die weiteren 13 Kriterien stellen Usability-Kriterien dar, da das Fehlen dieser Funktionalitäten die Alltagstauglichkeit behindert.
Die Berechnung des Scores ergibt sich wie folgt:

  • Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.
  • Die unterste Klassifizierung E ist für Apothekenverwaltungssysteme vorgesehen, die weniger als drei Usability-Kriterien und weniger als zwei Alltagstauglichkeitskriterien erfüllen.
  • Werden drei oder mehr der 13 Usability-Kriterien sowie mindestens zwei der vier Alltagstauglichkeitskriterien erfüllt, erreicht ein Apothekenverwaltungssystem den TI-Score D.
  • Für eine Einstufung auf Score C müssen mindestens vier Usability-Kriterien und zusätzlich mindestens drei Alltagstauglichkeitskriterien erfüllt werden.
  • Für einen B Score müssen mindestens sechs Usability-Kriterien sowie mindestens drei Alltagstauglichkeitskriterien erfüllt sein.
  • Für die höchste Bewertung A muss das Apothekenverwaltungssystem die Erfüllung von mindestens neun Usability-Kriterien sowie von vier Alltagstauglichkeitskriterien aufweisen. Damit wird garantiert, dass diese hohe Bewertung nur Apothekenverwaltungssysteme einschließt, welche alle Kriterien erfüllen, die einen multivariat signifikanten Einfluss auf die Alltagstauglichkeit haben.

Die Angemessenheit der Berechnung des TI-Scores wurde in einem letzten Schritt anhand der bereits vorliegenden Angaben einzelner Hersteller zur Erfüllung der Kriterien überprüft. Im Ergebnis zeigt sich, wie bereits in der Bewertung der Nutzerinnen und Nutzer, dass sich die Apothekenverwaltungssysteme hinsichtlich der Erfüllung der Kriterien unterscheiden, so dass der TI-Score Unterschiede aufzeigen kann und dass es zudem Apothekenverwaltungssysteme gibt, die den A-Score erreichen und demnach keine Kriterien erfragt werden, die nicht umsetzbar sind.

Limitationen

Der TI-Score bewertet die Usability der Apothekenverwaltungssysteme aus Nutzersicht. Diese ist nicht mit einer Softwareergonomie-Prüfung gleichzusetzen, die unter Laborbedingungen Apothekenverwaltungssysteme auf dem Markt hinsichtlich definierter Usability-Kriterien unter experimentellen Bedingungen testet. Sie stellt vielmehr mithilfe qualitativer und quantitativer Befragungen nach sozialwissenschaftlichen Standards die Validität des Scores sicher. Die Kriterien erfüllen die Anforderung statistisch belastbarer Nutzerbewertungen. Die Kriterien müssen zudem von mindestens einem Teil der Apothekenverwaltungssysteme umgesetzt sein, also keine von den Herstellern nicht zu realisierenden Anforderungen enthalten.

Die Usability ist einem zeitlichen Wandel unterworfen, da sich die gesetzlichen Rahmenbedingungen zu der TI und ihren Anwendungen verändern, insbesondere auch zum E-Rezept. Z. B. kann die zukünftige Art und Weise der Einlösung des E-Rezept veränderte Anforderungen an die Funktionalitäten der Apothekenverwaltungssysteme stellen. Die gematik wird die Kriterien der TI-Scores daher in regelmäßigen Abständen bzw. bei relevanten Änderungen zur Anwendung E-Rezept in der Auswahl für die Usability relevanter Kriterien aktualisieren. Mit Updates entwickeln sich die Systeme ihrerseits weiter und sind dann in ihrer Bewertung im TI-Score zu aktualisieren. Dies kann kontinuierlich durch die Hersteller durch Meldung bei der gematik erfolgen.