logo flag
TI-Score

Entwicklung der Kriterien im TI-Score

Die Erarbeitung der Kriterien zur Festlegung des TI-Scores (2/2024 v3.0.0) erfolgte in einem mehrstufigen Verfahren in Zusammenarbeit mit dem IGES Institut, in welchem hilfreiche und hinderliche IT-Umsetzungen der Anwendungen identifiziert und statistisch auf ihren Einfluss auf die Bewertung der Alltagstauglichkeit geprüft werden. Die Kriterien werden aufgrund dieser Prüfung ausgewählt, angepasst oder gestrichen sowie neue Kriterien identifiziert.
Zur ersten Identifizierung von Kriterien für die Usability der Softwaremodule zum E-Rezept fanden Befragungen der Fachverantwortlichen der gematik statt, welche auf Basis von Hospitationen in der Praxis und Austauschrunden mit Nutzergruppen zu den Anwendungen eine Bewertung der Kriterien vornehmen konnten. Abstimmungen mit dem Bundesverband Gesundheits-IT (bvitg) zu den E-Rezept-Kriterien für den TI-Score flossen ebenfalls in die Erarbeitung und Auswahl der Kriterien ein.

Evaluation der Kriterien

Um die Eignung der definierten Kriterien für den TI-Score zu evaluieren, wurden diese anhand einer quantitativen Stichprobe überprüft. Dafür führte die gematik im Zeitraum vom 6. Juli 2023 bis 31. Juli 2023 eine Online-Befragung von Leistungserbringern zu deren Nutzungserfahrungen zum E-Rezept durch. Eingeladen zur Befragung wurden (Zahn)Ärztinnen und Ärzte, die sich im Rahmen der jährlichen repräsentativen Befragung zur Wissenschaftlichen Evaluation zu weiteren Befragungen bereit erklärt hatten. Die Stichprobe umfasst insgesamt 747 Ärztinnen und Ärzte sowie 124 Zahnärzte, von welchen 243 Personen bereits Erfahrung mit dem E-Rezept hatten. Die Bewertung der Praxisverwaltungssysteme erfolgte ausschließlich durch die Gruppe, die bereits praktische Erfahrungen mit dem E-Rezept gesammelt hatten.

Die Kriterien des TI-Scores wurden durch das IGES Institut dahingehend statistisch analysiert, inwiefern sie sich auf die Bewertung der Alltagstauglichkeit des E-Rezepts bei den befragten Praxen auswirken.

Bei dieser Analyse wurde zunächst festgestellt, dass alle abgefragten Kriterien einen statistisch signifikanten Einfluss auf die eingeschätzte Alltagstauglichkeit haben. Weiterhin zeigte sich, dass je höher die Anzahl der erfüllten Kriterien ist, desto höher auch die Wahrscheinlichkeit ist, dass eine Praxis die Alltagstauglichkeit der E-Rezept Anwendung bestätigt.

Eine multivariaten Regressionsanalyse der Kriterien zur Voraussage der Alltagstauglichkeit zeigte zudem, dass zwei Kriterien als besonders relevant eingeschätzt werden können, ob ein System als alltagstauglich eingestuft wird:

  1. „Die Erstellung eines E-Rezepts braucht nur ein oder zwei zusätzliche Klicks im Vergleich zu Muster 16.“
  2. „Das Primärsystem bietet die Möglichkeit einer Aufgabenliste, um mehrere vorbereitete E-Rezepte in einem Arbeitsgang zu prüfen und zu signieren.“

Diese Kriterien bekommen daher den Status von „Alltagstauglichkeitskriterien“.

Die multivariate Regressionsanalyse wurde wiederholt, nachdem zum 1. Januar 2024 die Nutzung des E-Rezepts in den bundesweiten Produktivbetrieb überführt wurde und somit Kriterien, die nur in Testphasen für die Praxen relevant sind, z. B. für einzelne Patientinnen und Patienten das E-Rezept als Standard zu hinterlegen, aus dem Score entfernt wurden. Für den Umgang mit Antworten, die die Erfüllung der Kriterien weder als zutreffend oder nichtzutreffend bewerten („weiß nicht“), wurde für die zweite Regressionsanalyse ein einfaches Imputationsverfahren angewendet. Die Imputation erhöht die Anzahl der Praxen zur mulitvariaten Bewertung der Erfüllung der Kriterien, die in die Regressionsanalyse eingeschlossen werden können, d. h. auch solche Praxen wurden in die multivariate Berechnung einbezogen, die bisher in den Testphasen mit einzelnen Aspekten noch keine Erfahrung gesammelt hatten und für diese Aspekte jedoch bereits bekannt ist, ob das jeweilige genutzte Praxisverwaltungssystem diesen Aspekt erfüllt.

Kriterien, welche zwar in der Analyse einen statistisch multivariat signifikanten Einfluss auf die Alltagstauglichkeit aufwiesen, jedoch in der Herstellerabfrage lediglich eine subjektive Bewertung durch die Hersteller beinhalten, wurden als „Usability-Kriterien“ statt als Alltagstauglichkeitskriterien im Score berücksichtigt.


Darüber hinaus unterscheiden sich die weiteren einzelnen Kriterien bei Erfüllung nur in geringem Ausmaß darin, ob sie direkt mit einer Gesamtbewertung als „alltagstauglich“ zusammenhängen. Hingegen zeigt sich bei einem Fehlen bereits einzelner Kriterien, dass in diesen Fällen die Alltagstauglichkeit dann insgesamt als nicht gegeben bewertet wird. Die auf diese Art identifizierten Kriterien können somit als starke Hürden für die Alltagstauglichkeit des E-Rezepts gewertet werden, welche durch ein Praxisverwaltungssystem entsprechend dringend erforderlich zu erfüllen sind. Wie die Befragten in der Stichprobe angeben, werden diese Kriterien auch von einer Mehrheit der Systeme erfüllt.

Kriterien des TI-Scores für das E-Rezept

Die beschriebene datenbasierte Evaluation der Kriterien wurde in der Struktur des auf Usability basierenden TI-Scores berücksichtigt. Dies betrifft sowohl die Benennung und Zuordnung der Kriterien als auch die Berechnung des TI-Scores.
Die beiden multivariat signifikanten Kriterien wurden unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Die weiteren Kriterien stellen Usability-Kriterien dar, da das Fehlen dieser Kriterien eine Alltagstauglichkeit verhindern. Daneben gibt es vier zusätzliche Komfortfunktionen, die die Umsetzung aktuell noch als optional im E-Rezept-Modul verfügbaren Verordnungstypen beschreiben. Je mehr Verordnungstypen von den Praxen als E-Rezept ausgestellt werden, desto praxistauglicher ist die Umsetzung, da sich die Koexistenz mehrerer unterschiedlicher Prozesse reduziert.

Die beiden multivariat signifikanten Kriterien wurden unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Die weiteren sechs Kriterien stellen Usability-Kriterien dar, da das Fehlen dieser Funktionalitäten eine Alltagstauglichkeit verhindern.

Daneben gibt es vier zusätzliche Komfortfunktionen, die die Umsetzung aktuell noch als optional im E-Rezept-Modul verfügbaren Verordnungstypen beschreiben. Je mehr Verordnungstypen von den Praxen als E-Rezept ausgestellt werden, desto praxistauglicher ist die Umsetzung, da sich die Koexistenz mehrerer unterschiedlicher Prozesse reduziert.

Die Berechnung des Scores sieht entsprechend der Relevanz der Kriterien vor, dass

  • die unterste Klassifizierung E für Praxisverwaltungssysteme vorgesehen ist, die weniger als zwei Usability-Kriterien erfüllen. Da der TI-Score nur Hersteller listet, welche für das E-Rezept KBV-zertifiziert sind, ist ein Score, der abbildet, welche Praxisverwaltungssysteme E-Rezept-ready sind in dem auf Usability fokussierten TI-Score nicht mehr notwendig. Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.
  • Werden drei oder mehr der sechs Usability-Kriterien erfüllt, erreicht ein Praxisverwaltungssystem den TI-Score D.
  • Für eine Einstufung auf Score C müssen mindestens vier Usability-Kriterien und zusätzlich mindestens eines der beiden Alltagstauglichkeitskriterium erfüllt werden.
  • Für einen B Score müssen die bisherigen Bedingungen erfüllt, jedoch beide Alltagstauglichkeitskriterien erfüllt sein. Damit wird garantiert, dass diese hohe Bewertung nur Praxisverwaltungssysteme einschließt, welche beide Kriterien erfüllen, die einen multivariat signifikanten Einfluss auf die Alltagstauglichkeit haben.
  • Für die höchste Bewertung A muss das Praxisverwaltungssystem mindestens fünf der sechs Usability-Kriterien sowie beide Alltagstauglichkeitskriterien aufweisen..

Die Höherstufung auf den C, B und A-Score anhand nur jeweils eines weiteren Kriteriums liegt in dem hohen Gewicht der einzelnen Kriterien hinsichtlich des Zurückweisens der Alltagstauglichkeit begründet.

Die Komfortfunktionen fließen nicht in die Berechnung des Scores ein, da sie die Usability der Kernfunktionen nicht betreffen. Die Erfüllung der Komfortfunktionen jedoch, aufgrund ihrer hohen Relevanz für eine umfassende Nutzung des E-Rezept-Moduls textlich zu dem jeweiligen Praxisverwaltungssystem aufgeführt und grafisch kenntlich gemacht.

Die Angemessenheit der Berechnung des TI-Scores wurde in einem letzten Schritt anhand der bereits vorliegenden Angaben einzelner Hersteller zur Erfüllung der Kriterien überprüft. Im Ergebnis zeigt sich, wie bereits in der Bewertung der Nutzerinnen und Nutzer, dass sich die Praxisverwaltungssysteme hinsichtlich der Erfüllung der Kriterien unterscheiden, so dass der TI-Score diese unterscheidet und dass es zudem Praxisverwaltungssysteme gibt, die den A-Score erreichen und demnach keine Kriterien erfragt werden, die nicht umsetzbar sind..

Limitationen

Der TI-Score bewertet die Usability der Praxisverwaltungssysteme aus Nutzersicht. Diese ist nicht mit einer Softwareergonomie-Prüfung gleichzusetzen, die unter Laborbedingungen Praxisverwaltungssysteme auf dem Markt hinsichtlich definierter Usability-Kriterien unter experimentellen Bedingungen testet. Sie stellt vielmehr mithilfe qualitativer und quantitativer Befragungen nach sozialwissenschaftlichen Standards die Validität des Scores sicher. Die Kriterien erfüllen die Anforderung statistisch belastbarer Nutzerbewertungen. Die Kriterien müssen zudem von mindestens einem Teil der Praxisverwaltungssysteme umgesetzt sein, also keine von den Herstellern nicht zu realisierenden Anforderungen enthalten.

Die Usability ist einem zeitlichen Wandel unterworfen, da sich die gesetzlichen Rahmenbedingungen zu der TI und ihren Anwendungen verändern, insbesondere auch zum E-Rezept. Die zukünftige Art und Weise der Einlösung des E-Rezept kann z. B. Bedeutung für veränderte Anforderungen an die Funktionalitäten der Praxis-verwaltungssysteme gewinnen. Mit Updates entwickeln sich die Systeme ihrerseits weiter und sind in ihrer Bewertung im TI-Score zu aktualisieren. Dies kann kontinuierlich durch die Hersteller erfolgen. Die gematik ihrerseits wird die Kriterien der TI-Scores in regelmäßigen Abständen bzw. bei relevanten Änderungen zur Anwendung E-Rezept in der Auswahl für die Usability relevanter Kriterien aktualisieren.