logo flag
TI-Score

Entwicklung der Kriterien im TI-Score

Die Erarbeitung der Kriterien zur Festlegung des TI-Scores (3/2024 v2.0.0) erfolgte in einem mehrstufigen Verfahren in Zusammenarbeit mit dem IGES Institut, in welchem hilfreiche und hinderliche IT-Umsetzungen der Anwendungen identifiziert und statistisch auf ihren Einfluss auf die Bewertung der Alltagstauglichkeit geprüft werden. Die Kriterien werden aufgrund dieser Prüfung ausgewählt, angepasst oder gestrichen sowie neue Kriterien identifiziert.
Zur ersten Identifizierung von Kriterien für die Usability der Softwaremodule zur eAU und zum eArztbrief fanden Befragungen der Fachverantwortlichen der gematik statt, welche auf Basis von Hospitationen in der Praxis und Austauschrunden mit Nutzergruppen zu den Anwendungen eine Bewertung der Kriterien vornehmen konnten. Abstimmungen mit dem Bundesverband Gesundheits-IT (bvitg) zu den KIM-Kriterien für den TI-Score flossen ebenfalls in die Erarbeitung und Auswahl der Kriterien ein.

Evaluation der Kriterien

Um die Eignung der definierten Kriterien für den TI-Score zu evaluieren, wurden diese anhand einer quantitativen Stichprobe überprüft. Dafür führte die gematik im Dezember 2023 eine Online-Befragung von Leistungserbringern zu deren Nutzungserfahrungen zur Ausstellung der eAU sowie zum Versenden und Empfangen von eArztbriefen durch. Eingeladen zur Befragung wurden (Zahn)Ärztinnen und Ärzte, die sich im Rahmen der jährlichen repräsentativen Befragung zur Wissenschaftlichen Evaluation zu weiteren Befragungen bereit erklärt hatten. Die Stichprobe umfasst insgesamt 378 Ärztinnen und Ärzte sowie 55 Zahnärztinnen und -ärzte, von welchen 293 Personen bereits Erfahrung mit der eAU sowie 208 bzw. 285 Personen Erfahrungen mit dem Versand bzw. dem Empfang von eArztbriefen hatten. Die Bewertung der Praxisverwaltungssysteme erfolgte ausschließlich durch die Gruppen, die bereits praktische Erfahrungen mit der jeweiligen KIM Anwendung gesammelt hatten.

Die Kriterien des TI-Scores wurden durch das IGES Institut dahingehend statistisch analysiert, inwiefern sie sich auf die Bewertung der Alltagstauglichkeit der eAU und des eArztbriefes bei den befragten Praxen auswirken.

Im Rahmen dieser Analyse wurden Kriterien identifiziert und für den TI-Score ausgewählt, welche einen statistisch signifikanten Zusammenhang mit der eingeschätzten Alltagstauglichkeit haben. Diese Kriterien wurden als Usability-Kriterien in den Score aufgenommen.

Eine multivariate Regressionsanalyse der Kriterien zur Voraussage der Alltagstauglichkeit zeigte zudem, dass mehrere Kriterien als besonders relevant dafür eingeschätzt werden können, ob ein System als alltagstauglich eingestuft wird. Diese Kriterien sind als Alltagstauglichkeitskriterien im TI-Score berücksichtigt. Für Befragte, die die Erfüllung der Kriterien weder als zutreffend oder nichtzutreffend bewerten („weiß nicht“), wurde für die multivariate Regressionsanalyse ein einfaches Imputationsverfahren aus den anderen Befragungen bekannter Funktionen der jeweiligen PVS angewendet. Die Imputation erhöht die Anzahl der Praxen, die in die multivariate Regressionsanalyse eingeschlossen werden können, d. h. auch solche Praxen wurden in die multivariate Berechnung einbezogen, die bisher in den Testphasen mit einzelnen Aspekten noch keine Erfahrung gesammelt hatten und für diese Aspekte jedoch bereits bekannt ist, ob das jeweilige genutzte Praxisverwaltungssystem diesen Aspekt erfüllt.

Kriterien, welche zwar in der Analyse einen statistisch multivariat signifikanten Einfluss auf die Alltagstauglichkeit aufwiesen, jedoch in der Herstellerabfrage lediglich eine subjektive Bewertung durch die Hersteller beinhalten können und zudem nicht nur von den PVS abhängen (z. B. die Fehleranfälligkeit), wurden als „Usability-Kriterien“ statt als Alltagstauglichkeitskriterien im Score berücksichtigt.

Die eArztbrief-Kriterien sind umfangreich und sind für das Empfangen und Versenden von eArztbriefen getrennt zu bewerten. Bei einigen Kriterien zeigte sich Multikollinearität, d. h. eine sehr starke Ähnlichkeit in der Bewertung mehrerer Kriterien. Dahingehende „doppelte“ Kriterien wurden aus der Analyse entfernt und diese nur dann in den TI-Score übernommen, wenn sie inhaltlich stark unterschiedliche Funktionen beschreiben. Generell gilt, dass je mehr Kriterien erfüllt sind, desto alltagstauglicher werden die Anwendungen bewertet.

Komponenten des TI-Scores für KIM

Die beschriebene datenbasierte Evaluation der Kriterien wurde auch in der Struktur des auf Usability basierenden TI-Scores berücksichtigt. Dies betrifft sowohl die Benennung und Zuordnung der Kriterien als auch die Berechnung des TI-Scores.

Die Abstufung erfolgte in Anlehnung an den Einfluss der Erfüllung bzw. Nichterfüllung von Kriterien auf die Bewertung der Annahme bzw. Ablehnung der Alltagstauglichkeit durch die befragten regelmäßigen Nutzerinnen und Nutzer. Hier zeigten sich Sprünge bei der Bejahung bzw. Verneinung der Alltagstauglichkeit, wenn eine bestimmte Anzahl von Kriterien durch das Primärsystem erfüllt bzw. nicht erfüllt werden.

eAU
Für die eAU wurden die beiden multivariat signifikanten Kriterien unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Die weiteren Kriterien stellen Usability-Kriterien dar, da das Fehlen dieser Kriterien eine alltagstaugliche Verwendung reduziert.

Die Berechnung des TI-Scores für die eAU sieht entsprechend der Relevanz der Kriterien vor, dass

  • die unterste Klassifizierung E für Praxisverwaltungssysteme vorgesehen ist, die weniger als drei der sieben Kriterien insgesamt aufweisen. Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.
  • Werden drei oder mehr Kriterien erfüllt, erreicht ein Praxisverwaltungssystem den TI-Score D.
  • Für eine Einstufung auf Score C müssen mindestens drei Usability-Kriterien und zusätzlich mindestens eines der beiden Alltagstauglichkeitskriterien erfüllt werden.
  • Für einen B Score müssen die bisherigen Bedingungen erfüllt, jedoch beide Alltagstauglichkeitskriterien erfüllt sein. Damit wird garantiert, dass diese hohe Bewertung nur Praxisverwaltungssysteme einschließt, welche beide Kriterien erfüllen, die einen multivariat signifikanten Einfluss auf die Alltagstauglichkeit haben.
  • Für die höchste Bewertung A muss das Praxisverwaltungssystem mindestens vier der fünf Usability-Kriterien sowie beide Alltagstauglichkeitskriterien aufweisen.


eArztbrief
Für die Bewertung des eArztbriefes wurden jeweils Kriterien für das Empfangen und das Versenden von eArztbriefen erarbeitet. Für den TI-Score des eArztbriefes müssen die Kriterien beider Funktionen für die jeweilige Abstufung, A bis E, erfüllt sein. Die multivariat signifikanten Kriterien wurden unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Für den Versand sowie das Empfangen von eArztbriefen sind dies jeweils drei Kriterien. Die weiteren zwölf bzw. acht Kriterien stellen jeweils Usability-Kriterien dar, da das Fehlen dieser Kriterien eine alltagstaugliche Verwendung reduziert. Für den Versand von eArztbriefen wird zudem eine Komfortfunktion angegeben.

Die Berechnung des TI-Scores für den eArztbrief sieht entsprechend der Relevanz der Kriterien die folgende Abstufung vor:

  • Die unterste Klassifizierung E ist für Praxisverwaltungssysteme vorgesehen, die
    • für das Versenden von eArztbriefen weniger als vier der insgesamt 15 Kriterien aufweisen,
    • für das Empfangen weniger als zwei der insgesamt elf Kriterien erfüllen.

Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.

  • Der TI-Score D wird erreicht, wenn
    • für das Versenden insgesamt vier oder mehr Kriterien erfüllt sind,
    • für das Empfangen insgesamt mindestens zwei Kriterien erfüllt sind.
  • Für eine Einstufung auf Score C müssen
    • für das Versenden mindestens vier der 12 Usability-Kriterien sowie zusätzlich mindestens eines der drei Alltagstauglichkeitskriterien erfüllt werden,
    • für das Empfangen mindestens zwei der acht Usability-Kriterien sowie zusätzlich mindestens eines der drei Alltagstauglichkeitskriterien erfüllt werden.
  • Für einen B Score muss das Primärsystem
    • für das Versenden von eArztbriefen mindestens sechs Usability-Kriterien und zwei Alltagstauglichkeitskriterien erfüllen,
    • für das Empfangen von eArztbriefen mindestens drei Usability-Kriterien und zwei Alltagstauglichkeitskriterien erfüllen.
  • Für die höchste Bewertung A müssen
    • für das Versenden mindestens acht Usability-Kriterien sowie alle drei Alltagstauglichkeitskriterien erfüllt sein,
    • für das Empfangen mindestens sechs Usability-Kriterien sowie alle drei Alltagstauglichkeitskriterien erfüllt sein.

Die Angemessenheit der Berechnung des TI-Scores wird in einem letzten Schritt anhand der bereits vorliegenden Angaben einzelner Hersteller zur Erfüllung der Kriterien überprüft. Im Ergebnis müssen sich die Praxisverwaltungssysteme hinsichtlich der Erfüllung der Kriterien hinreichend unterscheiden, so dass der TI-Score diese bewertet und es muss zudem Praxisverwaltungssysteme geben, die den A-Score erreichen können.

Die Komfortfunktion fließt nicht in die Berechnung des Scores ein, da sie die Usability der Kernfunktionen nicht betrifft. Die Erfüllung der Komfortfunktion wird jedoch, aufgrund ihrer Relevanz für eine umfassende Nutzung des eArztbrief-Moduls, textlich im TI-Score zu dem jeweiligen Praxisverwaltungssystem aufgeführt und grafisch kenntlich gemacht.

 

Limitationen

Der TI-Score bewertet die Usability der Praxisverwaltungssysteme aus Nutzersicht. Diese ist nicht mit einer Softwareergonomie-Prüfung gleichzusetzen, die in Laborbedingungen Praxisverwaltungssysteme auf dem Markt hinsichtlich definierter Usability-Kriterien unter experimentellen Bedingungen testet. Sie stellt vielmehr eine auf sozialwissenschaftlichen Standards mithilfe qualitativer und quantitativer Befragungen die Validität des Scores sicher. Die Kriterien erfüllen die Anforderung einer statistischen Belastbarkeit dieser in Hinblick auf die Nutzerbewertung. Die Kriterien müssen zudem von mindestens einem Teil der Praxisverwaltungssysteme umgesetzt sein, also keine von den Herstellern nicht zu realisierenden Anforderungen enthalten.

Die Usability ist einem zeitlichen Wandel unterworfen, da sich die gesetzlichen Rahmenbedingungen zu der TI und ihren Anwendungen verändern. Mit Updates entwickeln sich die Systeme ihrerseits weiter und sind in ihrer Bewertung im TI-Score zu aktualisieren. Dies kann kontinuierlich durch die Hersteller erfolgen. Die gematik ihrerseits wird die Kriterien der TI-Scores in regelmäßigen Abständen bzw. bei relevanten Änderungen zu den Anwendungen eAU und eArztbrief in der Auswahl für die Usability relevanter Kriterien aktualisieren.