Warum die Suche nach „ucet“ auch „účet“ finden sollte

Das Problem: ein Zeichen, zwei Schreibweisen eines Wortes

Viele Sprachen kennzeichnen einen Buchstaben mit einem Akzent, Häkchen, Ring oder einer Ligatur, um seine Aussprache zu verändern: á, é, ě, š, č, ř, ž, ů im Tschechischen, ä, ö, ü, ß im Deutschen, é, è, ç im Französischen, á, é, í, ó, ú, ñ im Spanischen. Auf einer auf Englisch eingestellten Smartphone-Tastatur oder beim schnellen Tippen aus dem Gedächtnis lässt man leicht ein Zeichen weg und tippt ucet obwohl im Dokument eigentlich účetsteht, das tschechische Wort für Rechnung oder Konto. Für ein Suchsystem, das Zeichen exakt vergleicht, sind das zwei verschiedene Zeichenfolgen. Eine Suche nach der einen findet kein Dokument, das nur die andere enthält.

Die Lösung: diakritische Zeichen vereinheitlichen

Die Idee ist einfach: Vor dem Vergleich zweier Texte werden aus beiden die diakritischen Zeichen entfernt – Akzente, Hatscheks und Cedillen gleichermaßen – und der Rest wird verglichen. „Folding“ ist der Fachbegriff dafür, einen markierten Buchstaben wie á auf seine Grundform zu reduzieren, a. Geschieht das durchgängig sowohl mit Ihren eingegebenen Wörtern als auch den im Index gespeicherten Wörtern, werden ucet und účet zum selben Suchbegriff, unabhängig davon, welche Schreibweise Sie eingegeben haben und welche auf der Seite steht. Dies ist eine in der Textsuche allgemein etablierte Technik, keine Besonderheit einer bestimmten App; dieselbe Idee lässt eine Suchmaschine „cafe“ finden, wenn eine Seite „café“ enthält.

Diese Vereinheitlichung hat einen Nachteil, den man klar benennen sollte: Sie behandelt zwei Schreibweisen beim Abgleich als gleich. Daher kann gelegentlich auch ein ganz anderes Wort passen, das auf dieselbe Weise vereinfacht wird. Ein deutliches tschechisches Beispiel ist: smlouva (ein Vertrag) und smlouvá (verhandelt, eine Verbform) sind verschiedene Wörter, nicht dasselbe Wort mit zusätzlichem Akzent. Werden jedoch die diakritischen Zeichen aus beiden entfernt, kann die Suche nach dem einen auch ein Dokument mit dem anderen finden. Diesen Kompromiss geht die Vereinheitlichung ein, damit echte Treffer nicht wegen eines fehlenden Akzents verloren gehen.

Das andere Problem: Im Deutschen werden Wörter zusammengesetzt

Deutsch (und in geringerem Umfang die anderen hier behandelten Sprachen) bildet lange zusammengesetzte Wörter, indem kürzere ohne Leerzeichen direkt verbunden werden. Die Kündigung eines Mietvertrags heißt Mietvertragskündigung, zusammengesetzt aus Mietvertrag (Vertrag über eine Miete) und Kündigung (Beendigung), verbunden durch ein Fugen-s. Ein Suchindex, der nur ganze Wörter abgleicht, findet Vertrag nicht innerhalb von Mietvertragskündigung, obwohl Sie genau nach dem Vertrag suchen.

Hier wirken zwei Techniken zusammen, die aus unterschiedlichen Gründen wichtig sind. Die erste ist ein Präfixabgleich: Die Eingabe von Vertrag findet auch jedes Wort, das mit Vertragbeginnt, und findet daher schon von sich aus Vertragsunterlagen (Unterlagen zu einem Vertrag). Das hilft allerdings nicht bei Mietvertragskündigung, denn Vertrag steht nicht am Anfang dieses Wortes – dort steht Miet . Für diesen Fall greift die Suche auf einen Abgleich von Teilzeichenfolgen zurück, der erst versucht wird, wenn der Präfixabgleich nichts findet. Erst dadurch lässt sich Vertrag an jeder Stelle innerhalb eines zusammengesetzten Wortes finden, nicht nur am Anfang.

Beispiele aus vier Sprachen

• Tschechisch: Die Eingabe von ucet findet účet (eine Rechnung oder ein Konto); die Eingabe von vyuctovani findet vyúčtování (eine Versorgungsabrechnung).
• Deutsch: Die Eingabe von Vertrag findet Vertragsunterlagen; die Eingabe von Grundstuck findet Grundstück (ein Stück Land).
• Französisch: Die Eingabe von deces findet décès (ein Todesfall, etwa auf einer Sterbeurkunde); die Eingabe von francais findet français.
• Spanisch: Die Eingabe von camion findet camión (ein Lastwagen); die Eingabe von informacion findet información.

Dasselbe funktioniert auch umgekehrt: Wenn Sie das diakritische Zeichen korrekt eingeben, findet die Suche dennoch eine Dokumentversion, in der es ohne dieses Zeichen erkannt wurde. Das kann bei einem blassen Scan passieren oder wenn die Texterkennung ein kleines Zeichen über einem Buchstaben übersieht.

Es geht nicht nur darum, wie Sie tippen

Bisher ging es um die Lücke zwischen Ihrer Eingabe und dem Text im Dokument. Es gibt eine zweite, weniger auffällige Lücke: Auch die Texterkennung erkennt Akzente nicht immer richtig. Ein blasser Scan, ein Foto mit geringer Auflösung oder eine ungewöhnliche Schrift kann es erschweren, das kleine Zeichen über einem Buchstaben von einem Fleck oder Schatten zu unterscheiden. Die Erkennung kann es dann weglassen, obwohl ein Mensch dieselbe Seite problemlos lesen würde. In diesem Fall fehlt dem gespeicherten erkannten Text der Akzent, unabhängig davon, wie sorgfältig Sie suchen. Auch hier hilft die Vereinheitlichung: Wenn die Suche ebenso den Text vereinfacht, mit dem sie vergleicht, findet ein korrekt eingegebenes účet weiterhin eine Seite, deren erkannter Text als ucetgespeichert wurde. Die Vereinheitlichung schützt Sie also vor Fehlern auf beiden Seiten des Suchfelds, nicht nur vor eigenen Tippfehlern.

So verwendet die Suche von Pocket Aurora Papers diese Technik

Die Offline-Suche von Pocket Aurora Papers vereinheitlicht diakritische Zeichen für den Abgleich und sucht in zwei Durchläufen: Zuerst gleicht sie Wortanfänge ab, dann greift sie nur dann auf Teilzeichenfolgen zurück, wenn sie nichts findet. So lässt sich auch ein Wort mitten in einem deutschen Kompositum finden. Beide Durchläufe werden anhand eines Suchkorpus getestet, der alle fünf Erkennungssprachen abdeckt: Englisch, Tschechisch, Deutsch, Französisch und Spanisch. Die Suche läuft vollständig auf dem Gerät, ebenso wie die Texterkennung, die eine gescannte Seite überhaupt erst durchsuchbar macht. Die Benutzeroberfläche der App ist vorerst nur auf Englisch verfügbar; es ist das Suchverhalten, nicht die Menüs und Schaltflächen, das die anderen vier Sprachen versteht.