Wyszukiwanie wewnątrz zeskanowanego dokumentu całkowicie bez połączenia

Co naprawdę robi rozpoznawanie tekstu

Gdy fotografujesz stronę drukowaną lub odręcznie zapisaną, sam plik nadal jest tylko obrazem: siatką pikseli, która nie wie, co przedstawia. Rozpoznawanie tekstu, zwykle nazywane optycznym rozpoznawaniem znaków lub OCR, to osobny etap analizujący te piksele i ustalający, które tworzą litery i słowa. Po jego zakończeniu słowa istnieją jako rzeczywisty tekst obok obrazu, a pole wyszukiwania może ich szukać tak jak słowa w e-mailu.

Apple udostępnia aplikacjom rozpoznawanie tekstu na urządzeniu przez framework Vision. Użytkownicy poznają powiązaną wersję systemową jako Tekst na żywo: funkcję pozwalającą dotknąć i skopiować numer telefonu lub adres prosto ze zdjęcia w Zdjęciach lub Aparacie. Każda aplikacja może używać Vision do własnego rozpoznawania tekstu na urządzeniu, ale nie oznacza to identycznego zachowania wszystkich aplikacji — dokładność i szybkość nadal zależą od sposobu wykorzystania. Dokumentacja Apple potwierdza, że rozpoznawanie odbywa się na samym urządzeniu; to, co aplikacja następnie robi z oryginalnym obrazem, w tym czy gdziekolwiek go przesyła, zależy od niej. Pocket Aurora Papers w tej wersji nie przesyła obrazów stron.

Od rozpoznanego tekstu do naprawdę użytecznego wyszukiwania

Rozpoznanie słów na stronie jest konieczne, ale nie jest tym samym co możliwość późniejszego ich odnalezienia. Szybkie pole wyszukiwania potrzebuje indeksu: osobnej struktury, która już podzieliła rozpoznany tekst na fragmenty do przeszukiwania, aby nie odczytywać każdej strony od początku przy każdym wpisywaniu. Pocket Aurora Papers pokazuje ten etap bezpośrednio: Status dokumentu przez chwilę po skanowaniu brzmi Odczytywanie…, potem Odczytano, gdy tekst jest gotowy do wyszukiwania, lub Nie znaleziono tekstu, jeśli strona rzeczywiście go nie zawierała. Ta przerwa oznacza budowanie indeksu, a nie samo rozpoznawanie, i warto jej oczekiwać zamiast traktować ją jako błąd.

Dlaczego ma znaczenie działanie na urządzeniu zamiast na serwerze

Z rozpoznawania na samym telefonie zamiast po przesłaniu wynikają dwie rzeczy. Pierwsza to szybkość: nie czekasz na komunikację z siecią, aby dowiedzieć się, czy strona wyszła czytelnie. Druga, najważniejsza przy dokumentach, to działanie całkowicie bez połączenia: w pociągu, mieszkaniu w suterenie bez zasięgu lub z telefonem w trybie samolotowym. Przydatnym sprawdzianem praktycznym, choć nie formalnym dowodem, jest test trybu samolotowego: jeśli skanowanie i wyszukiwanie nadal działają po wyłączeniu łączności, dobrze to świadczy o niezależności samego rozpoznawania od serwera odczytującego tekst za Ciebie.

Co ułatwia lub utrudnia odczytanie skanu

Jakość rozpoznawania nie jest stała: skuteczność na danej stronie zależy od otrzymanego obrazu — oświetlenia, układu, płaskiej lub zagiętej kartki — oraz od tego, czy język tekstu jest faktycznie obsługiwany. Kilka nawyków wyraźnie wpływa na ilość użytecznego tekstu uzyskanego ze strony.

• Oświetlaj stronę równomiernie. Jedna lampa z boku rzuca cień na połowę tekstu; światło dzienne z okna lub dwa źródła światła rozkładają się bardziej równomiernie.
• Utrzymuj stronę płasko. Zwinięty lub zagięty róg zniekształca litery przy krawędzi, a rozpoznawanie ma trudność z wykrzywionym tekstem, nawet jeśli ludzkie oko nadal go odczytuje.
• Wypełnij kadr całą stroną, ani bardziej, ani mniej. Przycięcie tekstu gubi słowa przy krawędziach; pozostawienie zbyt dużej części stołu lub tła może mylić automatyczne wykrywanie krawędzi.
• Trzymaj telefon nieruchomo podczas robienia zdjęcia. Niewielkie rozmycie ruchu wpływa na rozpoznawanie znacznie mocniej niż na wygląd zdjęcia oglądanego pobieżnie.
• Unikaj odblasków, zwłaszcza na laminowanych kartach lub dokumentach w koszulkach; zwykle wystarczy lekko przechylić stronę, zamiast aparat.

Żadna z tych rzeczy nie wymaga specjalnego sprzętu. To raczej różnica między zdjęciem wysyłanym znajomemu a zdjęciem robionym specjalnie po to, by później odczytała je maszyna.

Jak radzi sobie z tym Pocket Aurora Papers

Pocket Aurora Papers odczytuje tekst na samym urządzeniu po angielsku, czesku, niemiecku, francusku i hiszpańsku, a następnie umożliwia jego wyszukiwanie razem z tytułem i tagami dokumentu. Ponieważ rozpoznawanie i indeks wyszukiwania działają lokalnie, skanowanie, czytanie i przeszukiwanie archiwum działają całkowicie bez połączenia. Gdy strona wyjdzie rozmazana lub źle oświetlona, aplikacja informuje Cię o tym zamiast zgadywać: każda strona jest sprawdzana podczas skanowania jako dobra, warta ponownego obejrzenia lub warta powtórzenia, ale żadna nie jest blokowana. Ty wybierasz ponowny skan, poprawienie narożników lub zachowanie bez zmian, bo tylko Ty wiesz, czy jakość strony wystarczy do Twojego celu. Zobacz jak działa archiwum , aby poznać cały przebieg od skanowania do wyszukiwania, oraz co przechowujemy, a czego nie , aby dokładnie sprawdzić, co pozostaje na urządzeniu i co odbywa się tylko po zalogowaniu.

Samo wyszukiwanie musi też radzić sobie z akcentami pomijanymi przy szybkim pisaniu i językami takimi jak niemiecki, tworzącymi długie wyrazy złożone. To osobny temat — zobacz dlaczego wyszukiwanie dokumentów powinno ignorować akcenty i znajdować wyrazy złożone.