Как распознать текст с картинки: Распознать текст онлайн с картинки, pdf или фото

Как распознать текст с помощью ABBYY FineReader: пошаговая инструкция

[contents]

В этот раз расскажу как превращать бумажные документы в электронный вид формата PDF, а также, как бумажный документ перекинуть в компьютер с целью изменить текст. Итак начнем.
У меня на руках бумажный документ.

СКАНИРОВАНИЕ в PDF

Задача: перекинуть в компьютер (перевести в электронный вид) этот документ. Притом нужно сделать именно в таком виде чтобы нельзя было его в будущем изменить (грубо говоря надо сделать фото документа). Потом этот электронный документ нужно переслать по почте на электронный адрес. Притом клиент просит именно в формате pdf.

По этапам:
1) пропускаю документ через сканер
2) сохраняю полученный отпечаток в формате pdf на свой компьютер
3) пересылаю полученный файл по почте
В своей работе я использую для решения такой задачи 2 программы:
Foxit Phantom или ABBYY FineReader. Для понятности прикладываю скриншоты:
В Foxit Phantom при включенном сканере необходимо в главном меню выбрать ФАЙЛ-СОЗДАТЬ PDF-СО СКАНЕРА…
Произойдет сканирование и появится предложение сохранить файл. Выбираем место, пишем название файла и сохраняем.

В ABBYY FineReader в панели инструментов есть огромные кнопки. Одна из них называется СКАНИРОВАТЬ в PDF. Её и используем.

Если же надо отсканировать многостраничный документ то, по этапам:
1) Нажимаем кнопку под номером 1 СКАНИРОВАНИЕ

Получаем отсканированный документ

Также сканируем ещё одну страницу (нажимаем ещё раз кнопку под номером 1 СКАНИРОВАНИЕ).
2) Сохраняем в PDF

В итоге получаем готовый многостраничный документ в виде файла в формате PDF.

Теперь данный файл можно отправлять по электронной почте.

РАСПОЗНАВАНИЕ ТЕКСТА

Задача: перевести бумажный документ в электронный вид (в компьютер)

По этапам:
1) Сканирование (кнопка 1 СКАНИРОВАНИЕ)

2) Распознавание (кнопка 2 РАСПОЗНАТЬ ВСЕ)

Распознавание нужно понимать как процесс перевода фотографии (картинки) в текст (буквы, цифры, знаки). Если Вы сфотографировали текстовую страницу, то после распознавания 99% текста с бумаги превратиться в текст электронный. Электронный текст уже можно на компьютере менять (редактировать) так, как Вам захочется.

3) Сохранение в текстовый редактор (кнопка 4 Сохранить)
Советую выбирать ПЕРЕДАТЬ ВСЕ СТРАНИЦЫ В—MICROSOFT WORD

Получаем

Хотелось бы указать на важные моменты при процедуре РАСПОЗНАВАНИЯ. Есть нюансы при работе.
Сразу после распознавания советую поглядеть на результат. Особенно на блоки, которые создает программа FineReader.

Это области выделенные в прямоугольные рамки. Рамки эти разного цвета. Если красного цвета-то этот блок распознался как КАРТИНКА. Если черного цвета — то ТЕКСТ. Блоки бывают разного типа. Тип блока можно узнать щелкнув на блоке ПРАВОЙ клавишей мыши и выбрав ИЗМЕНИТЬ ТИП БЛОКА.

Маленькая хитрость: можно выделить произвольную область и пометить любым типом блок. Например выделим ту часть текста, которая плохо распознается, при помощи левой клавиши мыши (нажимает, удерживаем и тянем, рамка меняет размер).

В итоге документ в Word-е будет иметь блок текста и блок картинка. Блок картинка будет иметь абсолютно неизменный вид. Данный способ я использую при сохранении печатей, нестандартных шрифтов, картинок, фотографий.

ЗЫ: Знания и умения работать с PDF, сканировать и распознавать документы очень часто выручают в офисной работе. Знание — экономит Ваше время!

Не пропусти самое интересное!
Подписывайтесь на нас в Facebook и Вконтакте!

Как распознать картинки и тексты на телефоне с помощью ML Kit

Два года назад Сундар Пичаи, глава Google, рассказал о том, что компания из mobile-first становится AI-first и фокусируется на машинном обучении. Год спустя вышел Machine Learning Kit — набор инструментов, с которым можно эффективно использовать ML на iOS и Android.

Об ML Kit очень много говорят в США, но на русском языке информации почти нет. А так как мы используем его для некоторых задач в Яндекс.Деньгах, я решил поделиться опытом и показать на примерах, как с его помощью можно делать интересные вещи.

Меня зовут Юра, последний год я работаю в команде Яндекс.Денег над мобильным кошельком. Мы поговорим про машинное обучение в мобайле.

Прим. редакции: этот пост — пересказ доклада Юрия Чечёткина «From mobile first to AI first» с митапа Яндекс.Денег Android Paranoid.

Что такое ML Kit?

Это мобильный SDK от Google, который позволяет использовать легко использовать машинное обучение на устройствах с Android и iOS. Необязательно быть экспертом в ML или в искусственном интеллекте, потому что в несколько строчек кода можно реализовать очень сложные вещи. Более того, необязательно знать, как работают нейронные сети или оптимизация моделей.

Что же может ML Kit?

Базовые возможности достаточно широкие. Например, можно распознавать текст, лица, находить и отслеживать объекты, создавать метки для изображений и собственные модели классификации, сканировать штрих-коды и QR-метки.

Распознавание QR-кодов мы уже использовали в приложении Яндекс.Денег.

Ещё в ML Kit есть

1. Распознавание ориентиров;
2. Определение языка, на котором написан текст;
3. Перевод текстов на устройстве;
4. Быстрый ответ на письмо или сообщение.

Кроме огромного количества методов из коробки, есть поддержка кастомных моделей, что практически дает безграничные возможности — например, можно раскрашивать черно-белые фотографии и делать их цветными.

Важно, что для этого не нужно использовать какие-то сервисы, API или бэкенд. Всё можно делать прямо на устройстве, так мы не нагружаем трафик пользователя, не получаем кучу ошибок, связанных с сетью, не должны обрабатывать кучу кейсов, например, отсутствие интернета, потери связи и так далее. Более того, на девайсе это работает намного быстрее, чем через сеть.

Распознавание текста

Задача: дана фотография, нужно получить текст, обведенный в прямоугольником.

Начинаем с зависимости в Gradle. Достаточно подключить одну зависимость, и мы уже готовы работать.

dependencies {
  // ...
  implementation'com.google.firebase:firebase-ml-vision:20.0.0'
}

Стоит указать метаданные, которые говорят, что модель будет загружена на устройство во время скачивания приложения из Play Market. Если не сделать этого и обращаться к API без модели, то получим ошибку, а модель придется скачивать в фоновом режиме. Если нужно использовать несколько моделей, желательно их указывать через запятую. В нашем примере используем модель OCR, а название остальных можно посмотреть в документации.

<application ...>
  ...
  <meta-data
      android:name="com.google.firebase.ml.vision.DEPENDENCIES"
      android:value="ocr" />
  <!-- To use multiple models: android:value="ocr,model2,model3" -->
</application>

После конфигурации проекта нужно задать входные значения. ML Kit работает с типом FirebaseVisionImage, у нас есть таких пять методов, сигнатуру которых я выписал ниже. Они конвертируют привычные типы Android и Java в типы ML Kit, с которыми ему удобно работать.

fun fromMediaImage(image: Image, rotation: Int): FirebaseVisionImage

fun fromBitmap(bitmap: Bitmap): FirebaseVisionImage

fun fromFilePath(context: Context, uri: Uri): FirebaseVisionImage

fun fromByteBuffer(
byteBuffer: ByteBuffer, 
metadata: FirebaseVisionImageMetadata
   ): FirebaseVisionImage

fun fromByteArray(
bytes: ByteArray, 
metadata: FirebaseVisionImageMetadata
): FirebaseVisionImage

Обратите внимание на последние два — они работают с массивом байтов и с байтовым буфером, и нам надо указать метаданные, чтобы ML Kit понимал, как это всё обрабатывать. Метаданные, по сути, описывают формат, в данном случае это ширина и высота, формат по умолчанию, IMAGE_FORMAT_NV21 и и rotation.

val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(480)
        .setHeight(360)
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .setRotation(rotation)
        .build()

val image = FirebaseVisionImage.fromByteBuffer(buffer, metadata)

Когда входные данные собраны, создаем детектор, который будет распознавать текст.

Существует два вида детекторов, на устройстве и в облаке, они создаются буквально в одну строчку. Стоит отметить, что детектор на устройстве работает только с английским языком. Облачный детектор поддерживает больше 20 языков, их нужно указать в специальном методе setLanguageHints.

//  onDevice
val detector = FirebaseVision.getInstance().getOnDeviceTextRecognizer()

// onCloud with options
val options = FirebaseVisionCloudTextRecognizerOptions.Builder()
        .setLanguageHints(arrayOf("en", "ru"))
        .build()
val detector = FirebaseVision.getInstance().getCloudTextRecognizer(options)

Количество поддерживаемых языков больше 20, они все есть на официальном сайте. В нашем примере — только английский и русский.

После того как есть входные данные и детектор, достаточно вызвать на этом детекторе метод processImage. Получаем результат в виде таска, на который вешаем два колбэка — на успех и на ошибку. На ошибку приходит стандартный exсeption, а на успех от onSuccessListener приходит тип FirebaseVisionText.

val result: Task<FirebaseVisionText> = detector.processImage(image)
        .addOnSuccessListener { result: FirebaseVisionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { exception: Exception ->
            // Task failed with an exception
            // ...
        }

Как работать с типом FirebaseVisionText?

Он состоит из текстовых блоков (TextBlock), те в свою очередь состоят из строк (Line), а строки из элементов (Element). Они вложены друг в друга.

Более того, у каждого из этих классов есть пять методов, которые возвращают разные данные об объекте. Прямоугольник – та область, где находится текст, confidence – точность распознанного текста, corner points – угловые точки по часовой стрелке, начиная с левого верхнего угла, распознанные языки и сам текст.

FirebaseVisionText contains a list of 
FirebaseVisionText.TextBlock which contains a list of 
FirebaseVisionText.Line which is composed of a list of 
FirebaseVisionText.Element.

fun getBoundingBox(): Rect // axis-aligned bounding rectangle of the detected text

fun getConfidence(): Float // confidence of the recognized text

fun getCornerPoints(): Array<Point> // four corner points in clockwise direction

fun getRecognizedLanguages(): List<RecognizedLanguage> // a list of recognized languages

fun getText(): String //recognized text as a string

Для чего это нужно?

Мы можем распознать как весь текст на картинке, так и отдельные его абзацы, куски, строчки или просто слова. И как пример, мы можем перебирать, на каждом этапе брать текст, брать границы этого текста, и отрисовывать. Очень удобно.

Мы планируем использовать этот инструмент в нашем приложении для распознавания банковских карт, надписи на которых расположены нестандартно. Далеко не все библиотеки распознавания карт работают хорошо, и для кастомных карт ML Kit был бы очень полезным. Поскольку текста немного, его очень легко обрабатывать таким способом.

Распознавание объектов на фото

На примере следующего инструмента хотел бы показать, что принцип работы примерно одинаковый. В данном случае распознавание того, что изображено на объекте. Также создаем два детектора, один на девайсе, другой на облаке, в качестве параметров можем указать минимальную точность. По умолчанию 0,5, указали 0,7, и готовы к работе. Также получаем результат в виде FirebaseImageLabel, это список лейблов, каждый из которых содержит ID, описание и точность.

// onDevice
val detector: FirebaseVisionImageLabeler = FirebaseVision
 .getInstance()
 .getOnDeviceImageLabeler()

 // onCloud with minimum confidence
val options = FirebaseVisionCloudImageLabelerOptions.Builder()
     .setConfidenceThreshold(0.7f)
     .build()

val detector: FirebaseVisionImageLabeler = FirebaseVision
.getInstance()
.getCloudImageLabeler(options)

Гарольд, скрывающий счастье

Можно попробовать понять, насколько хорошо Гарольд скрывает боль и счастлив ли он при этом. Используем инструмент распознавания лица, который, помимо распознавания черт лица, может сказать, насколько человек счастлив. Как оказалось, Гарольд счастлив на 93%. Либо он очень хорошо скрывает боль.

От легкого к легкому, но чуть более сложному. Кастомные модели.

Задача: классификация того, что изображено на фото.

Я сфотографировал ноутбук, и распознался модем, десктоп-компьютер и клавиатура. Похоже на правду. Есть тысяча классификаторов, и он берет три из них, которые лучше всего описывают эту фотографию.

При работе с кастомными моделями мы можем также работать с ними как на устройстве, так и через облако.

Если работаем через облако, нужно зайти в Firebase Console, во вкладку ML Kit, и в тап custom, где мы можем загрузить нашу модель в TensorFlow Lite, потому что ML Kit работает с моделями именно на этом разрешении. Если используем на девайсе, то можем просто положить модель в любую часть проекта в качестве ассета.

Указываем зависимость на интерпретатор, который умеет работать с кастомными моделями, и не забываем также о разрешении работы с интернетом.

<uses-permission android:name="android.permission.INTERNET" />

dependencies {
  // ...
  implementation 'com.google.firebase:firebase-ml-model-interpreter:19.0.0'
}

Для тех моделей, которые находятся на девайсе, надо в Gradle указать, что модель не стоит сжимать, потому что она может исказиться.

android {
    // ...
    aaptOptions {
        noCompress "tflite" // Your model's file extension: "tflite"
    }
}

Когда сконфигурировали всё в нашей среде, мы должны задать специальные условия, которые включают в себя, например, использование Wi-Fi, также с Android N доступно require charging и require device idle — эти условия показывают, что телефон заряжается или находится в режиме ожидания.

var conditionsBuilder: FirebaseModelDownloadConditions.Builder =
        FirebaseModelDownloadConditions.Builder().requireWifi()

if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {
    // Enable advanced conditions on Android Nougat and newer.
    conditionsBuilder = conditionsBuilder
            .requireCharging()
            .requireDeviceIdle()
}
val conditions: FirebaseModelDownloadConditions = conditionsBuilder.build()

Когда мы создаем удаленную модель, мы задаем условия инициализации и обновления, а также флаг, нужно ли обновлять нашу модель. Название модели должно совпадать с тем, которое мы указали в консоли Firebase. Когда создали удаленную модель, мы должны зарегистрировать её в Firebase Model Manager.

val cloudSource: FirebaseRemoteModel = FirebaseRemoteModel.Builder("my_cloud_model")
        .enableModelUpdates(true)
        .setInitialDownloadConditions(conditions)
        .setUpdatesDownloadConditions(conditions)
        .build()

FirebaseModelManager.getInstance().registerRemoteModel(cloudSource)

Те же шаги делаем для локальной модели, указываем ее имя, путь до модели, и регистрируем её в Firebase Model Manager.

val localSource: FirebaseLocalModel = FirebaseLocalModel.Builder("my_local_model")
        .setAssetFilePath("my_model.tflite")
        .build()

FirebaseModelManager.getInstance().registerLocalModel(localSource)

После этого надо создать такие опции, где мы указываем имена наших моделей, устанавливаем удаленную модель, устанавливаем локальную модель и создаем интерпретатор с этими опциями. Мы можем указать либо удаленную модель, либо только локальную, и интерпретатор будет сам понимать, с какой работать.

val options: FirebaseModelOptions = FirebaseModelOptions.Builder()
        .setRemoteModelName("my_cloud_model")
        .setLocalModelName("my_local_model")
        .build()

val interpreter = FirebaseModelInterpreter.getInstance(options)

Ml Kit не знает ничего о формате входных и выходных данных кастомных моделей, поэтому нужно их указать.

Входные данные — многомерный массив, где 1 — количество изображений, 224х224 это разрешение, и 3 — трехканальное RGB изображение. Ну и тип данных – байты.

val input = intArrayOf(1, 224, 224, 3) //one 224x224 three-channel (RGB) image 
val output = intArrayOf(1, 1000) 

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
        .setInputFormat(0, FirebaseModelDataType.BYTE, input)
        .setOutputFormat(0, FirebaseModelDataType.BYTE, output)
        .build()

Выходные значения – 1000 классификаторов. Задаем формат входных и выходных значений в байтах с указанными многомерными массивами. Помимо байтов также доступны float, long, int.

Теперь задаём входные значения. Берем Bitmap, сжимаем до 224 на 224, конвертируем в ByteBuffer и создаем входные значения с помощью FirebaseModelInput с помощью специального билдера.

val bitmap = Bitmap.createScaledBitmap(yourInputImage, 224, 224, true)
val imgData = convertBitmapToByteBuffer(bitmap)

val inputs: FirebaseModelInputs = FirebaseModelInputs.Builder()
        .add(imageData)
        .build()

И теперь, когда есть интерпретатор, формат входных и выходных значений и сами входные значения, мы можем выполнить запрос с помощью метода run. Всё перечисленное передаем в качестве параметров, и в результате получаем FirebaseModelOutput, который внутри себя содержит дженерик указанного нами типа. В данном случае это был массив Byte, получив который, мы можем приступить к обработке. Это как раз та тысяча классификаторов, которую мы просили, и мы выводим, например, топ-3 наиболее подходящих.

interpreter.run(inputs, inputOutputOptions)
        .addOnSuccessListener { result: FirebaseModelOutputs ->
            val labelProbArray = result.getOutput<Array<ByteArray>>(0)
               //handle labelProbArray
        }
        .addOnFailureListener(
                object : OnFailureListener {
                    override fun onFailure(e: Exception) {
                        // Task failed with an exception
                    }
                })

Реализация за один день

Всё достаточно легко в реализации, и распознавание объектов встроенными срествами можно реализовать буквально за один день. Инструмент доступен на iOS и на Android, к тому же, можно использовать одну и ту же модель TensorFlow для обеих платформ.

Помимо этого есть куча методов, доступных из коробки, которые могут покрыть множество кейсов. Большинство API доступны на девайсе, то есть распознавание будет работать даже без интернета.

И самое главное – поддержка кастомных моделей, которые можно использовать как угодно и для любых задач.

Полезные ссылки

Документация по ML Kit

Демо-проект по ML Kit на Github

Machine Learning for mobile with Firebase (Google I/O’19)

Machine Learning SDK for mobile developers (Google I/O’18)

Creating a credit card scanner using Firebase ML Kit (Medium.com)

python — Читать текст с картинки

У меня есть такая фотография:

Я пытался прочитать его с pytesseract в Python:

from PIL import Image
import pytesseract
import numpy 
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
im = Image.open("11.jpg")
text = pytesseract.image_to_string(im,lang = "eng")
print(text)

Но pytesseract не могу прочитать это. Я тоже пытался opencv, но не могу найти решение.

0

mr php

2 Фев 2020 в 20:02

2 ответа

Лучший ответ

Перед применением оптического распознавания текста к изображению необходимо предварительно обработать изображение. Простой подход предварительной обработки состоит в том, чтобы увеличить изображение, получить двоичное изображение, используя порог Оцу, выполнить морфологические операции, а затем оптическое распознавание изображения.

Увеличить, размытие по Гауссу и порог Оцу

Морф открыт

Морф близко

Инвертировать, применить небольшое размытие и OCR

Результат из Pytesseract OCR image_to_string с использованием параметра конфигурации --psm 6 для обработки изображения как одного блока текста.

xc2kc2

Код

import cv2
import pytesseract
import imutils

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Resize, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread('1.jpg')
image = imutils.resize(image, width=400)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (5,5), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Perform morphological operations
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))
opening = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations=1)
close = cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel, iterations=3)

# Invert, Blur, and perform text extraction
invert = 255 - cv2.GaussianBlur(close, (3,3), 0)
data = pytesseract.image_to_string(invert, lang='eng',config='--psm 6')
print(data)

cv2.imshow('thresh', thresh)
cv2.imshow('opening', opening)
cv2.imshow('close', close)
cv2.imshow('invert', invert)
cv2.waitKey()

1

nathancy
3 Фев 2020 в 22:22

В этом блоге есть пост, в котором блоггер упоминает о попытке использовать tesseract, { {X1}} и ocrad для чтения текста с картинки.

Ключевым шагом является очистка изображения, прежде чем пытаться прочитать его. В примере, приведенном на этом сайте, используется простой пороговый фильтр, но, поскольку ваше изображение цветное, оно может работать не так хорошо.

Вам следует поэкспериментировать с различными методами обработки изображений, чтобы увидеть, сможете ли вы достаточно очистить изображение, чтобы распознать текст.

Сказав вышесказанное, я повторю комментарий @ SiHa и предположу, что эта деятельность неэтична. Попытка подорвать защиту CAPTCHA показывает отсутствие уважения к владельцу сервера, независимо от того, делают ли они это для защиты своей пропускной способности или своего бизнеса.

0

scign
2 Фев 2020 в 17:40

2 эффективных способа извлечения текста из изображений и распечаток файлов в документ Word с помощью OCR

2 эффективных способа извлечения текста из изображений и распечаток файлов в документ Word с помощью OCR

В этой статье есть 2 способа извлечения текста из изображений и распечаток файлов в документ Word с помощью оптического распознавания текста.

Word поддерживает оптическое распознавание символов (OCR). С помощью этой функции вы можете извлекать текст из изображения или распечатки файла в документ Word.Такой отличный инструмент позволяет нам вносить дальнейшие изменения в эти тексты. Вот два подробных подхода к этому.

Метод 1. Использование Microsoft Office Document Image Writer в Word 2003

1. Сначала откройте Word 2003. Щелкните вкладку «Вставка» в строке меню и выберите «Изображение».
2. Затем выберите «Из файла».
3. Вы можете повторить два вышеуказанных шага, чтобы вставить несколько изображений в документ.
4. Затем щелкните «Файл», а затем «Печать», чтобы вызвать диалоговое окно «Печать». Или вместо этого нажмите «Ctrl + P».
5. В диалоговом окне «Печать» выберите принтер «Microsoft Office Document Image Writer».
6. Убедитесь, что «Все» выбрано для «Диапазон страниц».
7. Затем нажмите «ОК».
8. В появившемся окне «Сохранить как» выберите место для хранения и нажмите «Сохранить».
9. Теперь в окне «Microsoft Office Document Imaging» с помощью мыши нарисуйте квадратную рамку, чтобы включить раздел, в котором находится текст для извлечения.
10. Затем щелкните правой кнопкой мыши и выберите «Копировать». Следующее, что вы видите, это выделение всех текстов в нарисованном вами поле.
11. Наконец, откройте документ Word и вставьте туда текст, например, ниже:

Как видите, он не может правильно распознавать все слова. Но все же это намного быстрее, чем вводить их вручную.

Метод 2. Использование оптического распознавания текста в OneNote в Word 2010

1. Прежде всего, вставьте картинки в документ Word.
2. Затем нажмите «Файл» и затем нажмите «Печать».
3. Затем выберите принтер «Отправить в OneNote 2010».
4. И выберите печать всех страниц.
5. Нажмите кнопку «Печать».
6. Итак, вы запустили OneNote. В окне «Выбрать расположение в OneNote» выберите «Страница без названия» или «Новый раздел 1», чтобы сохранить содержимое для печати.
7. Затем нажмите «ОК».
8. Затем щелкните распечатку и щелкните правой кнопкой мыши.
9. Выберите «Копировать текст со всех страниц распечатки».
10. Откройте пустой документ Word и вставьте туда текст.

Защитите свой документ Word

Легко понять, что Word не застрахован от коррупции.Собственно, никакое программное обеспечение не делает. Поэтому необходимы некоторые профилактические действия. Например, вы можете регулярно выполнять резервное копирование документов. Кроме того, было бы разумно получить инструмент для исправления поврежденного docx.

Автор Введение:

Вера Чен (Vera Chen) — эксперт по восстановлению данных в компании DataNumen, Inc., которая является мировым лидером в области технологий восстановления данных, включая программные продукты для восстановления Excel и восстановления PDF. Для получения дополнительной информации посетите www.datanumen.com

Обнаружение и извлечение текста

с использованием OpenCV и OCR

OpenCV (компьютерное зрение с открытым исходным кодом) — это библиотека функций программирования, в основном предназначенных для компьютерного зрения в реальном времени.OpenCV в Python помогает обрабатывать изображение и применять различные функции, такие как изменение размера изображения, манипуляции с пикселями, обнаружение объектов и т. Д. В этой статье мы узнаем, как использовать контуры для обнаружения текста в изображении и сохранения его в текстовый файл.
Необходимые установки:

 pip install opencv-python
pip install pytesseract 

Пакет OpenCV используется для чтения изображения и выполнения определенных методов обработки изображений. Python-tesseract — это оболочка для Google Tesseract-OCR Engine, которая используется для распознавания текста на изображениях.
Загрузите исполняемый файл tesseract по этой ссылке.
Подход:
После необходимого импорта образец изображения считывается с помощью функции imread opencv.

Внимание компьютерщик! Укрепите свои основы с помощью курса Python Programming Foundation и изучите основы.

Для начала подготовьтесь к собеседованию. Расширьте свои концепции структур данных с помощью курса Python DS . И чтобы начать свое путешествие по машинному обучению, присоединитесь к Машинное обучение — курс базового уровня

Применение обработки изображений для изображения:

Цветовое пространство изображения сначала изменяется и сохраняется в переменной.Для преобразования цвета мы используем функцию cv2.cvtColor (input_image, flag). Второй параметр flag определяет тип преобразования. Мы можем выбрать между cv2.COLOR_BGR2GRAY и cv2.COLOR_BGR2HSV . cv2.COLOR_BGR2GRAY помогает нам преобразовать изображение RGB в изображение с оттенками серого, а cv2.COLOR_BGR2HSV используется для преобразования изображения RGB в изображение цветового пространства HSV (оттенок, насыщенность, значение). Здесь мы используем cv2.COLOR_BGR2GRAY . К преобразованному изображению применяется порог с использованием cv2.пороговая функция.
Существует 3 типа порогового значения:

1. Простое пороговое значение
2. Адаптивное пороговое значение
3. Бинаризация Оцу

Для получения дополнительной информации о пороговом значении см. Методы пороговой обработки с использованием OpenCV.
cv2.threshold () имеет 4 параметра, первый параметр — изображение с измененным цветовым пространством, за ним следует минимальное пороговое значение, максимальное пороговое значение и тип порогового значения, которое необходимо применить.

Чтобы получить прямоугольную конструкцию:

cv2.getStructuringElement () используется для определения структурных элементов, таких как эллиптические, круглые, прямоугольные и т. д. Здесь мы используем прямоугольный структурный элемент (cv2.MORPH_RECT). cv2.getStructuringElement принимает дополнительный размер параметра ядра . Ядро большего размера могло бы объединить большие блоки текста в группу. После выбора правильного ядра к изображению применяется расширение с помощью функции cv2.dilate. Расширение позволяет более точно определять группы текста, так как расширяет (расширяет) текстовый блок.

Поиск контуров:

cv2.findContours () используется для поиска контуров на расширенном изображении. В cv.findContours () есть три аргумента: исходное изображение, режим поиска контура и метод аппроксимации контура.
Эта функция возвращает контуры и иерархию. Контуры — это список всех контуров изображения на языке Python. Каждый контур представляет собой массив Numpy (x, y) координат граничных точек в объекте. Контуры обычно используются для поиска белого объекта на черном фоне.Все вышеперечисленные методы обработки изображений применяются так, что Contours может обнаруживать граничные края блоков текста изображения. Текстовый файл открывается в режиме записи и сбрасывается. Этот текстовый файл открывается для сохранения текста из вывода OCR.

Применение OCR:

Прокрутите каждый контур и возьмите координаты x и y, а также ширину и высоту с помощью функции cv2.boundingRect (). Затем с помощью функции cv2.rectangle () нарисуйте прямоугольник на изображении, используя полученные координаты x и y, а также ширину и высоту.В cv2.rectangle () есть 5 параметров, первый параметр определяет входное изображение, за ним следуют координаты x и y (начальные координаты прямоугольника), конечные координаты прямоугольника (x + w, y + h), цвет границы прямоугольника в значении RGB и размер границы. Теперь обрежьте прямоугольную область и затем передайте ее тессеракту, чтобы извлечь текст из изображения. Затем мы открываем созданный текстовый файл в режиме добавления, чтобы добавить полученный текст и закрыть файл.
Пример изображения, используемого для кода:

Python3

Вывод:
Окончательный текстовый файл:

Обнаружены блоки текста:

Как применить OCR для распознавания текста из любого изображения с помощью Python | от Ivy Professional School

Недавно меня осенила интригующая мысль. При всей автоматизации и технологическом прогрессе, с которыми мы сталкиваемся каждый день, я начал задаваться вопросом, можно ли в электронном виде прочитать текст с любого изображения.Я обратился к всеведущему гуглу за ответами и вуаля! Благодаря Google я понял, что эта мысль пришла мне в голову с опозданием на несколько десятилетий. Для начала я наткнулся на такие термины, как «Компьютерное зрение» и «Оптическое распознавание символов». Тем не менее я решил шагнуть в этот новый мир компьютерного зрения и попробовать себя. Моя цель в этом посте - дать вам представление о компьютерном зрении и оптическом распознавании символов (OCR). Будет очень интересно посмотреть, как мы можем извлекать текст из изображения с помощью Python.

Компьютерное зрение - это область компьютерных наук, в которой мы хотим позволить компьютерам идентифицировать и обрабатывать изображения и объекты так же, как это делаем мы, люди. Это также включает предоставление полезных результатов, основанных на наблюдении. Позвольте мне уточнить некоторые практические примеры.

• Одна из наиболее заметных областей применения - это медицинское компьютерное зрение. Мы извлекаем информацию из данных изображения, которая помогает диагностировать пациента. Примером этого является обнаружение опухолей, атеросклероза или других злокачественных изменений.
• Сканер текста - еще одно широко используемое приложение для компьютерного зрения. Благодаря этому мы можем сканировать любой текст с изображения с помощью оптического распознавания символов, отображать текст на экране и выполнять любые дальнейшие операции / задачи.

OCR - это раздел компьютерного зрения. Несмотря на то, что это не требует пояснений, это метод распознавания текста внутри цифрового изображения физического документа, например, отсканированного документа, а также его можно напрямую преобразовать в редактируемый текстовый редактор.

Объяснив эти термины, перейдем к выбору двух изображений, с которых мы хотим прочитать текст. Иногда от нас требуется прочитать изображение по URL-адресу. Я выбрал изображение, доступное как URL. Другой - текстовое изображение, которое я взял в Google. Я поделился обоими ниже.

Давайте перейдем к Python и к коду для извлечения текста из этих изображений. Предоставленный код написан на Google Colab.

Во-первых, нам нужно установить и / или импортировать необходимые библиотеки. Кратко рассмотрим используемые библиотеки.

Pytesseract - Python-tesseract - это инструмент оптического распознавания символов (OCR) для Python. Он может распознавать и читать текст, встроенный в изображения.

IO - Модуль io предоставляет основные возможности Python для работы с различными типами ввода-вывода.

BytesIO - Двоичный ввод-вывод (также называемый буферизованным вводом-выводом ) ожидает байтовые объекты и создает байтовые объекты. Кодирование, декодирование или перевод новой строки не выполняется. Эта категория потоков используется для всех видов нетекстовых данных.

Запросы - Запросы позволяют отправлять обычных, «травяных» запросов HTTP / 1.1 без необходимости ручного труда. Это помогает получить HTML-код любого веб-сайта.

PIL - Библиотека изображений подушек - это бесплатная библиотека для языка программирования Python, которая добавляет поддержку для открытия, управления и сохранения множества различных форматов файлов изображений.

Ниже приведен код -

1

2

3

4

5

6

7

8

9

10

11

12

12 sudo & nbsp; apt & nbsp; install & nbsp; tesseract-ocr

! pip & nbsp; install & nbsp; pytesseract

import & nbsp; pytesseract

;