Обработка документов при помощи технологий искусственного интеллекта

Наше будущее очень светлое. Через десять лет вам будет идти навстречу человек, а всю информацию о нём вы сможете узнать из вашего телефона.

Анатолий Темкин

Многие с младенчества знают как удобен голосовой помощник, не задумываясь подтверждают банковские операции прикосновением к датчику отпечатков пальцев, потребляет килотонны таргетированных рекламных предложений, удивительным образом настроенных по их вкусу.

Однако, не многие задумываются о том, что данные удобства — это не просто хитроумные алгоритмы, составленные программистами, не просто последовательное выполнение программных инструкций, но результат работы электронных мозгов, которые без сна и выходных собирают информацию о человеке, аккуратно сохраняют её, а самое главное — способны на обработку информации и самостоятельное принятие решений по схожим с человеческим интеллектом принципам. Все это и многое другое — плоды развития систем искусственного интеллекта.

В данной статье мы хотим рассказать о том, как технологии искусственного интеллекта (ИИ) помогают нам добиваться высоких результатов в автоматизации документооборота и смежных бизнес-процессов.

Оставить заявку
o1
o5
Технологии искусственного интеллекта
Интеллект

Для такого понятия как искусственный интеллект не существует общепринятого научного определения, мы можем говорить только о том, что неким императивом в данном случае является способность справиться с условно творческими задачами, которые не имеют формального логического решения.

схема

Другими словами, технология относится к разделу ИИ, когда она может из никаких, либо из весьма неполных исходных данных, произвести на свет решение не хуже человека, или по крайней мере сравнимое с человеческим. Однако, и данные варианты определения не точны и не обобщают всего разнообразия технологий ИИ, рассмотрим некоторые из них.

o1
o5
Оптическое распознавание текстов

Область искусственного интеллекта, обучающая компьютеры интерпретировать и понимать визуальный мир, называется компьютерным зрением. Используя цифровые изображения с камер, видео и модели глубокого обучения, компьютеры точно идентифицируют и классифицируют объекты.

 

Технология оптического распознавания текста (англ. Optical Character Recognition – OCR) является одной из ветвей развития компьютерного зрения, которая отвечает за распознавание текстовой информации. Данная технология является одной из наиболее коммерчески освоенных и имеющих большое прикладное значение.

 

Стоит отметить, что отечественные программные инструменты, разработанные на основе данной технологии, занимают лидирующие позиции на мировом рынке. Наиболее значительные успехи в развитии технологии OCR были достигнуты с появлением нейронных сетей.

 

Современные системы распознавания текста применяют технологии глубокого обучения для идентификации текстовых символов на основании характерных для данного символа атрибутов. Система не пытается запомнить все варианты написания, наклона, шрифта или размера, но запоминает особенные для данного символа черты. К таким особенностям могут относиться, например, направление линии сгиба, взаимное расположение линий, или их количество.

 

Используя фильтрацию и ряд действий через глубокие сетевые слои, нейронные сети могут объединить все найденные признаки и сопоставить полученный набор с определенным символом.

Данный процесс можно сравнить с тем, как собирается пазл. На завершающем этапе процедуры распознавания текста используется словарь слов для нахождения и исправления ошибок по контексту.

 

Результатом распознавания документа является формирование текстовых файлов формата HTML содержащих распознанный текст документа и информацию о расположении элементов распознанного текста на исходном растровом изображении.

В таком состоянии документы могут хранится в системе электронного архива, экономя офисное пространство, и, что более ценно, обеспечивая быстрый поиск необходимых страниц на основании распознанного текста документа.

o1
o5
Роботизация производственных процессов

Технология роботизации производственных процессов (англ. Robotic Process Automation — RPA) является органическим продолжением эпохи внедрения автоматизированных систем в различных сферах экономики.

 

Попытки компаний создать единую систему, позволяющую автоматизировать все и сразу столкнулись с невозможностью собрать такую команду исполнителей, которая могла бы одинаково хорошо разбираться во всех автоматизируемых сферах экономической деятельности.

 

Нишевые системы, разрабатываемые профильно-ориентированными командами, показали большую гибкость и эффективность, что повсеместно приводит к параллельному внедрению множества систем в пределах одной компании.

 

Пользователи вынужденные копировать данные из одного окна в другое, занимаются подобными рутинными операциями до 70% рабочего времени, что в итоге подтолкнуло ИТ индустрию, к созданию технологии, облегчающей данный труд. RPA это технология, которая позволяет автоматизировать выполнение рутинных операций по регистрации данных в различных корпоративных системах как с применением пользовательских интерфейсов (интерактивно), так и с применением интерфейсов программных (не интерактивно).

 

Робот не сразу приступает к работе пользователя. Сначала специалисты записывают сценарии выполнения тех или иных операций пользователя, полученные сценарии обрабатывается программистами, дополняются необходимыми условиями и проверками.

После этого готовые сценарии размещаются в виде рабочей программы – робота на сервере или на клиентском компьютере.

 

Интерактивный робот, размещенный на рабочей машине секретаря, поможет быстро рассортировать входящие и исходящие документы по видам, или направлениям деятельности, или контрагентам, обеспечит регистрацию документа в системах документооборота, создаст события или напоминания в системе управления задачами и т.п.

 

Различного рода не интерактивные роботы, размещенные на серверах компаний, могут обеспечивать копирование файлов документов, могут контролировать формирование сложных отчетов, могут выполнять операции в корпоративных системах с использованием программных интерфейсов.

К роботам так же можно отнести алгоритмы, обеспечивающие выполнение множества отдельных операций внутри одного программного комплекса.

Например, такие алгоритмы используются для поиска и проверки корректности заполнения параметров документов, прошедших процедуру оптического распознавания текста и сохраненных в корпоративной базе данных.

Для каждого параметра формируется отдельный алгоритм, который запускается только в том случае, если настройки системы предписывают анализ данного параметра в документе данного вида.

Данная технология является одной из ключевых и наиболее перспективных областей ИИ, поскольку позволяет существенно ускорить выполнение рутинных пользовательских операций и предоставляет человеку больше времени для решения творческих задач.

o1
o5
Машинное обучение

Машинное обучение (англ. Machine Learning – ML) — это область искусственного интеллекта, основанная на гипотезе, что системы могут учиться выявлять зависимости на основе заранее подготовленных данных. Особенность технологии в том, что она более может быть отнесена к области математики, нежели к информатике.

 

Программная реализация здесь является лишь средством, вишенкой на тортике, а основная суть заключается в математическом аппарате.

Предположим, в массиве имеющихся у нас данных имеется некоторая зависимость, но мы не знаем, как точно данная зависимость выражается. Если говорить языком математики, нам не известна функция f(X), которая наилучшим образом соотносит входные переменные X и выходную переменную Y:Y = f(X). Процедуру машинного обучения можно представить как обучение целевой функции f(X) таким образом, чтобы впоследствии она могла сопоставлять наборы входных параметров и значений, и выдавать соответствующий, приемлемый с точки зрения человека, результат.

При этом данная технология имеет определенные требования к обучающим данным, которые на профессиональном языке называются датасетом (англ. Data set).

Данное требование заключается в том, чтобы данные датасета были обязательно отсортированы, или, иными словами, размечены, по искомому набору признаков.

 

Наиболее впечатляющие результаты технология машинного обучения показала в области анализа больших объемов данных. В качестве примера можно привести задачу по анализу типа документа по его образу и распознанному тексту.

Чтобы научить машину самостоятельно определять является ли распознанный документ счетом-фактурой, товарной накладной или договором на оказание услуг, требуется обучить её сортировать документы на основании той информации, которая получена на этапе распознавания текста.

 

Сложность данной процедуры в том, что описать одним алгоритмом все условия, при которых конкретный документ может быть (со сто процентной уверенностью) отнесен к тому или иному виду, зачастую, либо очень сложно, либо невозможно вовсе.

Технология машинного обучения, в рамках рассматриваемой задачи, позволяет выявить зависимость в принимаемых человеком решениях при классификации документов по типам.

Чем больше документов, размеченных с точки зрения их типа, будет предоставлено в процессе обучения машинного алгоритма, тем точнее будет результат.

 

Важно отметить, что алгоритмы машинного обучения могут автоматически до обучаться на основании вновь поступающих примеров. В системе АИС «РИО» данная особенность реализована через возможность отправлять на рассмотрение человеку-эксперту тех случаев, в которых машина не смогла найти решения самостоятельно.

После принятия решения экспертом обработанные данные с указанием типа поступают на вход алгоритма машинного обучения в качестве обучающего примера.

После обработки нескольких таких случаев система запоминает зависимости и корректирует алгоритм целевой функции, чтобы в дальнейшем не беспокоить эксперта по данному вопросу.

o1
o5
Глубокое обучение

Глубокое обучение – это тип машинного обучения, который обучает компьютер выполнять задачи с использованием принципа организации цепочек нейронных связей, устроенных по тем же принципам что и нейроны памяти в человеческом мозге.

 

Вместо того, чтобы заранее готовить данные для приближения машинного алгоритма к некой математической зависимости, как это происходит при машинном обучении, глубокое обучение устанавливает базовые параметры данных и обучает специальную многослойную сетевую структуру (нейронную сеть) самостоятельно распознавать искомые шаблоны с использованием множества слоев обработки.

Для того, чтобы обучить нейронную сеть работе с определенным видом данных требуется наличие большого числа примеров советующего характера.

Данные могут быть самого различного типа: числовые, текстовые, графические, аудио, например таблица с числовыми данными, или набор фотографий.

При этом характерной особенностью данной технологии является то, что она не требует предварительной сортировки данных по набору признаков, т. е. не требует разметки, как это происходит в машинном обучении.

 

Способность самостоятельно обучаться на примерах без помощи человека делает данную технологию незаменимой в тех случаях, когда невозможно предоставить необходимую выборку или цена реализации обучающей выборки слишком высока.

Нейронные сети используются для решения сложных задач, которые требуют аналитических вычислений подобных тем, что делает человеческий мозг.

 

Самыми распространенными применениями нейронных сетей является:

1. Классификация — распределение данных по параметрам. Данный тип НС находит широкое применение в банковской сфере при анализе платежеспособности заемщиков на основании данных о возрасте, уровне дохода, семейном положении и т. п. 2.

 

Предсказание — возможность предсказывать следующий шаг. Примером здесь служит широкое применение НС в различного рода финансовых инструментах, помогающих анализировать тренды и предсказывать поведение биржевых котировок.

3. Распознавание — возможно, одно из самых распространенных направлений с точки зрения применения в повседневной жизни.

Нейронные сети помогают распознавать положение лица на фотоснимке, признаки жизни на съемках спасательных дронов, эффективно распознают текстовые символы и могут определить тип текстового документа в целом.

 

Благодаря высокой эффективности в условиях недостаточной точности данных и способности к самообучению нейронные сети широко применяются в АИС «РИО» как на этапе распознавания, так и на этапах сортировки и идентификации атрибутов документа.

o4
o5
Результат
Результат

В данной статье мы привели лишь несколько технологий ИИ, имеющих наибольшее практическое применение в процессах распознавания документов. Сказать, что одна из них лучше или хуже нельзя. Все зависит от поставленной Заказчиком задачи.

Сотрудничая с нами, Вы можете рассчитывать на нашу экспертизу как в вопросах выбора оптимального технологического стека, так и в организационных вопросах, в частности если речь идет об организации бизнес-процессов документооборота, распознавания и архивного хранения документов.

Наш опыт и знания помогут Вам обеспечить внедрение передовых технологий в области автоматизации документообората и сделать Ваши бизнес-процессы еще эффективнее.

Реализованные проекты

Стать партнером

Оставить заявку

Мы всегда рады ответить на любые Ваши вопросы

* Обязательные поля для заполнения

Спасибо!

Благодарим за обращение. Ваша заявка принята

Наш специалист свяжется с Вами в течение рабочего дня