Платформа IQPLATFORM

ОНТОЛОГИЯ

Динамическое конфигурирование платформы предназначено для описания и настройки целевой модели данных, сценариев их обработки и моделей представления:

• Формирование новых классов объектов предметной области (персоны, организации, счета, номера и т.д.) с назначением атрибутов и правил их обновления.
• Разработка правил идентификации нового объекта с уже загруженными в систему объектами (матчинг), а также объединения информации об объекте из различных источников.
• Создание новых связей между объектами и правил их формирования для статических, динамических и контекстных связей. 
• Настройка «тревожных» критериев (алертов) возникновения критических состояний контролируемых объектов и их окружения, а также упоминаний объектов в определенных контекстах для оперативной сигнализации пользователю.

ЗАГРУЗКА И АРХИВАЦИЯ ДАННЫХ

Сбор и загрузка документов и текстовой информации из различных источников:

• Online-СМИ: более 5 000 ресурсов;
• Крупнейшие социальные сети (Facebook, Twitter, Вконтакте, Одноклассники) и наиболее популярные русскоязычные блоги и форумы;
• Основные поисковые системы с возможностью загрузки найденных документов;
• Веб-сайты произвольной структуры;
• Файловые системы;
• Извлечение текстовой информации из изображений и растровых документов (модуль распознавания текстов ABBYY). 

Сбор и загрузка объектов из источников структурированных и неструктурированных данных с помощью собственной библиотеки одно- и двунаправленных загрузчиков, с возможностью их быстрого дополнения сторонними модулями:

• Единоразовая или периодическая загрузка информации об объектах из источника – например, с сайтов или внутренних баз данных.
• Поиск объектов в источнике по определенным критериям с загрузкой в систему – например, при поиске организаций в базе СПАРК или пользователей Facebook.
• Конвертация загружаемых в систему объектов с помощью соответствующей подсистемы, настраиваемой для любого внешнего источника данных.

АРХИВАЦИЯ И ПОИСК ДАННЫХ

Хранение неограниченного объема собранных данных и распределенный поиск по различным критериям для загрузки в систему.

Поиск текстовых документов:

• Полнотекстовый поиск документов с поддержкой основных операторов поиска;
• Полнотекстовый вложенный поиск с использованием запросов в запросе;
• Атрибутивный поиск по документам (язык, источник, дата, автор и т.д.);
• Поиск во внешних источниках, например, Google или Yandex.

Поиск объектов:

• Полнотекстовый поиск объектов по текстовому содержанию атрибутов с поддержкой основных операторов поиска;
• Атрибутивный поиск по объектам;
• Сквозной полнотекстовый поиск по всей базе данных независимо от класса объектов;
• Поиск во внешних источниках данных.

ТЕКСТОВАЯ АНАЛИТИКА

• Определение языка документа для десятков наиболее распространенных языков мира с применением классификатора предметных областей.
• Морфологический анализ слов и синтез стандартных словоформ с помощью как собственных, так и дополнительно подключенных морфологических модулей.
• Определение дубликатов документов на основе анализа их содержимого.
• Нормализация российских адресов для приведения их к стандартному формату с указанием кода БД ФИАС и ОКАТО.
• Нормализация имен для определения фамилии, имени и отчества персоны с коррекцией ошибок, транслитерации и уменьшительно-ласкательных форм.
• Автоматическая классификации входящих документов по списку рубрик с фильтрацией по атрибутам документов или их текстовому содержанию.
• Объединение документов в тематические кластеры на основании близости их текстового содержания.
• Выделение сюжетов - выявление групп входящих документов с аналогичной темой в реальном времени, с возможностью просмотра информации о них из интерфейса системы.

ВЫДЕЛЕНИЕ ОБЪЕКТОВ И ФАКТОВ

Извлечение из неструктурированного текста объектов, связей и фактической информации с использованием функций текстовой аналитики:

• Выделение объектов с применением лингвистических правил для высокоточного выделения даже неизвестных заранее объектов: дат и чисел, персон и организаций, должностей, цитат и контактов, названий и полных адресов с привязкой к БД ФИАС и географическим координатам, а также данных из договоров (номера, даты и места подписания, стороны и их реквизиты).
• Выделение объектов с помощью текстовой фильтрации по данному объекту (например, торговая марка или бренд).

АНАЛИЗ ДАННЫХ

Поиск объектов с необходимыми характеристиками и вывод статистической отчетности по собранной информации в удобной и понятной для пользователя форме.

Анализ графов 

• Представление объектов и его связей в виде графа с отображением атрибутов объектов и связей, группировкой или фильтрацией по типам и дате, определением кратчайшего пути между объектами, а также расчетом статистических показателей по объектам.
• Настройка сценария (правил обхода и глубины) поиска объектов в окружении по заданным характеристикам.
• Сбор информации по интересующему объекту и его связям с доступом к дополнительным внешним источникам.
• Поиск похожих объектов с близкими по значению как атрибутами, так и наименованиями.

Управление единой информационной средой геопространственных данных с использованием картографического ГИС-сервиса OpenStreetMap для обогащения информационно-аналитических ресурсов платформы геоданными (ГЛОНАСС/GPS/LBS-координаты, геотеги и геометки, почтовые адреса, названия населенных пунктов и улиц) с целью расширения ее аналитических возможностей:

• Точная привязка, систематизация и интеграция в едином адресном пространстве всей информации об объекте.
• Выявление и динамическое моделирование процессов, тенденций и определяющих факторов в георазрезах.
• Графическая визуализация взаимосвязей пространственных отношений и геораспределений объектов.

Досье объекта с геоатрибутами	Поиск объектов на карте	Связи объектов на карте и таймлайн
Кластеризация объектов и связей	Тепловая карта	Агрегация объектов и связей

Необходимый набор функций обеспечивает консолидацию геоатрибутов объекта и его окружения для отображения на электронной карте вместе с локализованными документами и статистическими отчетами:

• Поиск объектов на карте в выбранных геозонах и координатах по заданным параметрам и косвенным признакам.
• Фильтрация объектов и связей по классам и атрибутам, а также по сроку существования в выбранном временном интервале на шкале таймлайна.
• Кластеризация и декластеризация объектов при изменении масштаба карты.
• «Тепловая карта» (HeatMap) для визуальной оценки плотности и структуры распределения объектов в зонах контроля.
• Агрегация объектов и окружения по их числовым атрибутам (сумма, средне-арифметическое, минимум/максимум) с цветовой индикацией значений.

Создание и визуализация статистической отчетности по объектам и документам системы.

Динамическое формирование интерактивных отчетов в текстовых и графических форматах с быстрым доступом к подотчетам и первичным данным (документам и объектам).

ДОПОЛНИТЕЛЬНЫЕ И СЛУЖЕБНЫЕ ФУНКЦИИ

• Оперативное оповещение пользователя о системных событиях (новых объектах, связях и изменении их состояния) и регулярных обновлениях отчетов и рубрик с документами с помощью email-/sms-сообщений или интерфейсных push-уведомлений.
• Автоматический контроль и диагностика системы с аварийным email/sms-оповещением и сохранением данных путем горячего резервного копирования без остановки работы.

Многоуровневая система безопасности для контроля действий пользователя и надежной защиты информации:

• Разграничение прав доступа пользователей и их групп к функциям, документам, рубрикам и атрибутам; 
• Взаимодействие клиента с системой по протоколу HTTPS для снижения риска перехвата трафика через незащищенные каналы связи;
• Журналирование всех действий пользователя с интерфейсом административного просмотра, хранение истории изменений объектов с возможностью импорта событий в корпоративные SYSLOG-сервера.

Динамическое конфигурирование предметных аналитических моделей, сценариев обработки и визуализации данных.

Потоковый сбор данных с обширной библиотекой коннекторов из любых типов внешних и внутренних источников.

Высокоточный язык поисковых запросов с механизмом целевой фильтрации при обработке более 20 млн сообщений в сутки.

Встроенный масштабируемый архив неограниченной ёмкости с распределенным поиском.

Тематическая рубрикация для быстрой категоризации документов при сборе и архивном поиске.

Автоматическая текстовая обработка с распознаванием и выделением объектов, матчингом, очисткой и нормализацией структурированных и неструктурированных данных.

Динамическое досье в виде интерактивной карточки объекта с поиском, привязкой к связям, библиотеками документов и тревожной индикацией.

Динамические графы контекстно-объектных связей со сценариями поиска объектов и выводом документов, атрибутов и алертов.

Интеграция с комплексами Oracle Exadata Database Machine, Oracle Exalogic Elastic Cloud, Oracle Big Data Appliance и IBM Power-8 при поддержке СУБД Oracle 11-12, PostgreSQL-9.3 и TmaxSoft Tibero.

Быстрое создание комплексных решений в конкретной пользовательской специализации с помощью экспертно-аналитической настройки предметных областей и правил идентификации объектов, аналитических сценариев и форм представления отчетности.

Максимально полный сбор информации из баз данных любой сложности и наиболее популярных онлайн-источников с возможностью быстрого и сверхточного подключения дополнительных интернет-ресурсов любого типа.

Мультиязычный лингвистический и семантический анализ текстов на основе передовых методов машинной обработки естественного языка.

Комплексная бизнес-аналитика в режиме реального времени с развитой системой BI-отчетности и наглядной визуализации, объединяющая обработку и анализ структурированных и неструктурированных данных.

Свободная и незатратная масштабируемость как односерверной системы, так и многосерверных кластеров с простым увеличением ёмкости архива и скорости поиска во внутренней базе данных.