Программа Аваланч (Avalanche)
Программа Аваланч (Avalanche) предназначена для мониторинга изменений, происходящих в Интернете. Она собирает информацию с вэб-страниц по заданному алгоритму и складывает эту информацию в собственную базу данных. В любой момент пользователь может провести поиск по этой базе, используя операторы Булевой Алгебры, подобные тем, которые используются в Яндексе при формировании поискового запроса в Интернете. Аваланч существует в двух модификациях по алгоритму работы и в нескольких модификациях по своим возможностям. Различия по алгоритму работы заключаются в том, что одна из них собирает с заданных адресов все подряд, а вторая – только страницы, на которых произошли изменения с прошлого посещения ее Аваланчем.
Аваланч состоит из паука и "умных папок". Паук посещает страницы, которые ему предписано посещать, проверяет изменения на них и складывает информацию в базу данных. "Умные папки" самостоятельно сортируют эту принесенную пауком информацию, делая ее удобной для работы. Есть еще такое понятие, как рубрики. Рубрики позволяют работать с базой данных по конкретным запросам, интересующим пользователя в данный момент. В целом, работа с Аваланчем выглядит следующим образом. Сначала прописываются источники, контент которых будет контролироваться. Это могут быть не только отдельные страницы сайтов, но и страницы поисковых машин, которые появляются по определенному поисковому запросу. Указывается глубина переходов со страницы по ссылкам. Так, например, с первой страницы Гугла или Яндекса во время испытаний паук переходил по каждой ссылке, расположенной на первой странице поисковика с результатами выдачи. А на той странице, куда он по такой ссылке перешел, он уже не ходил по ссылкам дальше. Это настраиваемая опция.
В первоначальной версии программа была разработана компанией Андрея Масаловича по заказу Гарвардского Университета в начале 2000-х годов. Версия Avalanche 2.7 на сегодняшний день, по мнению ряда экспертов, является лучшей в мире программой для мониторинга сети.
Программа SiteSputnik (СайтСпутник)
Программа FileForFiles SiteSputnik (СайтСпутник) создана программистом из Волгограда Алексеем Мыльниковым в тесном контакте с ведущими практикующими специалистами российской конкурентной разведки и предназначена для поиска, сбора, мониторинга и анализа информации, размещенной в интернете. Особое внимание уделяется получению новой информации на интересующие темы. Программа позволяет:
– осуществлять поиск и сбор информации в видимом и невидимом интернете;
– выявлять новые ссылки по пакету запросов (полный и точный поиск);
– производить мониторинг и рубрикацию потоков новой информации, в частности, для СМИ;
– производить мониторинг и рубрикацию потоков комментариев к новостям, сообщениям и публикациям;
– производить мониторинг и рубрикацию обновлений контента ссылок;
– находить взаимные связи людей, фирм и других объектов.
Программа SemanticForce
Платформа для мониторинга и анализа интернет, СМИ, социальных сетей, видео, форумов, блогов, вакансий и других видов онлайн-медиа. Уникальность системы состоит в наличии ряда инновационных поисковых и семантических технологий, а также интеграции с различными внешними системами, например, KLOUT, Copiny или Google Analytics. Архитектура платформы и ее аналитические возможности специально разработаны для мониторинга и анализа высокочастотных объектов в режиме реального времени.
Вот мнение о программе специалиста в области конкурентной разведки Елены Лариной: "Остановлюсь на ключевых преимуществах системы. К ним относится широчайший охват онлайн СМИ, которых в настоящее время насчитывается 250 тыс. изданий из 150 стран мира. Отличная, на мой взгляд, едва ли не лучшая среди подобных сервисов, индексация Facebook и ВКонтакте. Другие социальные сети, конечно, тоже индексируются, но индексация двух крупнейших в России сетей является фирменной фишкой SemanticForce. С учетом того, что web все более и более уходит от слов к изображениям, нельзя не отметить глубокую оперативную и адекватную индексацию SemanticForce YouTube, Vimeo, Slideshare и содержащихся на сайте комментариев к видеоматериалам и презентациям. Надо сказать, что разработчикам системы удалось дотянуть свои спайдеры до форумов и сайтов, в том числе частично защищенных капчой.
Меня особенно порадовала возможность мониторинга вакансий, резюме, отзывов и комментариев на основных сайтах работ. Коммерчески привлекательным в продукте для страны, где все торгуют, выглядит и возможность мониторинга отзывов о товарах, практически на всех интернет-магазинах. Практически важным для работы является возможность добавления в мониторинг любого источника, доступного в интернете, как из числа онлайн СМИ, так и ресурсов работ, интернет-магазинов, форумов, блогов и проч.".
Сервис croinform.ru
Одна из старейших в России групп компаний, занимающихся аналитическим обеспечением бизнеса и служб безопасности, а также правоохранительных органов НПК "Кронос-Информ" запустила новый сервис croinform.ru. В России действует уже достаточно много компаний, оказывающих услуги по проверке клиентов, конкурентов, контрагентов. Новый сервис имеет ряд отличительных особенностей.
Во-первых, он позволяет проверять в единой системе не только компании и индивидуальных предпринимателей, но и физические лица. В основе работы сервиса лежит информационный портал МБКИ, который представляет собой полностью автоматизированный информационный ресурс, объединивший федеральные коммерческие банки данных в единую информационную среду.
Во-вторых, портал тесно интегрирован с имеющимися во многих организациях уникальными сетевыми базами, под управлением СУБД линейки Cronos.
В-третьих, проверка и мониторинг ведутся по широкой группе интернет-ресурсов, включающей 12 федеральных реестров, 12 реестров лицензий и 13 информационных источников.
В-четвертых, помимо традиционных данных, связанных с выписками из государственных реестров, а также сведений, предоставляемых государственными порталами, новый сервис предусматривает получение годовой финансовой отчетности. Статистики по государственным контрактам и данных по внешнеэкономической деятельности, если таковая ведется.
В-пятых, сервис реализован в виде приложений для всех видов мобильных устройств, а не только стационарных компьютеров или ноутбуков. Причем, в случае необходимости поддерживаются специальные защищенные соединения.
В-шестых, по выбранным компаниям сервис проводит еженедельный мониторинг с предоставлением по вторникам бизнес-справок по электронной почте.
Программа WebSite-Watcher
Программа позволяет вести:
– Мониторинг веб-страниц всех типов. При этом в зависимости от настройки программа подсвечивает только измененные фрагменты страницы, либо только заданные ключевые слова, либо исключительно те изменившиеся части страницы, где есть заданные ключевые слова;
– Мониторинг защищенных паролем страниц. При помощи специально встроенного инструмента вы однажды записываете для защищенных паролем страниц логины, и дальше всю работу программа выполняет самостоятельно.
– Мониторинг форумов. Позволяет следить за появлением новых тем и ответов на уже имеющиеся, интересующие вас темы. Поддерживает подавляющую часть популярных форумных движков;
– Мониторинг RSS лент. Программа обнаруживает новые или измененные RSS сообщения и преобразует их в обычный текстовой формат;
– Мониторинг групп новостей. Группы новостей слабо развиты в Рунете, но очень популярны в мировом интернете. Программа позволяет вести мониторинг групп новостей по заданным ключевым словам;
– Мониторинг локальных файлов. Позволяет использовать в локальной сети или на собственном компьютере те же мощные функции, что и для работы с веб-ресурсами;
– Мониторинг документов. Программа автоматически преобразует PDF, Word, Excel документы в HTML файлы и дальше работает с ними как с обычными веб-страницами, ведет поиск по ключевым словам и т. п.
Программа Digimind 9
Создатели программы позиционируют ее как следующее поколение платформ для конкурентной разведки. Софт рассчитан на крупный, средний и небольшой бизнес. Программа включает в себя следующие основные функции:
– мгновенный консолидированный поиск структурированной и неструктурированной разноформатной информации в вебе 1, вебе 2 и социальных сетях;
– инструменты продвинутого семантического анализа полученных в результате поиска материалов;
– систему классификации, обработки и представления материалов в удобном для пользователя виде;
– встроенные аналитические инструменты.
"Галактика ZOOM"
Поисково-аналитический комплекс "Галактика ZOOM" был разработан и выпущен на рынок в 1999 году. За прошедшее время были значительно расширены его функциональные возможности, усовершенствованы пользовательские характеристики. Сегодня "Галактика ZOOM" представляет собой современное ИТ-решение, в состав которого входят:
● хранилище больших объемов текстов;
● система загрузки информации;
● система поиска и анализа;
● система подготовки отчетов.
Основная задача, которую позволяет решить "Галактика ZOOM", – профессиональный поиск информации, основанный на принципиально ином по сравнению с другими поисковыми системами подходе, – внимании к анализу и уточнению найденной информации. В обычных случаях при поиске информации пользователь просматривает документы, формирует новые уточняющие запросы по некоторым словам. Применение комплекса позволяет значительно повысить качество диалога человека и компьютера. При обработке запроса "Галактика ZOOM", кроме списка документов, где содержится информация по тому объекту, который ищет пользователь, формирует еще и информационный портрет объекта – список значимых для полученной по запросу выборки слов и словосочетаний, которые и следует уточнить.
При работе с информационным портретом пользователь может получить общее представление об объекте (флэш-репорт), уточнять запрос по отдельным словам, составляющим информационный портрет объекта, отсекать лишнюю информацию, определять связи между отдельными словами, составляющими информационный портрет.
Программа RCO Fact Extractor
Разработчик – компания "Гарант-Парк-Интернет", представляет собой персональное приложение для Windows, которое предназначено для аналитической обработки текста на русском языке. Основная сфера применения программы – это задачи из области компьютерной разведки, требующие высокоточного поиска информации, например, автоматический подбор материала к досье на целевой объект или же мониторинг определенных сторон его активности, освещаемых в СМИ. Fact Extractor способен отыскать в тексте описания фактов различного типа, связанных с интересующими объектами – персонами и организациями, и классифицировать их. Программа позволяет не только найти фрагменты текста, в которых говорилось, например, о поездках персоны, ее встречах, заключении договоров, сделках купли-продажи, но и точно определить все места поездок, визави и контрагентов, наименования товаров и прочее. Fact Extractor воплотил в себе наиболее продвинутые решения из области компьютерной лингвистики и искусственного интеллекта, разработанные в компании "Гарант-Парк-Интернет".
Система СПАРК
Система СПАРК – крупнейшая база данных по компаниям России, Украины и Казахстана с широким спектром аналитических возможностей. Она позволяет решать такие задачи, как: проверка контрагента на благонадежность или аффилированность с другими предприятиями, пресечение мошеннических сделок, анализ и мониторинг собственной базы клиентов, подбор новых рынков сбыта и постоянное отслеживание изменений, которые происходят с вашими партнерами. База данных по компаниям включает в себя официальные сведения из более чем 20 источников, в числе которых федеральные государственные службы, министерства и ведомства, ключевые СМИ, сами компании. СПАРК, обладающий технологиями мирового уровня, дает готовые и надежные аналитические инструменты для профессиональной работы с информацией, помогает повысить скорость и качество принятия кредитных, финансовых, маркетинговых решений. В России ежемесячно ликвидируется 4000 компаний, происходит 1000 банкротств, принимается 100 000 решений арбитражных судов. СПАРК позволяет отслеживать эти изменения в онлайне. Информация СПАРКа может быть также встроена непосредственно в бизнес-процессы банка или компании.
Программа "Доктор Ватсон"
Программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Программа осуществляет семантически-визуальный анализ. Результат работы – отчет об исследуемом объекте. Предназначена для следующих категорий пользователей: аналитики, работающие с текстовыми данными; специалисты служб безопасности, конкурентной разведки, маркетинга, PR; журналисты, детективы, политтехнологи. Особенности: небольшой размер; работа с основными текстовыми форматами:.doc,docx,rtf,txt,html,odt,pdf; хранение всех данных на компьютере пользователя; возможность настройки под требования конкретного пользователя, формат хранения данных проекта в. XML файле позволяет пользователям обмениваться проектами.
Разработчик программы – "Лаборатория перспективных разработок". Позволяет:
– извлекать сущности из текстов и документов по сути неограниченных размеров;
– устанавливать связи между извлеченными сущностями по неограниченному числу параметров, часть из которых встроена в программу, а другие могут быть введены пользователем самостоятельно;
– визуализировать взаимоотношения между сущностями;
– архивировать полученные результаты анализа, как в табличной, так и в визуальной форме и выводить их в сторонние приложения или на печать.
OutWit Hub Pro Edition
Программа позиционируется фирмой – разработчиком как собственная машина по созданию web-коллекций. Она позволяет мониторить неограниченное число сайтов и других web-ресурсов. Возможности программы:
– во-первых, позволяет парсить и извлекать все ссылки, которые содержатся на сайте;
– во-вторых, с приближающейся к 100 % точности извлекать все e-mail и телефоны, содержащиеся на всех (подчеркиваю, на всех) страницах сайта. В том числе, на страницах не связанных с другими;
– в-третьих, извлекать и скачивать с сайта любые тексты, в том числе содержащие заданные слова, сущности или предложения. Иными словами, для каждой группы сайтов могут быть заданы определенные онтологии (сущности) и скачаны будут с сайтов только те тексты, которые содержат указанные онтологии. При этом существует опция, которая позволяет скачивать тексты, появившиеся только после определенной даты.
– в-четвертых, позволяет извлекать с интернет-ресурсов изобразительный материал, и что более важно для конкурентной разведки фотоизображения, с автоматическим извлечением из них метаданных;
– в-пятых, и возможно это самая любопытная функция программы, она тщательно обследует весь сайт, включая страницы, не связанные ссылками с другими страницами ресурса, или страницы, фактически находящиеся в своего рода "сером", или даже невидимом интернете.
Метапоисковые машины
Метапоисковая машина не имеет собственных пауков и собственной базы данных. Она в неизменном виде размещает запрос в тех поисковых машинах, которые отметил пользователь, а затем дожидается ответа от них и выдает результат со всех машин на одной странице. Для удобства пользователя эти результаты содержат пометку о том, с какой поисковой машины был получен тот или иной ответ.
Метапоисковая машина:
– посылает запрос на огромное количество разных поисковых систем и поисковых серверов, с последующим определением наиболее вероятных источников информации на одной странице;
– тестирует Сеть на предмет наличия информации, релевантной запросу;
– не обладая собственной индексной базой данных, метапоисковая система выступает в качестве шлюза, который передает через свой интерфейс запросы на автономные ИПС и возвращает результаты поиска;
– обрабатывает полученные результаты, удаляет повторяющиеся адреса ресурсов и представляет более широкий спектр того, что представлено в сети Интернет в виде обобщенного результата;
– метасистема допускает передачу запросов не только на автоматические индексы, но и в те каталоги, которые сопровождаются локальной поисковой машиной;
– позволяет оценить результативность применения отдельных ИПС для решения конкретной поисковой задачи.
Примеры некоторых метапоисковых машин:
– Nigma (http://nigma.ru);
– xrambler (http://xrambler.ru;
– Metabot (http://www. metabot.ru/);
– Copernic (http://www.copernic.com).