Category Archives: Анализ тональности

https://RSA API

We have transitioned the RSA API to SSL. This means, that not only mashape layer is addressed with https, but also communication mashape->our API server is encrypted with SSL. This makes your communication with the API even more secure. As with previous releases, there is no action needed to continue using the API.

https image

Thanks & happy sentiment analysing!

Новая фича в RSA API: числовое представление тональности

Сегодня мы запустили новую фичу в продашкн: теперь в RSA API доступно числовое представление тональности.

Santorini

Santorini

Разберём на примере:

Проблемы со связью так и не решены.
Сегодня тестировали систему, вводили телефон билайн 89096593136, после чего 
поступал звонок, сообщали что это входящий звонок и далее абонент недоступен 
или находится вне зоны действия сети, хотя это не так. Тут же перезванивали 
на этот номер, просто с телефона и он был доступен. 
Проверяли ни один раз и все одно и тоже: через заявку на сайте он недоступен, 
если звонить просто с этой же трубки, то все ОК.

Здесь перечислен ряд проблем: с объектами “связь” и “заявка”, но есть и позитив: с объектом “номер”. Посмотрим, что выдаёт система по каждому из этих объектов.

{
"text": "Проблемы со связью так и не решены. Сегодня тестировали систему, вводили телефон билайн 89096593136, после чего поступал звонок, сообщали что это входящий звонок и далее абонент недоступен или находится вне зоны действия сети, хотя это не так. Тут же перезванивали на этот номер, просто с телефона и он был доступен. Проверяли ни один раз и все одно и тоже: через заявку на сайте он недоступен, если звонить просто с этой же трубки, то все ОК.",
"object_keywords": "связь",
"output_format": "json",
"include_strength": 1
}

Ответ системы:

{
"sentiment": "NEGATIVE",
"strength": "-2.0",
"synonyms": "[связь]"
}

Для “заявки” система выдаёт:


{
"sentiment": "NEGATIVE",
"strength": "-1.0",
"synonyms": "[заявка]"
}

И, наконец, по объекту “номер” получаем:


{
"sentiment": "POSITIVE",
"strength": "1.0",
"synonyms": "[номер]"
}

Что данная фича позволит делать вам, как клиентам RSA API?

  1. Моделировать собственную сетку меток тональности, например от hate / dislike до like / love.
  2. Анализировать разброс значений тональности и лучше понимать свои данные, возможно отсечь ненужные вам сообщения.
  3. Строить собственные модели машинного обучения, где числовая метка тональности будет одним из сигналов о тексте.

Надеемся, что это будет полезной фичей. Чтобы её задействовать, выставьте в true дополнительный булевский флаг в JSON: include_strength: “true”. Выходное число в поле strength никак не ограничено, но подчиняется простому правилу: чем ближе число к нулю, тем более нейтрально сообщение по отношению к данному объекту либо в целом, если объект не найден или не обнаружен.

Успехов в работе с RSA API!

Mashape

Research project on traditional and social media

Last month Insider has contributed to common research project with two other companies: ContextMedia (with 20+ years of traditional media analytics) and YouControl (with access to government data). Target of the research was to build a bio and semantic portrait of the Ukrainian politician Dmytro Svyatash in light of the law on car import in Ukraine. The interactive research results can be found here (in Russian).

Insider has used two own tools for unstructured text analytics: Insider API for realtime semantic topic creation (screenshots and description of the system are here) and RSA API for entity level sentiment analysis.

The resulting system, that was prototyped in under a week, allowed for:

  1. Navigating through years of data from 2002 to current moment using keyword searches.
  2. Understanding the sentiment distribution in the found corpora and for given search.
  3. Researching quantitative search trends using visual trend chart.
  4. Sifting through the produced semantic topics, grouping various news items together in search results.
  5. Getting the heart beat of twitter.

InsiderUI

In the process we relied on best open source tools, including Apache Tika, using which allowed us to swiftly convert HTML news articles into JSON format, preserving all important attributes of a news item: title, contents. We crafted and applied additionally own NER for extracting date of a publication to properly place it on the time scale.

Want to do a similar research on your own data? Get in touch: [email protected].

How can NLP technology help marketing

Rohini Srihari has written a great post on how NLP technology could be used for marketing. It is indeed clear, that sentiment analysis by itself cannot be a source of signal and be the base for a decision making. And this is not only because understanding sentiment is algorithmically hard, it is also because there can be irony involved. Or the sentiment is about author’s life circumstances, except that expressed in social media while sitting in coffee shop #name.

What NLP technology can offer (and our products for English, Russian and Chinese do) is:

  1. Sift sentences / mentions of the target product / person / brand / business branch.
  2. Detect sentiment orientated towards these targets.
  3. Report back in aggregate and / or detailed form.

Having other key information bits at hand, such are age, location, popularity (number of followers, engagement level with author’s posts) companies could leverage this to understand where is the most negative folks and why, and what audience is the happiest to the moment. This helps marketing do direct interaction, lead positive momentum, solve particular tricky cases and satisfy their customers.

While NLP technology cannot offer human level interpretation of written free form texts, it can really quickly pass through the vast avalanche of data pieces and give you a sense of general sentiment about your brand plus give you all the access to particular data portions of interest. Especially, when you think of getting in direct contact and use social media as *the* channel for the customer relationship management.

It is time, when using NLP as a service opens up so many opportunities to integrate into your existing software systems and get much socially closer to the market you sell for.

IMG_20150826_075854

Insider API поиск трендов и быстрая навигация в текстах

Как часто, имея большой массив текстов (любой тематики) мы хотим увидеть тематическую выжимку? Какие темы обсуждаются? Какие наиболее популярные? Как было бы здорово ввести поисковые слова и получить тренды вокруг них!

Insider API призван решить как раз все эти задачи.

InsiderAPI

Система умеет:

  1. Получать массив данных и сохранять их под Вашим пользователем.
  2. Строить список тем с группировкой документов по темам.
  3. Делать realtime поиск по документам и строить темы по найденной выборке.

Все перечисленные функции доступны через API, которым легко воспользоваться, подключившись к одному из тарифных планов (есть бесплатный триал на месяц!).

Мы проиндексировали соц. медиа (твиттер, facebook, вконтакте) в начале осени 2015 года и сделали скриншоты системы для визуальной оценки.

Консьюмерский сегмент: Магнит.

Magnit

Yota:

Yota

Политика: выступление Путина в ООН.

UNO

Так выглядит тема изнутри:

UNO_expanded

На предыдущем скриншоте представлено содержимое темы “ООН 2015”, включающее 7 новостей.

Как видно из скриншотов, система представляет из себя полноценную поисковую систему (с поддержкой русской морфологии) и является отличным инструментом для быстрой навигации по огромным массивам информации. У нас нет ограничений по поддерживаемым тематикам и типу данных — соц. медиа, новостные ленты либо Ваши корпоративные документы. Все описанные функции доступны как в виде SAAS продукта с пользовательским интерфейсом, так и в составе Insider API, который можно встроить в Ваши существующие системы и мобильные приложения.