Security update to RSA API systems

Last week Insider team has rolled out an important security update to our RSA API systems.

It was essentially a maintenance release in which our databases were added an additional layer of security. Now any data you submit to the API is securely processed within our API cloud. There is no action required on your part to continue using the API.

Still not using RSA API? Subscribe today and get 200 messages a day for free! 100+ firms and individuals trust our sentiment analysis API.

Looking for Chinese sentiment analysis? It is here.

Happy and Prosperous New Year 2017!

Insider wishes our users and fans a very Happy and Prosperous New Year 2017!

And remember, Insider is there to help you with your limitless natural language processing needs with our text analytics APIs!

Like us on facebook to stay always informed of API landscape and our offerings! 

Happy New Year! 

Новая фича в RSA API: числовое представление тональности

Сегодня мы запустили новую фичу в продашкн: теперь в RSA API доступно числовое представление тональности.

Santorini

Santorini

Разберём на примере:

Проблемы со связью так и не решены.
Сегодня тестировали систему, вводили телефон билайн 89096593136, после чего 
поступал звонок, сообщали что это входящий звонок и далее абонент недоступен 
или находится вне зоны действия сети, хотя это не так. Тут же перезванивали 
на этот номер, просто с телефона и он был доступен. 
Проверяли ни один раз и все одно и тоже: через заявку на сайте он недоступен, 
если звонить просто с этой же трубки, то все ОК.

Здесь перечислен ряд проблем: с объектами “связь” и “заявка”, но есть и позитив: с объектом “номер”. Посмотрим, что выдаёт система по каждому из этих объектов.

{
"text": "Проблемы со связью так и не решены. Сегодня тестировали систему, вводили телефон билайн 89096593136, после чего поступал звонок, сообщали что это входящий звонок и далее абонент недоступен или находится вне зоны действия сети, хотя это не так. Тут же перезванивали на этот номер, просто с телефона и он был доступен. Проверяли ни один раз и все одно и тоже: через заявку на сайте он недоступен, если звонить просто с этой же трубки, то все ОК.",
"object_keywords": "связь",
"output_format": "json",
"include_strength": 1
}

Ответ системы:

{
"sentiment": "NEGATIVE",
"strength": "-2.0",
"synonyms": "[связь]"
}

Для “заявки” система выдаёт:


{
"sentiment": "NEGATIVE",
"strength": "-1.0",
"synonyms": "[заявка]"
}

И, наконец, по объекту “номер” получаем:


{
"sentiment": "POSITIVE",
"strength": "1.0",
"synonyms": "[номер]"
}

Что данная фича позволит делать вам, как клиентам RSA API?

  1. Моделировать собственную сетку меток тональности, например от hate / dislike до like / love.
  2. Анализировать разброс значений тональности и лучше понимать свои данные, возможно отсечь ненужные вам сообщения.
  3. Строить собственные модели машинного обучения, где числовая метка тональности будет одним из сигналов о тексте.

Надеемся, что это будет полезной фичей. Чтобы её задействовать, выставьте в true дополнительный булевский флаг в JSON: include_strength: “true”. Выходное число в поле strength никак не ограничено, но подчиняется простому правилу: чем ближе число к нулю, тем более нейтрально сообщение по отношению к данному объекту либо в целом, если объект не найден или не обнаружен.

Успехов в работе с RSA API!

Mashape

Research project on traditional and social media

Last month Insider has contributed to common research project with two other companies: ContextMedia (with 20+ years of traditional media analytics) and YouControl (with access to government data). Target of the research was to build a bio and semantic portrait of the Ukrainian politician Dmytro Svyatash in light of the law on car import in Ukraine. The interactive research results can be found here (in Russian).

Insider has used two own tools for unstructured text analytics: Insider API for realtime semantic topic creation (screenshots and description of the system are here) and RSA API for entity level sentiment analysis.

The resulting system, that was prototyped in under a week, allowed for:

  1. Navigating through years of data from 2002 to current moment using keyword searches.
  2. Understanding the sentiment distribution in the found corpora and for given search.
  3. Researching quantitative search trends using visual trend chart.
  4. Sifting through the produced semantic topics, grouping various news items together in search results.
  5. Getting the heart beat of twitter.

InsiderUI

In the process we relied on best open source tools, including Apache Tika, using which allowed us to swiftly convert HTML news articles into JSON format, preserving all important attributes of a news item: title, contents. We crafted and applied additionally own NER for extracting date of a publication to properly place it on the time scale.

Want to do a similar research on your own data? Get in touch: [email protected].

Insider API: тренды в realtime потоке данных

Представляем Вашему вниманию Insider API: загружайте посты из соц. медиа, получайте тренды и удивляйте пользователей: https://market.mashape.com/dmitrykey/insiderapi

InsiderAPI

Принцип применения API:

1. Загрузить данные (посты, статьи) в систему.

End-point: /articles/uploadJson
Тип запроса: POST
[
  {
   "id": 2134657,
   "title": "Оскар",
   "description": "Наши дети уже не поймут всех этих приколов про Лео и Оскар. Ушла эпоха. Мы - особое поколение.",
   "link": "https://twitter.com/palnom6/status/704979632127418369"
  }
]

В одном запросе можно переслать до 50 текстов. В ответ API отвечает кодом 200, если всё прошло успешно.

Обратите внимание на параметр id: по значению этого параметра мы получим привязку данного поста к определенной теме / тренду на следующем шаге.

2. Получить тренды: либо по документам в целом, либо в привязке к ключевым словам.

End-point: /articles/cluster
Тип запроса: POST
{
  "query": ""
}

В ответ API генерирует тренды.

[
  {
    "labels": [
      "Оскар"
    ],
    "score": 1.510325122396045,
    "docs": [
      "2134657",
      "2134656",
      "2134655",
      "2134654"
    ]
  },
  {
    "labels": [
      "Политика"
    ],
    "score": 1.2447816860782057,
    "docs": [
      "2134653",
      "2134652",
      "2134651",
      "2134650",
      "2134649",
      "2134648"
    ]
  }
]

Значение score отображает релевантность данной тематики запросу пользователя.

На шаге два можно передать и некоторое ключевое слово, вокруг которого будут построены темы / тренды.
Данный API является масштабируемой системой как в облаке, так и на ваших серверах.

В статье по этой ссылке можно найти скриншоты, иллюстрирующие работу API в составе UI Insider.

Fuxi API 1.2 for Chinese sentiment analysis is here

Analyzing Sina Weibo (Chinese Twitter) and Renren (Chinese Facebook) for sentiment are quite tricky. In general social media analysis, for instance for Russian is tricky. There are few reasons:

  1. Grammar: in short messages there is not much space to spell out correct grammar. So in most cases it is “broken” from the stand point of classic parsers.
  2. Words: they change frequently, following social media development of a particular news / reaction or may be even a flash mob.
  3. Sarcasm: the author does not mean the sentiment you deduce by reading it for the first time. It sometimes takes a research and find a visual item, that helps understand the sentiment:     

Fuxi API is catching up with what’s cooking in Chinese social media by analyzing a vast array of messages in Simplified and Traditional Chinese. We have just released its 1.2 version with a number of changes to better tune for the sentiment signal in the avalanche of tweets, blog posts and news articles, all in Chinese. Check it out.