Решено синтез и распознавание речи

deadushka

Участник
11.05.2018
283
2
14
18
Подскажите есть ли модели AI для работы с голосом и речью? Есть задачи для автоматизации коллцентра.
 
Посмотри SILERO

Основные возможности Silero

Это не одна модель, а целое семейство, решающее три ключевые задачи:
· Синтез речи (TTS – Text-to-Speech): Превращает письменный текст в естественно звучащую речь. Поддерживает несколько языков, включая русский (с выбором из 6 голосов), английский, немецкий, испанский и французский . Его часто используют для озвучивания сообщений в голосовых помощниках и IVR-системах .

· Распознавание речи (STT – Speech-to-Text): Преобразует речь из аудиофайла в текст. Модели устойчивы к шумам и различному качеству записи . На практике это позволяет, например, автоматически создавать текстовые расшифровки телефонных разговоров в CRM-системах .

· Детектор активности голоса (VAD – Voice Activity Detection): Определяет, есть ли в аудиопотоке речь, и отмечает её временные границы . Это как "умный выключатель" для микрофона: он активирует запись или обработку только тогда, когда человек говорит. VAD от Silero считается современной альтернативой устаревшему детектору WebRTC и широко используется в системах реального времени, например, для управления голосовыми агентами во время звонка .

Ключевые особенности
Чем выделяются модели Silero:
· Высокая производительность: Работают на CPU, не требуют GPU и показывают хорошую скорость даже на слабом оборудовании .
· Простота использования: Часто подключаются одной строкой кода и имеют минимум зависимостей .
· Корпоративный уровень: Несмотря на открытость, позиционируются как модели, готовые к использованию в бизнес-продуктах
 
  • Fire
Реакции: deadushka
Подскажите а это бесплатная штука ? Возможно ли эту модель интегрировать по api с корпоративной CRM? По задумке - хотим использовать голосового робота для исходящего обзвона, ну например для не выкупленных заказов и тп
 
Да, Silero можно использовать бесплатно, но с важной оговоркой: условия бесплатности зависят от того, какую именно модель и для каких целей вы планируете использовать.

Ситуация с лицензиями у Silero неоднородная, и для коммерческого использования нужно быть внимательным.

Что нужно знать о лицензиях​

  • Модель для определения активности голоса (VAD) распространяется под свободной лицензией MIT. Это значит, что вы можете свободно использовать её в любых проектах, включая коммерческие, без ограничений.
  • Модели синтеза речи (TTS) и распознавания речи (STT) могут распространяться под более строгой лицензией CC BY-NC-SA. Эта лицензия разрешает использование только в некоммерческих целях и накладывает ограничения на распространение модификаций.
Таким образом, технически модели доступны бесплатно, но для коммерческого проекта необходимо проверить условия для каждой конкретной модели. Если вы планируете использовать Silero в бизнесе, лучшим решением будет напрямую связаться с командой Silero для уточнения лицензионных условий для вашего случая.
 
Короче бесплатная.
Спасибо, пойду читать как ее интегрировать
 
Интеграция моделей Silero с CRM-системой — это достаточно популярная задача, которая обычно решается для автоматизации работы с телефонными звонками. В основном это делается для того, чтобы превратить аудиозаписи разговоров в текст, привязать их к карточке клиента и, возможно, настроить голосового робота.

Учитывая ваш предыдущий вопрос о лицензировании, стоит сразу упомянуть важный нюанс: большинство готовых решений используют не саму Silero напрямую, а сторонние сервисы на её основе, которые могут быть платными, в то время как для полностью локального и бесплатного решения потребуется самостоятельная разработка .

Готовые решения (Быстрый старт, часто платные)​

Это самый простой способ, если вы используете популярную CRM, такую как Битрикс24 или AmoCRM. Готовые приложения обычно работают по принципу "установил и настроил".

  • Для Битрикс24: В маркетплейсе есть несколько приложений, например, "Распознавание звонков в текст (STT Silero)" и "Расшифровка звонков (Silero)" . Они автоматически расшифровывают записи разговоров и прикрепляют текст в виде комментария или файла прямо к карточке лида или сделки .
  • Для AmoCRM: В видеообзоре описан сервис Speech2Text, который через виджет интегрируется с AmoCRM. Он не только расшифровывает звонки, но и позволяет анализировать их с помощью AI-ассистентов, ставить теги и выгружать отчеты .
Важно: Обратите внимание, что это сторонние сервисы. Хотя они используют технологии распознавания, в том числе Silero, их работа может быть платной. Например, у Speech2Text есть бесплатный пробный период с ограничением в 30 минут в день .

Интеграция через API и собственная разработка (Гибкость, но сложнее)​

Этот подход подходит, если у вас своя уникальная CRM или есть потребность в глубокой кастомизации.

  1. Архитектура решения: Чаще всего схема выглядит так: Ваша телефония (например, на базе Asterisk) соединяется с сервисом-посредником, который использует Silero для STT/TTS, а тот, в свою очередь, общается с вашей CRM по REST API .
  2. Основные задачи API: С помощью API настраивается двусторонний обмен данными :
    • Загрузка контактов из CRM в телефонию.
    • Передача информации о звонке (время, длительность, запись) обратно в CRM.
    • Отправка расшифровки разговора в карточку клиента.
    • Создание или редактирование пользователей прямо из интерфейса CRM.
  3. Готовые open-source проекты: Существуют проекты, которые могут послужить хорошей отправной точкой. Например, Sales Voice Assistant на GitHub предлагает архитектуру с готовым crm-connector для интеграции с Битрикс24, а в качестве STT/TTS-сервисов там используются Yandex SpeechKit. Идею подключения crm-connector можно адаптировать и для локальной Silero .

AI-Агенты и Голосовые Помощники​

Более сложный вариант — интеграция "голосового AI-агента", который не просто распознает речь, но и ведет диалог, обновляя данные в CRM в реальном времени .

  1. Принцип работы: AI-агент читает информацию о клиенте из CRM перед звонком, а после разговора сам заполняет поля, создает задачи или меняет стадии сделки на основе исхода беседы .
  2. Примеры из практики: Крупные компании внедряют подобные системы. Например, Cochlear разработала решение, позволяющее торговым представителям обновлять лиды в Salesforce простым голосовым звонком . А в системе "Честный знак" голосовой робот собирает данные и создает карточки клиента до того, как к разговору подключится оператор .

Краткий итог​

  • Для пользователей Битрикс24 или AmoCRM: Проще всего установить готовое приложение из маркетплейса.
  • Для владельцев собственной CRM: Потребуется разработка модуля, который будет по API связывать вашу телефонию, модели Silero и CRM.
  • Ключевой момент: Если вы планируете использовать Silero локально и бесплатно, готовьтесь к самостоятельной разработке. Готовые же интеграции, как правило, являются коммерческими продуктами.