StreamSense: Búsqueda Semántica Inteligente en Videos de Streaming

En la era de la información digital, los contenidos multimedia se han convertido en una fuente masiva de datos. Con el crecimiento exponencial de plataformas de streaming, redes sociales y sistemas de videovigilancia, surge la necesidad de herramientas avanzadas que permitan buscar y analizar contenido de video de manera eficiente. En este articulo presentaremos StreamSense, una solución innovadora presentada por el grupo de investigación CloudLab de la URV, en colaboración con DELL Technologies y el National Center for Tumor Diseases (NCT) de Dresden.

¿Qué es StreamSense?

StreamSense es un sistema avanzado de búsqueda semántica diseñado específicamente para sistemas de streaming de video. A diferencia de los métodos tradicionales de búsqueda basados en metadatos o etiquetas manuales, StreamSense utiliza técnicas de inteligencia artificial y análisis de video para comprender el contenido visual y permitir búsquedas basadas en el significado semántico de las escenas.

Esta herramienta combina el poder del análisis de video en tiempo real con embeddings vectoriales y políticas de búsqueda configurables, creando un ecosistema inteligente capaz de procesar y analizar grandes volúmenes de contenido audiovisual de manera automática y eficiente.

Ejemplos de casos de uso

StreamSense se ha diseñado de forma agnóstica, lo que significa que puede adaptarse a una amplia variedad de aplicaciones. Algunos ejemplos de casos de uso incluyen:

• Cirugías robotizadas: En colaboración con NCT, StreamSense se evaluó en contexto de cirugías robotizadas, donde la búsqueda semántica de eventos quirúrgicos específicos puede mejorar la formación y el análisis postoperatorio. Puedes ver un video de demostración aquí.
• Análisis de cámaras de seguridad: En sistemas de videovigilancia, StreamSense permite a los operadores buscar eventos específicos, mejorando significativamente la eficiencia y efectividad de las operaciones de seguridad. Puedes ver un video de demostración aquí.

La Tecnología Detrás de StreamSense

Arquitectura de Streaming

StreamSense está diseñado con una arquitectura distribuida que puede escalar horizontalmente para manejar múltiples flujos de video simultáneamente. Utiliza tecnologías de streaming como Pravega para garantizar la ingesta y procesamiento eficiente de datos.

Modelos de Deep Learning

El sistema incorpora modelos de aprendizaje profundo especializados en visión por computadora para extraer características semánticas de los frames de video.

Vector Databases

Para el almacenamiento y búsqueda eficiente de embeddings, StreamSense se integra con bases de datos vectoriales como las que hemos visto en posts anteriores, aprovechando su capacidad para realizar búsquedas por similitud a gran escala.

Sistemas de Políticas

El componente de políticas utiliza lenguajes de consulta declarativos que permiten a los usuarios definir reglas complejas sin necesidad de programación técnica.

Ejemplo de Funcionamiento

A continuación, mostraremos un ejemplo de cómo se utiliza StreamSense. El primer paso consiste en indexar todos los videos de los que queremos extraer información. Para ello, se utiliza el siguiente comando:

FOR STREAM s USE EMBEDDINGS MODEL m INDEX SAMPLING i

En este comando, s es el nombre del stream de video, m es el modelo de embeddings utilizado para extraer características semánticas, y i es la tasa de muestreo que determina con qué frecuencia se extraen frames del video.

Una vez que los videos están indexados, podemos realizar búsquedas semánticas utilizando el siguiente comando:

GET k STREAMS FROM f FRAMES x% LIKE [IMAGE] USE EMBEDDINGS MODEL m

En este comando, k es el número de streams que queremos recuperar, f es el número de frames similares que buscaremos, x% es el porcentaje de similitud mínimo que queremos alcanzar, y m es el modelo de embeddings utilizado para comparar los frames.

Conclusión

En este post hemos visto las posibilidades que nos ofrece StreamSense, i algunos ejemplos de casos de uso. A medida que el volumen de contenido multimedia continúa creciendo exponencialmente, herramientas como StreamSense se vuelven esenciales para extraer conocimiento significativo de este océano de información visual.

StreamSense fue desarrollado en el marco de los proyectos europeos NEARDATA y CLOUDSKIN. Fue presentado en la conferencia 25th ACM/IFIP International Middleware y está disponible como código abierto en GitHub. Puedes leer el artículo completo en Open Access en el repositori URV.

¿Te imaginas las posibilidades que StreamSense podría abrir en tu sector? ¿Qué tipo de búsquedas semánticas serían más valiosas para tu organización? ¡Compártenos tus ideas en los comentarios!