Meta presenta nuevos modelos SAM que facilitan la detección de objetos

Nos complace anunciar SAM 3 y SAM 3D, las incorporaciones más recientes a nuestra Segment Anything Collection. SAM 3 permite la detección y el seguimiento de objetos en imágenes y videos usando prompts de texto y SAM 3D permite la reconstrucción 3D de objetos y personas a partir de imágenes. Ya puedes experimentar con ambos modelos en nuestra nueva plataforma, Segment Anything Playground.

Estos avances nos ayudarán a construir la próxima generación de herramientas creativas de medios, simplificando la edición de videos y brindándonos nuevas formas de interactuar y comprender el mundo visual.

Di lo que quieres decir

SAM 3 facilita la detección, segmentación y seguimiento de objetos en imágenes y videos. La segmentación puede usarse para editar y transformar videos e imágenes y ahora SAM 3 te permite hacerlo usando prompts de texto detallados que describen los objetos que deseas segmentar.

Tradicionalmente, los modelos de IA han tenido dificultades para vincular el lenguaje con elementos visuales específicos en imágenes o videos. Los modelos existentes suelen tener un conjunto fijo de etiquetas de texto y pueden segmentar conceptos simples como “autobús” o “auto”, pero tienen problemas con conceptos más detallados como “autobús escolar amarillo”.

SAM 3 supera esta limitación, aceptando una gama mucho más amplia de prompts de texto. Escribe “gorra roja de béisbol” y SAM 3 segmentará todos los objetos coincidentes en la imagen o video. SAM 3 también puede usarse con modelos de lenguaje multimodales para comprender prompts de texto más largos y complejos, como “personas sentadas, pero que no llevan una gorra roja de béisbol”.

Estamos usando SAM 3 para construir una nueva generación de herramientas creativas de medios. En Edits, nuestra aplicación de creación de videos, pronto introduciremos efectos que los creadores podrán aplicar a personas u objetos específicos en sus videos. Nuevas experiencias de creación habilitadas por SAM 3 también llegarán a Vibes en la app Meta AI y en meta.ai.

Dale vida a una imagen

SAM 3D consiste en dos modelos open source que te permiten reconstruir un objeto 3D a partir de una sola imagen, estableciendo un nuevo estándar para la reconstrucción 3D guiada por IA del mundo físico. SAM 3D Objects permite la reconstrucción de objetos y escenas, mientras que SAM 3D Body permite la estimación de cuerpos y formas humanas. Ambos modelos ofrecen un rendimiento robusto y de última generación y SAM 3D Objects supera significativamente los métodos existentes.

El lanzamiento de SAM 3D marca un paso importante en el uso de datos a gran escala para abordar la complejidad del mundo físico. Tiene el potencial de avanzar significativamente en campos críticos como la robótica, la ciencia y la medicina deportiva y también ofrece una variedad de aplicaciones creativas. Ya seas un investigador explorando nuevas fronteras en AR/VR, un creador que busca generar recursos para un juego o simplemente tengas curiosidad por las posibilidades del modelado 3D habilitado por IA, SAM 3D abre nuevas formas de interactuar y comprender el mundo visual.

Estamos usando SAM 3D para habilitar la nueva función “Ver en la habitación” en Facebook Marketplace, ayudando a las personas a visualizar el estilo y el tamaño de artículos de decoración para el hogar, como una lámpara o una mesa, en sus espacios antes de comprarlos.