El 30 de diciembre, Alipay lanzó "Tan Yi Xia", un producto de búsqueda visual con IA de nueva generación. Basado en su propia tecnología de modelos grandes multimodales, permite "explorar el mundo con los ojos de la IA", ofreciendo un servicio de búsqueda generativa más rápido, útil y divertido.
Cuando los usuarios se encuentran con algo que les interesa, pueden usar la IA a través de la cámara para identificar flores, mascotas y juguetes de moda, obtener explicaciones turísticas, consultar detalles de productos y medicamentos, e incluso obtener interpretaciones divertidas de fotos de mascotas o bebés, sin preocuparse por la redacción de subtítulos. Actualmente, este producto ya está disponible en Alipay; se puede encontrar deslizando hacia la izquierda después de hacer clic en "Escanear" en la página principal, y también se puede acceder rápidamente a través de la aplicación Zhixiao Bao.
Desde 2024, Alipay ha lanzado sucesivamente aplicaciones independientes de IA como "Zhixiao Bao" y una plataforma de desarrollo de entidades inteligentes. El lanzamiento de "Tan Yi Xia", centrado en el sector multi-modal de la visión por IA, marca una aceleración continua de la estrategia de IA de Ant, con Alipay como núcleo.
Darle ojos a la IA: explorar el mundo que nos rodea
En los últimos años, la inteligencia artificial generativa ha experimentado un rápido desarrollo, y la tecnología multimodal está convirtiendo la visión en una nueva entrada para los servicios digitales. Según la presentación, Alipay lanzó "Tan Yi Xia" con la esperanza de convertir la IA en los "ojos de la curiosidad" de la gente común, ayudándoles a explorar el mundo que les rodea, permitiendo la búsqueda, creación e interacción a través del reconocimiento de imágenes por IA.
A diferencia de los productos tradicionales de búsqueda visual con IA, "Tan Yi Xia" puede generar información útil de forma más rápida a través del reconocimiento de imágenes por IA, y también puede ofrecer interpretaciones visuales más divertidas y servicios inteligentes más diversos basándose en una comprensión profunda de los intereses y el contexto del usuario.
Tras probarlo, se ha descubierto que "Tan Yi Xia" ofrece actualmente tres servicios principales: explorar el conocimiento, explorar la inspiración y explorar el texto.
Cuando se encuentra con algo que no se sabe cómo describir con palabras, se puede utilizar "Explorar el conocimiento" para que la IA reconozca imágenes al instante y obtener nuevos conocimientos.
Por ejemplo, las personas a las que les gusta el aire libre y viajar pueden obtener fácilmente información sobre plantas, insectos, comida, edificios, objetos de exposición desconocidos, etc., disfrutando de un "guía turístico inteligente".
Los jóvenes que encuentran figuras o juguetes de moda que les gustan pueden consultar guías de compra; los padres también pueden usarlo para identificar 68 tipos de Ultraman, sin tener que preocuparse por las preguntas de sus hijos.
Un usuario identifica a Ultraman con "Tan Yi Xia"
Si se encuentra con productos extranjeros en idiomas que no se entienden, "Tan Yi Xia" puede obtener los detalles, facilitando la compra online de productos similares; si se pierde el prospecto de un medicamento, no solo se puede consultar la descripción detallada, sino que también se puede utilizar el "Asistente de salud con IA" de Alipay para obtener más información sobre el uso del medicamento.
Basándose en las características de la IA generativa, "Explorar la inspiración" puede activar filtros visuales inteligentes según el contexto, ofreciendo interpretaciones divertidas de la IA y facilitando la redacción de subtítulos para las fotos.
Por ejemplo, los dueños de mascotas pueden tomar fotos de sus mascotas y personalizar "mensajes de lectura mental", permitiendo que sus mascotas hablen de forma más cálida; los padres que les gusta publicar fotos de sus hijos en las redes sociales también pueden pedir a la IA que interprete su cariño por sus hijos.
Además, al viajar al extranjero o al aprender idiomas extranjeros, si se encuentra con menús o letreros en idiomas que no se entienden, también se puede utilizar "Explorar el texto" para identificar y traducir fácilmente el texto original.
Renovación de la búsqueda visual con IA: Alipay acelera continuamente su IA
En el pasado, la búsqueda se basaba principalmente en la coincidencia de palabras clave para devolver resultados relevantes. Como producto de búsqueda visual con IA generativa de nueva generación, "Tan Yi Xia" no ofrece simples enlaces de búsqueda, sino que, basándose en la capacidad de comprensión y creación visual de los modelos grandes multimodales, ofrece una experiencia de servicio más inteligente, rica e interactiva.
Los datos relevantes muestran que los humanos obtienen más del 80% de la información a través de la visión. Los productos de inteligencia artificial centrados en la visión pueden reducir considerablemente el umbral de interacción entre humanos e IA, y desbloquear más escenarios de aplicación de la IA, logrando que "lo que se ve se busca, lo que se ve se sirve". En el extranjero, Google Lens, lanzado por Google, tiene más de 20.000 millones de llamadas de búsqueda visual al mes; Apple también lanzó este año una nueva función llamada "Inteligencia visual", que ayuda a los usuarios a "entender instantáneamente lo que ven" a través de la cámara del teléfono.
Como plataforma abierta de vida digital que alberga a cientos de millones de usuarios, Alipay ha lanzado el producto de búsqueda visual con IA "Tan Yi Xia" y lo ha integrado en la entrada principal de "Escanear", con la esperanza de renovar continuamente los productos para que la IA sea tan conveniente para la vida de todos como el pago por código QR: no solo tiene un cerebro que puede conversar, manos y pies que pueden trabajar, sino también ojos que pueden explorar el mundo que nos rodea.
Detrás del lanzamiento intensivo de productos de IA de Alipay se encuentra la aceleración general de la estrategia de IA First de Ant Group. En noviembre de 2023, Ant lanzó el modelo grande de lenguaje propio, y desde septiembre de este año, ha lanzado sucesivamente tres aplicaciones de IA, Zhixiao Bao, Ma Xiao Cai y el Asistente de salud con IA, así como la plataforma de desarrollo de entidades inteligentes "Caja de herramientas", acelerando la construcción de un ecosistema de servicios de IA abierto.
