Vector Search — Recherche d'images par similarité
Application de recherche d'images par similarité vectorielle utilisant CLIP pour l'embedding et FAISS pour l'indexation rapide.
Contexte
Explorer les techniques de recherche par similarité sémantique appliquées aux images, en combinant des modèles de vision-langage (CLIP) avec des index vectoriels performants (FAISS).
Approche
Pipeline en deux étapes : extraction d'embeddings visuels avec le modèle CLIP d'OpenAI, puis indexation dans FAISS pour une recherche par plus proches voisins en temps sub-linéaire. Interface utilisateur avec Streamlit pour le prototypage rapide.
Difficultés techniques
Optimisation de la taille des embeddings pour un bon compromis mémoire/précision, choix du type d'index FAISS adapté au volume de données, gestion du batch processing pour l'indexation initiale.
Résultat
Recherche d'images par texte ou par image en moins de 100ms sur un index de plusieurs milliers d'images. Interface intuitive permettant de visualiser les résultats et les scores de similarité.