Les bases de données vectorielles deviennent une partie intégrante des applications d'IA modernes car elles permettent aux logiciels de stocker, indexer et rechercher des représentations numériques de données appelées intégrations. Au lieu de se fier uniquement à des mots exacts, la recherche vectorielle peut trouver des informations en fonction de la similarité sémantique et du contexte. Google Cloud décrit une base de données vectorielle comme une base de données qui stocke, indexe et interroge des intégrations vectorielles représentant des données telles que du texte, des images ou de l'audio.
Qu'est-ce qu'une base de données vectorielle ?
Une base de données vectorielle est conçue pour travailler avec des représentations numériques à haute dimension de l'information. Un modèle d'intégration convertit le contenu en un vecteur, qui est un tableau de nombres représentant des caractéristiques ou une signification dans un espace mathématique.
Lorsque deux contenus ont un sens similaire, leurs vecteurs peuvent être proches. Une base de données vectorielle peut alors récupérer les enregistrements les plus similaires à la requête d'un utilisateur. Cela rend la recherche sémantique possible même lorsque la requête et le contenu stocké utilisent des mots différents.
Comment fonctionnent les bases de données vectorielles
1. Les données sont converties en embeddings
Le texte, les images, l'audio ou d'autres informations prises en charge sont passés par un modèle d'intégration. Le modèle produit un vecteur numérique représentant le contenu.
2. Les vecteurs sont stockés et indexés
L'application stocke les vecteurs avec des métadonnées utiles. Les techniques d'indexation aident la base de données à trouver efficacement les vecteurs voisins au lieu de comparer chaque enregistrement dans une grande collection.
3. La requête d'un utilisateur devient un vecteur
Lorsqu'un utilisateur effectue une recherche, la requête peut également être convertie en une intégration. La base de données compare le vecteur de requête avec les vecteurs stockés.
4. Des résultats similaires sont retournés
Le système récupère les vecteurs les plus proches ou les plus similaires et peut retourner leurs documents, produits, images ou autres enregistrements associés.
Recherche vectorielle vs recherche par mots-clés traditionnelle
| Fonctionnalité | Recherche par mot-clé | Recherche vectorielle |
|---|---|---|
| Méthode de correspondance principale | Mots et termes | Similarité sémantique |
| Synonymes | Peut nécessiter une configuration | Peut identifier des concepts connexes |
| Données non structurées | Généralement axé sur le texte | Peut prendre en charge le texte, les images, l'audio et d'autres représentations |
| Utilisation typique de l'IA | Récupération exacte ou lexicale | Récupération sémantique et contexte IA |
Les applications modernes peuvent également combiner les deux approches. Microsoft Azure AI Search, par exemple, prend en charge la recherche hybride qui combine la recherche vectorielle et la recherche par mots-clés dans la même requête.
Pourquoi les bases de données vectorielles sont importantes pour l'IA
Les grands modèles de langage ont une large base de connaissances grâce à leur formation, mais une application a souvent besoin d'accéder à des informations privées, récentes ou spécifiques à un domaine. La recherche vectorielle offre un moyen de récupérer des informations pertinentes avant qu'un modèle d'IA génère une réponse.
Ceci est particulièrement utile pour la génération augmentée par récupération (RAG). Une base de données vectorielle peut agir comme une partie de la couche de récupération, aidant une application à trouver des documents pertinents et à transmettre ce contexte à un modèle de langage.
Cas d'utilisation courants des bases de données vectorielles
Assistants de connaissance alimentés par l'IA
Les organisations peuvent indexer la documentation interne, les politiques, les manuels et d'autres sources approuvées afin qu'un assistant IA puisse récupérer des informations pertinentes.
Recherche sémantique
Les systèmes de recherche peuvent retourner des résultats conceptuellement liés même lorsque les mots du utilisateur diffèrent de ceux contenus dans le contenu stocké.
Systèmes de recommandations
Les produits, articles, vidéos ou autres éléments peuvent être représentés sous forme de vecteurs et comparés aux intérêts ou aux interactions précédentes d'un utilisateur.
Recherche d'images et de multimédia
Les représentations vectorielles peuvent représenter des caractéristiques visuelles ou d'autres caractéristiques multimédias, permettant une découverte basée sur la similarité à travers les types de contenu pris en charge. 16
Détection de fraude et d'anomalies
Les représentations vectorielles peuvent aider les applications à identifier des modèles ou des enregistrements inhabituels qui sont éloignés des clusters attendus, bien que le modèle approprié et la méthode d'évaluation dépendent du cas d'utilisation.
Recherche du voisin le plus proche
Une opération centrale dans les bases de données vectorielles est la recherche des voisins les plus proches. Le système mesure à quel point un vecteur de requête est proche des vecteurs stockés en utilisant une métrique de distance ou de similarité.
Les approches courantes incluent la recherche exacte des voisins les plus proches et la recherche approximative des voisins les plus proches. Les méthodes approximatives peuvent réduire le coût computationnel de la recherche dans de grandes collections en échangeant une partie du rappel contre la vitesse. Google Cloud décrit KNN et ANN comme des mécanismes importants pour une récupération vectorielle efficace.
Approches d'indexation populaires
Différents systèmes utilisent différentes structures d'indexation et algorithmes. Par exemple, pgvector prend en charge la recherche exacte ainsi que les index de voisins les plus proches approximatifs, y compris HNSW et IVFFlat. 02
HNSW
L'indexation hiérarchique navigable utilise une structure de graphique pour rendre les recherches de similarité plus rapides. Dans pgvector, HNSW offre un compromis vitesse-rappel et ne nécessite pas d'étape d'entraînement distincte pour l'index.
IVFFlat
IVFFlat regroupe les vecteurs en listes pour réduire la quantité de données considérées lors d'une recherche. Cela peut fournir une récupération approximative plus rapide, bien que sa configuration implique des compromis entre la vitesse, le rappel et le comportement de construction de l'index.
Bases de données vectorielles et filtrage des métadonnées
La similarité seule n'est pas toujours suffisante. Une application peut avoir besoin de trouver des produits sémantiquement similaires tout en restreignant également les résultats par prix, emplacement, date, catégorie, autorisations ou un autre attribut.
Les systèmes de recherche vectorielle modernes peuvent combiner similitude vectorielle et filtres de métadonnées. Google Cloud documente ce type de filtrage, tandis qu'AWS prend également en charge le filtrage de métadonnées dans les requêtes vectorielles. 17
Avez-vous toujours besoin d'une base de données vectorielle séparée ?
Non. Une base de données vectorielle dédiée est une option, mais les bases de données existantes peuvent également prendre en charge des charges de travail vectorielles. Par exemple, pgvector ajoute la recherche de similitude vectorielle à PostgreSQL et prend en charge le stockage des vecteurs aux côtés de données relationnelles conventionnelles. AWS met également en avant la possibilité d'utiliser des capacités vectorielles au sein de bases de données et de services de données existants. 04
La bonne architecture dépend du volume de données, des exigences de latence, des besoins de filtrage, de l'infrastructure existante, de l'expertise opérationnelle et du coût.
Architecture de base de données vectorielle pour une application AI
Une architecture de base pourrait ressembler à ceci :
- L'utilisateur soumet une question ou une requête de recherche.
- Un modèle d'embedding convertit la requête en un vecteur.
- La base de données vectorielle recherche des enregistrements similaires.
- Les filtres de métadonnées réduisent l'ensemble de résultats si nécessaire.
- L'application récupère les documents ou enregistrements sous-jacents.
- Un modèle d'IA utilise le contexte récupéré pour produire une réponse.
Cette architecture sépare la récupération de la génération. Cette séparation peut faciliter la mise à jour d'une base de connaissances sans réentraîner le modèle de langage lui-même.
Avantages des bases de données vectorielles
- Récupération sémantique : Trouve des informations conceptuellement liées.
- Intégration de l'IA : Soutient RAG et d'autres applications basées sur la récupération.
- Potentiel multimodal : Peut prendre en charge des embeddings pour différents types de données.
- Filtrage flexible : Peut combiner similitude avec des conditions de métadonnées.
- Options d'évolutivité : L'indexation et la recherche approximative peuvent améliorer les performances de récupération à grande échelle.
Défis et limitations
Qualité d'intégration
Un système de recherche vectorielle est fortement influencé par la qualité et l'adéquation de son modèle d'embedding. Une mauvaise représentation peut produire de mauvais résultats de récupération.
Configuration de l'index
Les index approximatifs introduisent des compromis entre la vitesse, la mémoire, le temps de construction de l'index et le rappel. Ces paramètres doivent être testés par rapport à de véritables charges de travail plutôt que copiés aveuglément d'une autre application. pgvector documente ces compromis pour HNSW et IVFFlat.
Actualité des données
Si les documents sources changent fréquemment, l'application a besoin d'un processus fiable pour mettre à jour ou supprimer des embeddings obsolètes.
Sécurité et contrôle d'accès
Les systèmes de récupération peuvent exposer des informations sensibles si les autorisations ne sont pas correctement appliquées. Les règles d'accès doivent être appliquées avant que le contenu récupéré n'atteigne un modèle AI ou un utilisateur.
Coût et complexité opérationnelle
De grandes collections de vecteurs peuvent nécessiter un stockage, une mémoire, un indexage et une surveillance significatifs. Une extension de base de données plus simple peut être suffisante pour certaines applications, tandis qu'un service spécialisé peut avoir plus de sens à grande échelle.
Conseils d'experts pour choisir une base de données vectorielle
- Définissez vos exigences en matière de latence de récupération et d'échelle avant de choisir une plateforme.
- Testez plusieurs modèles d'embedding sur vos données réelles.
- Mesurez la qualité de récupération en utilisant des requêtes représentatives.
- Envisagez une recherche hybride par mots-clés et par vecteurs lorsque des termes exacts sont importants.
- Gardez les métadonnées étroitement liées à chaque vecteur afin que le filtrage reste pratique.
- Prévoyez des mises à jour de documents, des suppressions et un réindexage dès le départ.
- Appliquez des contrôles d'autorisation au contenu récupéré, pas seulement à l'interface utilisateur.
- Évaluez le coût d'exploitation total plutôt que de comparer uniquement les prix des bases de données.
Erreurs courantes des bases de données vectorielles
- Supposer que la recherche vectorielle comprend automatiquement chaque requête.
- Choisir un index sans tester le rappel et la latence.
- Ignorer les métadonnées et les exigences de contrôle d'accès.
- Utiliser un mauvais découpage de documents pour les charges de travail RAG.
- Échouer à surveiller la qualité de récupération après le déploiement.
- Supposer qu'une base de données vectorielle est toujours nécessaire.
Foire aux questions
Qu'est-ce qu'une base de données vectorielle ?
Une base de données vectorielle stocke, indexe et recherche des représentations numériques appelées vecteurs ou embeddings. Elle est couramment utilisée pour la recherche sémantique et les applications de récupération AI.
Qu'est-ce qu'une intégration vectorielle ?
Un embedding vectoriel est une représentation numérique de données telles que du texte, des images ou de l'audio qui capture des relations utiles pour les applications d'apprentissage automatique.
Les bases de données vectorielles ne sont-elles utilisées que pour l'IA ?
Non. Elles peuvent supporter des charges de travail de recherche de similarité et de recommandation au-delà de l'IA générative, bien que les applications d'IA soient un cas d'utilisation majeur.
Qu'est-ce que la recherche par similarité vectorielle ?
C'est une méthode de récupération qui compare un vecteur de requête avec des vecteurs stockés en utilisant une métrique de distance ou de similarité et retourne les correspondances les plus proches.
Quelle est la différence entre une base de données vectorielle et une base de données relationnelle ?
Les bases de données relationnelles organisent les données structurées autour de tables, lignes, colonnes et relations. Les bases de données vectorielles se spécialisent dans le stockage et la récupération efficaces de vecteurs de haute dimension. Certains systèmes relationnels peuvent également ajouter des capacités vectorielles.
PostgreSQL peut-il être utilisé comme base de données vectorielle ?
Oui. PostgreSQL peut prendre en charge des charges de travail vectorielles grâce à des extensions telles que pgvector, qui fournit des types de vecteurs, des recherches de similarité et des index approximatifs.
Les bases de données vectorielles réduisent-elles les hallucinations de l'IA ?
Elles peuvent aider les applications d'IA basées sur la récupération à fournir un contexte externe pertinent, mais elles ne garantissent pas des réponses factuelles. La qualité de la récupération et le modèle de génération ont toujours de l'importance.
Que dois-je prendre en compte lors du choix d'une base de données vectorielle ?
Considérez l'échelle, la latence, le rappel, les options d'indexation, le filtrage des métadonnées, la sécurité, les intégrations, les exigences opérationnelles et le coût total.
Conclusion
Les bases de données vectorielles fournissent une couche de récupération importante pour les applications d'IA modernes. En stockant et en recherchant des embeddings, elles permettent aux logiciels de trouver des informations en fonction des relations sémantiques plutôt que de se fier uniquement à des mots-clés exacts. Elles peuvent supporter RAG, recherche sémantique, recommandations et découverte multimédia.
Cependant, choisir une base de données vectorielle n'est pas simplement une question de choisir le produit le plus rapide. La qualité des embeddings, la configuration de l'index, les métadonnées, la sécurité, la fraîcheur des données et le coût opérationnel affectent tous le système final. Pour des charges de travail plus petites, des capacités vectorielles dans une base de données existante peuvent suffire. Pour des charges de travail plus importantes ou spécialisées, une plateforme vectorielle dédiée peut être appropriée.
À mesure que les applications d'IA deviennent plus dépendantes d'informations privées et spécifiques à un domaine, la récupération vectorielle efficace restera une partie importante de la pile technologique.
CTA: Vous construisez une application d'IA ? Commencez par définir les données que vous devez récupérer, les requêtes que les utilisateurs feront et la qualité et la latence que votre système doit atteindre. Évaluez ensuite votre architecture de recherche vectorielle par rapport à ces exigences.
Sources autoritaires: Documentation Google Cloud sur les bases de données vectorielles et la recherche vectorielle ; documentation Microsoft Learn sur Azure AI Search ; documentation AWS sur la recherche vectorielle ; documentation pgvector pour la recherche de similarité vectorielle PostgreSQL.
