简体中文（ZH-CN）English（EN）繁体中文（ZH-TW）日本語（JA）한국어（KO）Melayu（MS）Français（FR）Deutsch（DE）
Maison
Article
Questions et réponses
Cours
Sujet
Télécharger
Jeu
Dictionnaire
mises à jour récentes

Maison  >  Article  >  interface Web  >  Créez des recommandations « Pour vous » à l'aide de l'IA sur Fastly !

Créez des recommandations « Pour vous » à l'aide de l'IA sur Fastly !

王林
王林original
2024-08-07 21:54:53993parcourir

Oubliez le battage médiatique ; Où l’IA apporte-t-elle une réelle valeur ? Utilisons l'informatique de pointe pour exploiter la puissance de l'IA et créer des expériences utilisateur plus intelligentes, rapides, sûres et fiables.

Les recommandations sont partout, et tout le monde sait que rendre les expériences Web plus personnalisées les rend plus attrayantes et plus réussies. Ma page d'accueil Amazon sait que j'aime les articles d'ameublement, les ustensiles de cuisine et en ce moment, les vêtements d'été :

Build

Aujourd'hui, la plupart des plateformes vous font choisir entre être rapide ou être personnalisé. Chez Fastly, nous pensons que vous — et vos utilisateurs — méritez d'avoir les deux. Si chaque fois que votre serveur Web génère une page, celle-ci ne convient qu'à un seul utilisateur final, vous ne pouvez pas bénéficier de sa mise en cache, ce que font bien les réseaux périphériques comme Fastly.

Alors, comment pouvez-vous bénéficier de la mise en cache périphérique tout en personnalisant le contenu ? Nous avons déjà beaucoup écrit sur la façon de diviser les requêtes clients complexes en plusieurs requêtes backend plus petites et pouvant être mises en cache, et vous trouverez des didacticiels, des exemples de code et des démos dans la rubrique personnalisation de notre hub de développement.

Mais que faire si vous souhaitez aller plus loin et générer les données de personnalisation à la périphérie ? La « périphérie » - les serveurs Fastly qui gèrent le trafic de votre site Web, sont le point le plus proche de l'utilisateur final qui est toujours sous votre contrôle. Un endroit idéal pour produire du contenu spécifique à un utilisateur.

Le cas d'utilisation "Pour vous"

Les recommandations de produits sont par nature transitoires, spécifiques à un utilisateur individuel et susceptibles de changer fréquemment. Mais ils n'ont pas non plus besoin de persister : nous n'avons généralement pas besoin de savoir ce que nous avons recommandé à chaque personne, mais seulement si un algorithme particulier permet d'obtenir une meilleure conversion qu'un autre. Certains algorithmes de recommandation ont besoin d'accéder à une grande quantité de données d'état, comme les utilisateurs qui vous ressemblent le plus et leur historique d'achats ou d'évaluations, mais ces données sont souvent faciles à prégénérer en masse.

Fondamentalement, la génération de recommandations ne crée généralement pas de transaction, ne nécessite aucun verrou dans votre magasin de données et utilise des données d'entrée qui sont soit immédiatement disponibles à partir de la session de l'utilisateur actuel, soit créées dans un processus de construction hors ligne.

On dirait que nous pouvons générer des recommandations en périphérie !

Un exemple concret

Jetons un œil au site Internet du New York Metropolitan Museum of Art :

Build

Chacun des quelque 500 000 objets de la collection du Met possède une page avec une image et des informations le concernant. Il a également cette liste d'objets associés :

Build

Cela semble utiliser un système de facettes assez simple pour générer ces relations, en me montrant d'autres œuvres du même artiste, ou d'autres objets dans la même aile du musée, ou qui sont également en papier ou proviennent de la même période de temps.

Ce qui est bien avec ce système (du point de vue du développeur !), c'est que comme il est basé uniquement sur un seul objet d'entrée, il peut être pré-généré dans la page.

Et si nous voulions augmenter cela avec une sélection de recommandations basées sur l'historique de navigation personnel de l'utilisateur final lorsqu'il navigue sur le site Web du Met, et pas seulement sur cet objet ?

Ajout de recommandations personnalisées

Il existe de nombreuses façons de le faire, mais je voulais essayer d'utiliser un modèle de langage, car l'IA se produit en ce moment, et c'est vraiment différent de la façon dont le mécanisme d'œuvres d'art liées existant au Met semble fonctionner. travail. Voici le plan :

  1. Téléchargez l'ensemble de données de collecte en libre accès du Met.
  2. Exécutez-le via un modèle de langage pour créer des incorporations vectorielles – des listes de nombres adaptées aux tâches d'apprentissage automatique.
  3. Créez un moteur de recherche de similarité performant pour le demi-million de vecteurs résultants (représentant les œuvres du Met) et chargez-le dans le magasin KV afin que nous puissions l'utiliser depuis Fastly Compute.

Une fois qu'on aura fait tout ça, on devrait pouvoir, en parcourant le site du Met :

  1. Suivez les œuvres que vous visitez dans un cookie.
  2. Recherchez les vecteurs correspondant à ces œuvres d'art.
  3. Calculez un vecteur moyen représentant vos intérêts de navigation.
  4. Insérez cela dans notre moteur de recherche de similarités pour trouver les œuvres d'art les plus similaires.
  5. Chargez les détails de ces œuvres d'art à partir de l'API Objet du Met et enrichissez la page avec des recommandations personnalisées.

Et voilà, des recommandations personnalisées :

Build

OK, alors décomposons cela.

Création de l'ensemble de données

L'ensemble de données brutes du Met est un CSV avec de nombreuses colonnes et ressemble à ceci :

Object Number,Is Highlight,Is Timeline Work,Is Public Domain,Object ID,Gallery Number,Department,AccessionYear,Object Name,Title,Culture,Period,Dynasty,Reign,Portfolio,Constituent ID,Artist Role,Artist Prefix,Artist Display Name,Artist Display Bio,Artist Suffix,Artist Alpha Sort,Artist Nationality,Artist Begin Date,Artist End Date,Artist Gender,Artist ULAN URL,Artist Wikidata URL,Object Date,Object Begin Date,Object End Date,Medium,Dimensions,Credit Line,Geography Type,City,State,County,Country,Region,Subregion,Locale,Locus,Excavation,River,Classification,Rights and Reproduction,Link Resource,Object Wikidata URL,Metadata Date,Repository,Tags,Tags AAT URL,Tags Wikidata URL
1979.486.1,False,False,False,1,,The American Wing,1979,Coin,One-dollar Liberty Head Coin,,,,,,16429,Maker," ",James Barton Longacre,"American, Delaware County, Pennsylvania 1794–1869 Philadelphia, Pennsylvania"," ","Longacre, James Barton",American,1794      ,1869      ,,http://vocab.getty.edu/page/ulan/500011409,https://www.wikidata.org/wiki/Q3806459,1853,1853,1853,Gold,Dimensions unavailable,"Gift of Heinz L. Stoppelmann, 1979",,,,,,,,,,,,,,http://www.metmuseum.org/art/collection/search/1,,,"Metropolitan Museum of Art, New York, NY",,,
1980.264.5,False,False,False,2,,The American Wing,1980,Coin,Ten-dollar Liberty Head Coin,,,,,,107,Maker," ",Christian Gobrecht,1785–1844," ","Gobrecht, Christian",American,1785      ,1844      ,,http://vocab.getty.edu/page/ulan/500077295,https://www.wikidata.org/wiki/Q5109648,1901,1901,1901,Gold,Dimensions unavailable,"Gift of Heinz L. Stoppelmann, 1980",,,,,,,,,,,,,,http://www.metmuseum.org/art/collection/search/2,,,"Metropolitan Museum of Art, New York, NY",,,

Assez simple pour transformer cela en deux colonnes, un identifiant et une chaîne :

id,description
1,"One-dollar Liberty Head Coin; Type: Coin; Artist: James Barton Longacre; Medium: Gold; Date: 1853; Credit: Gift of Heinz L. Stoppelmann, 1979"
2,"Ten-dollar Liberty Head Coin; Type: Coin; Artist: Christian Gobrecht; Medium: Gold; Date: 1901; Credit: Gift of Heinz L. Stoppelmann, 1980"
3,"Two-and-a-Half Dollar Coin; Type: Coin; Medium: Gold; Date: 1927; Credit: Gift of C. Ruxton Love Jr., 1967"

Nous pouvons désormais utiliser le package Transformers de l'ensemble d'outils Hugging Face AI et générer des intégrations de chacune de ces descriptions. Nous avons utilisé le modèle phrase-transformers/all-MiniLM-L12-v2 et utilisé l'analyse en composantes principales (ACP) pour réduire les vecteurs résultants à 5 dimensions. Cela vous donne quelque chose comme :

[
  {
    "id": 1,
    "vector": [ -0.005544120445847511, -0.030924081802368164, 0.008597176522016525, 0.20186401903629303, 0.0578165128827095 ]
  },
  {
    "id": 2,
    "vector": [ -0.005544120445847511, -0.030924081802368164, 0.008597176522016525, 0.20186401903629303, 0.0578165128827095 ]
  },
  …
]

Nous en avons un demi-million, il n'est donc pas possible de stocker l'intégralité de cet ensemble de données dans la mémoire de l'application Edge. Et nous souhaitons effectuer un type personnalisé de recherche de similarité sur ces données, ce qu'un magasin clé-valeur traditionnel n'offre pas. Puisque nous construisons une expérience en temps réel, nous voulons aussi vraiment éviter d'avoir à rechercher un demi-million de vecteurs à la fois.

Alors, partitionnons les données. Nous pouvons utiliser le clustering KMeans pour regrouper des vecteurs similaires les uns aux autres. Nous avons découpé les données en 500 clusters de différentes tailles et calculé un point central appelé « vecteur centroïde » pour chacun de ces clusters. Si vous avez tracé cet espace vectoriel en deux dimensions et zoomé, cela pourrait ressembler un peu à ceci :

Build

Les croix rouges sont les points centraux mathématiques de chaque groupe de vecteurs, appelés centroïdes. Ils peuvent fonctionner comme des éclaireurs pour notre espace d’un demi-million de vecteurs. Par exemple, si nous voulons trouver les 10 vecteurs les plus similaires à un vecteur A donné, nous pouvons d’abord rechercher le centroïde le plus proche (sur 500), puis effectuer notre recherche uniquement dans son cluster correspondant – une zone beaucoup plus gérable !

Nous disposons désormais de 500 petits ensembles de données et d'un index qui mappe les points centroïdes à l'ensemble de données concerné. Ensuite, pour permettre des performances en temps réel, nous souhaitons précompiler les graphiques de recherche afin de ne pas avoir besoin de les initialiser et de les construire au moment de l'exécution et de pouvoir utiliser le moins de temps CPU possible. Un algorithme de voisin le plus proche très rapide est Hierarchical Navigable Small Worlds (HNSW), et il a une implémentation pure de Rust, que nous utilisons pour écrire notre application Edge. Nous avons donc écrit une petite application Rust autonome pour construire les structures de graphe HNSW pour chaque ensemble de données, puis avons utilisé bincode pour exporter la mémoire de la structure instanciée dans un blob binaire.

Maintenant, ces blobs binaires peuvent être chargés dans le magasin KV, indexés sur l'index du cluster, et l'index du cluster peut être inclus dans notre application Edge.

Cette architecture nous permet de charger des parties de l'index de recherche en mémoire à la demande. Et comme nous n’aurons jamais à rechercher plus de quelques milliers de vecteurs à la fois, nos recherches seront toujours rapides et bon marché.

Créer l'application Edge

L'application que nous exécutons en périphérie doit gérer plusieurs types de requêtes :

  • Pages HTML : Nous les récupérons sur metmuseum.org et transformons la réponse pour ajouter un