GloVe est essentiellement un modèle log-bilinéaire avec un objectif pondéré des moindres carrés. L`intuition principale qui sous-tend le modèle est l`observation simple que les ratios des probabilités de co-occurrence de mot-mot ont le potentiel pour encoder une certaine forme de signification. Par exemple, considérez les probabilités de co-occurrence pour les mots cibles glace et vapeur avec divers mots de sonde du vocabulaire. Voici quelques probabilités réelles d`un corpus de mots de 6 milliards: la méthodologie de base du modèle GloVe consiste à créer d`abord une matrice de co-occurrence de contexte de mot énorme composée de paires (mot, contexte) de sorte que chaque élément de cette matrice représente la fréquence à laquelle un mot se produit avec le contexte (qui peut être une séquence de mots). L`idée est alors d`appliquer la factorisation matricielle pour rapprocher cette matrice comme représenté dans la figure suivante. Notez que comme dans tous les modèles qui héritent de la matrice transformée de décomposition de Mlapiaura nrow égale = nrow égale (entrée), Ncol = Rank et la matrice de deuxième composante aura nrow égale = rang, Ncol = Ncol (Input). Le modèle GloVe signifie global vecteurs qui est un modèle d`apprentissage non supervisé qui peut être utilisé pour obtenir des vecteurs de mots denses similaires à Word2Vec. Cependant, la technique est différente et la formation est effectuée sur une matrice globale de mots-occurrences globales de mot-mot, nous donnant un espace vectoriel avec des sous-structures significatives. Cette méthode a été inventée à Stanford par Pennington et coll. et je vous recommande de lire le papier original sur gant, «gant: Global vecteurs for Word representation» par Pennington et coll. qui est une excellente lecture pour obtenir une certaine perspective sur la façon dont ce modèle fonctionne. Nous voyons des grappes cohérentes semblables à ce que nous avons obtenu de notre modèle Word2Vec qui est bon! Le modèle GloVe prétend performer mieux que le modèle Word2Vec dans de nombreux scénarios comme illustré dans le graphique suivant du papier original par Pennington El Al.

Afin de capturer de manière quantitative la nuance nécessaire pour distinguer l`homme de la femme, il est nécessaire qu`un modèle associe plus d`un nombre unique à la paire de mots. Un candidat naturel et simple pour un ensemble élargi de nombres discriminatifs est la différence vectorielle entre les deux vecteurs de mots. GloVe est conçu pour que ces différences de vecteur capturent autant que possible la signification spécifiée par la juxtaposition de deux mots.