Résidus d’attention
Un explicatif interactif d’une page sur l’article de l’équipe Kimi Attention Residuals : des présentations animées de la dilution en profondeur, de Full AttnRes et du calcul en deux phases de Block AttnRes, avec des formules KaTeX. Ce cas a été généré par Kimi K3.
Une explication animée de la dilution en profondeur, de Full AttnRes et du calcul en deux phases de Block AttnRes, avec des formules KaTeX et un contrôle de la vitesse.
Essayer Recherche approfondieCréez une explication interactive en anglais, dans un seul fichier, de l’article de l’équipe Kimi intitulé Résidus d’attention. Destinée à des lecteurs ayant des bases en deep learning : commencez par animer le problème de dilution en profondeur lié à l’accumulation résiduelle PreNorm (la magnitude de l’état caché augmente avec la profondeur et les premières couches se diluent), expliquez ensuite Full AttnRes, dans lequel une pseudo-requête apprenable porte son attention sur toutes les sorties des couches précédentes à l’aide de poids softmax, puis présentez Block AttnRes et son calcul en deux phases (résidus simples au sein d’un bloc, attention entre les blocs), avant de conclure par une comparaison des coûts de mémoire et de communication. Affichez les formules avec KaTeX (utilisez du texte LaTeX brut en solution de repli si le CDN échoue), une navigation entre les sections, une vitesse d’animation réglable, une mise en page académique épurée, le tout dans un unique fichier HTML autonome fonctionnant hors ligne.
Les mêmes animations et formules, présentées dans une explication naturelle en chinois.
Essayer Recherche approfondieCréez en anglais une explication interactive, dans un seul fichier, de l’article de l’équipe Kimi intitulé Résidus d’attention. Destinée à des lecteurs ayant des bases en deep learning : commencez par animer le problème de dilution en profondeur lié à l’accumulation résiduelle PreNorm (la magnitude de l’état caché augmente avec la profondeur et les premières couches se diluent), expliquez ensuite Full AttnRes, dans lequel une pseudo-requête apprenable porte son attention sur toutes les sorties des couches précédentes à l’aide de poids softmax, puis présentez Block AttnRes et son calcul en deux phases (résidus simples au sein d’un bloc, attention entre les blocs), avant de conclure par une comparaison des coûts de mémoire et de communication. Affichez les formules avec KaTeX (utilisez du texte LaTeX brut en solution de repli si le CDN échoue), une navigation entre les sections, une vitesse d’animation réglable, une mise en page académique épurée, le tout dans un unique fichier HTML autonome fonctionnant hors ligne.
Conservez la forme animée en trois actes, mais expliquez plutôt Mamba et l’attention linéaire.
Essayer Recherche approfondieCréez une explication interactive en anglais, dans un seul fichier, consacrée à l’article de l’équipe Kimi intitulé Résidus d’attention. Destinée à des lecteurs ayant des bases en deep learning : commencez par animer le problème de dilution en profondeur de l’accumulation résiduelle PreNorm (la magnitude de l’état caché augmente avec la profondeur et les premières couches se diluent), expliquez ensuite Full AttnRes, dans lequel une pseudo-requête apprenable porte son attention sur toutes les sorties des couches précédentes à l’aide de poids softmax, puis présentez Block AttnRes et son calcul en deux phases (résidus simples au sein d’un bloc, attention entre les blocs), avant de conclure par une comparaison des coûts de mémoire et de communication. Affichez les formules avec KaTeX (utilisez du texte LaTeX brut en solution de repli si le CDN échoue), une navigation entre les sections, une vitesse d’animation réglable, une mise en page académique épurée, le tout dans un unique fichier HTML autonome fonctionnant hors ligne.
Ajoutez de courts quiz à la fin de chaque section, qui renvoient à l’animation correspondante en cas de mauvaise réponse.
Essayer Recherche approfondieCréez un explicatif interactif en anglais, dans un seul fichier, sur l’article de l’équipe Kimi intitulé Attention Residuals. Destiné aux lecteurs ayant des connaissances en deep learning : commencez par animer le problème de dilution en profondeur lié à l’accumulation des résidus PreNorm (l’amplitude de l’état caché augmente avec la profondeur et les premières couches sont diluées), puis expliquez Full AttnRes, où une pseudo-requête apprenable porte son attention sur les sorties de toutes les couches précédentes à l’aide de poids softmax, et terminez par Block AttnRes avec son calcul en deux phases (résidus simples au sein d’un bloc, attention entre les blocs), en concluant par une comparaison des coûts de mémoire et de communication. Affichez les formules avec KaTeX (utilisez du texte LaTeX brut si le CDN échoue), ajoutez une navigation entre les sections, une vitesse d’animation réglable, une mise en page académique épurée, le tout dans un fichier HTML autonome unique fonctionnant hors ligne.
L'utilisation directe de WebGPU et les principales approches de moteurs de rendu sont soumises au même protocole de benchmark, mais le nombre limité de résultats comparables fait dépendre le leadership en matière de performances de la charge de travail et du matériel.
Les mesures de temps de réponse sont présentées avec les intervalles de rafraîchissement et l'état de l'overdrive. Les résultats en jeu révèlent les limites de netteté des mouvements de la dalle.