Notes d’étude sur les LLM

Carnet en un seul fichier de Transformer à l’AGI : barre latérale par thème, recherche en texte intégral, liens wiki, chapitres avec questions essentielles et tableaux des risques, trois arrière-plans fluides.

Essayer Kimi Build Découvrir les avantages de l’abonnement

◇LLM Notes12 notes

Editor · Graph · ◐

10/28/2026

Waning Gibbous

Deep Learning Fundamentals

Reasoning and Long Context

Large Language Model Overview

Transformer Architecture

Attention Mechanism

Pre-training and Fine-tuning

Prompt Engineering

RAG

Model Evaluation

AI Safety and Alignment

Generative AI Applications

Multimodal Large Models

+ New Note · Manage

Edit · Preview

Delete

Deep Learning Fundamentals

Deep Learning is a subfield of machine learning that uses multi-layer neural networks to learn hierarchical representations of data. It is the technical foundation of large language models.

Neural Network Basics

Perceptron

The simplest neural network unit:

y = σ(w·x + b)

where σ is the activation function, w the weights, and b the bias.

Multi-Layer Perceptron (MLP)

Stack perceptrons into layers:

Input layer → Hidden layer → Hidden layer → Output layer

Each hidden layer learns a different level of abstraction
Deeper networks are more expressive (but harder to train)

Core Components

Activation Functions

Function	Formula	Notes
ReLU	max(0, x)	Cheap to compute, mitigates vanishing gradients
Sigmoid	1/(1+e^(-x))	Outputs 0-1, suited to binary classification
Tanh	(e^x - e^(-x))/(e^x + e^(-x))	Outputs -1~1, zero-centered
GELU	x·Φ(x)	The standard activation in Transformers
Softmax	e^(x_i)/Σe^(x_j)	Multi-class output layer

Loss Functions

Cross-entropy loss: classification tasks
Mean squared error (MSE): regression tasks
Contrastive loss: contrastive learning

Optimizers

SGD: stochastic gradient descent, the most basic
Adam: adaptive learning rates, the most common
AdamW: Adam with weight decay, the standard for LLM training

Key Training Techniques

Backpropagation

Compute gradients via the chain rule, updating parameters layer by layer from output back to input.

Regularization

Technique	Purpose
Dropout	Randomly drop neurons to prevent overfitting
Weight decay	Constrain parameter magnitudes
Layer normalization	Stabilize per-layer distributions
Residual connections	Ease vanishing gradients, enable deep networks

Learning Rate Schedules

Warmup: gradually increase the learning rate early in training
Cosine decay: anneal the learning rate along a cosine curve
Scheduling: adjust dynamically based on validation performance

From Deep Learning to LLMs

Deep learning → Sequence models (RNN/LSTM) → Transformer → Pre-training + fine-tuning → Large language models

Scaling Laws

Model performance improves predictably as you scale:

Number of parameters
Amount of training data
Compute (FLOPs)

"The Bitter Lesson": in the long run, compute and scale beat hand-crafted cleverness.

See also Transformer Architecture, Attention Mechanism, Pre-training and Fine-tuning

Links:Transformer ArchitectureAttention MechanismPre-training and Fine-tuning

Loading preview...

Commencer avec ce prompt

Une base de connaissances personnelle allant de Transformer à l’AGI, avec recherche en texte intégral, backlinks de type wiki et arrière-plans animés fluides.

Marques de lecture et de maîtrise

Chaque note peut être marquée comme lue et associée à un niveau de maîtrise, afin de visualiser votre progression dans la bibliothèque ; la recherche, les backlinks et la rédaction en Markdown restent inchangés.

Essayer Kimi Build

Créez une application de notes d’étude sur les LLM : une base de connaissances personnelle couvrant le chemin de Transformer à l’AGI. Une barre latérale répertorie les notes, regroupées par thème, comme la sécurité et l’alignement ou les capacités de raisonnement, et permet d’en créer de nouvelles à tout moment. La bibliothèque prend en charge la recherche en texte intégral, les liens doubles de type wiki entre les notes et la mise en forme Markdown pendant la rédaction, et la recherche mène directement à la note correspondante. La vue de lecture d’un chapitre type comprend une section de questions essentielles, un tableau des principaux risques et une section sur les techniques d’alignement : chaque thème se lit ainsi comme un petit guide d’étude plutôt que comme un extrait isolé, avec une mise en forme sobre qui préserve la lisibilité des longs chapitres. En arrière-plan de l’interface, vous pouvez choisir parmi trois textures fluides — ondulations au clair de lune, champ d’écoulement soyeux et pluie sur une fenêtre froide — pour donner au carnet une ambiance différente lors des lectures nocturnes. Lorsqu’aucune note n’est sélectionnée, l’état vide vous invite à créer votre première note. Page statique en un seul fichier.

Arrière-plan de brume matinale

La texture d’arrière-plan d’ondulations au clair de lune est remplacée par un voile de brume matinale, tandis que les textures de champ d’écoulement soyeux et de pluie sur une fenêtre restent disponibles.

Essayer Kimi Build

Créez une application de notes d’étude sur les LLM : une base de connaissances personnelle couvrant le chemin de Transformer à l’AGI. Une barre latérale répertorie les notes, regroupées par thème, comme la sécurité et l’alignement ou les capacités de raisonnement, et permet d’en créer de nouvelles à tout moment. La bibliothèque prend en charge la recherche en texte intégral, les liens doubles de type wiki entre les notes et la mise en forme Markdown pendant la rédaction ; la recherche mène directement à la note correspondante. La vue de lecture d’un chapitre type comprend une section de questions essentielles, un tableau des principaux risques et une section sur les techniques d’alignement : chaque thème se lit ainsi comme un petit guide d’étude plutôt que comme un extrait isolé, avec une mise en forme sobre qui préserve la lisibilité des longs chapitres. En arrière-plan de l’interface, vous pouvez choisir parmi trois textures fluides — ondulations au clair de lune, champ d’écoulement soyeux et pluie sur une fenêtre froide — pour donner au carnet une ambiance différente lors des lectures nocturnes. Lorsqu’aucune note n’est sélectionnée, l’état vide vous invite à créer votre première note. Page statique en un seul fichier.

Cartes de questions d’auto-évaluation

Chaque chapitre se termine par des cartes de questions d’auto-évaluation après la section sur les techniques d’alignement, transformant le guide d’étude en un outil qui vous permet de vous tester.

Essayer Kimi Build

Créez une application de notes d’étude sur les LLM : une base de connaissances personnelle couvrant le chemin de Transformer à l’AGI. Une barre latérale répertorie les notes, regroupées par thème, comme la sécurité et l’alignement ou les capacités de raisonnement, et permet d’en créer de nouvelles à tout moment. La bibliothèque prend en charge la recherche en texte intégral, les liens doubles de type wiki entre les notes et la mise en forme Markdown pendant la rédaction ; la recherche mène directement à la note correspondante. La vue de lecture d’un chapitre type comprend une section de questions essentielles, un tableau des principaux risques, et une section sur les techniques d’alignement : chaque thème se lit ainsi comme un petit guide d’étude plutôt que comme un extrait isolé, avec une mise en forme sobre qui préserve la lisibilité des longs chapitres. En arrière-plan de l’interface, vous pouvez choisir parmi trois textures fluides — ondulations au clair de lune, champ d’écoulement soyeux et pluie sur une fenêtre froide — pour donner au carnet une ambiance différente lors des lectures nocturnes. Lorsqu’aucune note n’est sélectionnée, l’état vide vous invite à créer votre première note. Page statique en un seul fichier.