LLM-Lernnotizen

Einzelseiten-Notizbuch vom Transformer zur AGI: Themen-Seitenleiste, Volltextsuche, Wiki-Links, Kapitel mit Kernfragen und Risikotabellen, drei fließende Hintergründe.

Kimi Build ausprobieren Mitgliedschaftsvorteile ansehen

◇LLM Notes12 notes

Editor · Graph · ◐

10/28/2026

Waning Gibbous

Deep Learning Fundamentals

Reasoning and Long Context

Large Language Model Overview

Transformer Architecture

Attention Mechanism

Pre-training and Fine-tuning

Prompt Engineering

RAG

Model Evaluation

AI Safety and Alignment

Generative AI Applications

Multimodal Large Models

+ New Note · Manage

Edit · Preview

Delete

Deep Learning Fundamentals

Deep Learning is a subfield of machine learning that uses multi-layer neural networks to learn hierarchical representations of data. It is the technical foundation of large language models.

Neural Network Basics

Perceptron

The simplest neural network unit:

y = σ(w·x + b)

where σ is the activation function, w the weights, and b the bias.

Multi-Layer Perceptron (MLP)

Stack perceptrons into layers:

Input layer → Hidden layer → Hidden layer → Output layer

Each hidden layer learns a different level of abstraction
Deeper networks are more expressive (but harder to train)

Core Components

Activation Functions

Function	Formula	Notes
ReLU	max(0, x)	Cheap to compute, mitigates vanishing gradients
Sigmoid	1/(1+e^(-x))	Outputs 0-1, suited to binary classification
Tanh	(e^x - e^(-x))/(e^x + e^(-x))	Outputs -1~1, zero-centered
GELU	x·Φ(x)	The standard activation in Transformers
Softmax	e^(x_i)/Σe^(x_j)	Multi-class output layer

Loss Functions

Cross-entropy loss: classification tasks
Mean squared error (MSE): regression tasks
Contrastive loss: contrastive learning

Optimizers

SGD: stochastic gradient descent, the most basic
Adam: adaptive learning rates, the most common
AdamW: Adam with weight decay, the standard for LLM training

Key Training Techniques

Backpropagation

Compute gradients via the chain rule, updating parameters layer by layer from output back to input.

Regularization

Technique	Purpose
Dropout	Randomly drop neurons to prevent overfitting
Weight decay	Constrain parameter magnitudes
Layer normalization	Stabilize per-layer distributions
Residual connections	Ease vanishing gradients, enable deep networks

Learning Rate Schedules

Warmup: gradually increase the learning rate early in training
Cosine decay: anneal the learning rate along a cosine curve
Scheduling: adjust dynamically based on validation performance

From Deep Learning to LLMs

Deep learning → Sequence models (RNN/LSTM) → Transformer → Pre-training + fine-tuning → Large language models

Scaling Laws

Model performance improves predictably as you scale:

Number of parameters
Amount of training data
Compute (FLOPs)

"The Bitter Lesson": in the long run, compute and scale beat hand-crafted cleverness.

See also Transformer Architecture, Attention Mechanism, Pre-training and Fine-tuning

Links:Transformer ArchitectureAttention MechanismPre-training and Fine-tuning

Loading preview...

Mit diesem Prompt starten

Eine persönliche Wissensdatenbank vom Transformer bis zur AGI mit Volltextsuche, Wiki-Links und fließenden animierten Hintergründen.

Markierungen für gelesen und Kenntnisstand

Jede Notiz lässt sich als gelesen markieren und mit einem Kenntnisstand versehen, sodass dein Fortschritt in der Sammlung sichtbar wird; Suche, Backlinks und das Schreiben in Markdown bleiben unverändert.

Kimi Build ausprobieren

Erstelle eine App für LLM-Lernnotizen: eine persönliche Wissensdatenbank über den Weg vom Transformer zur AGI. Eine Seitenleiste führt die nach Themen wie Sicherheit und Alignment oder Schlussfolgerungsfähigkeit gruppierten Notizen auf; darüber lassen sich jederzeit neue Notizen erstellen. Die Sammlung unterstützt Volltextsuche, Wiki-Links zwischen Notizen und Markdown-Formatierung beim Schreiben, und die Suche führt direkt zur passenden Notiz. Die Leseansicht eines typischen Kapitels enthält einen Abschnitt mit Kernfragen, eine Tabelle der wichtigsten Risiken und einen Abschnitt zu Alignment-Techniken. So liest sich jedes Thema wie ein kompakter Lernleitfaden statt wie ein loses Fragment; das zurückhaltende Layout hält auch lange Kapitel lesbar. Im Hintergrund der Oberfläche kannst du zwischen drei fließenden Texturen wechseln – mondbeschienenen Wellen, einem Seidenströmungsfeld und Regen an einem kalten Fenster. Sie verleihen dem Notizbuch für die Lektüre spät in der Nacht jeweils eine andere Stimmung. Wenn nichts ausgewählt ist, lädt der leere Zustand dazu ein, deine erste Notiz zu erstellen. Statische Einzelseiten-Datei.

Hintergrund mit Morgennebel

Die Hintergrundtextur mit mondbeschienenen Wellen wird durch einen Schleier aus Morgennebel ersetzt, während das Seidenströmungsfeld und die Textur mit Regen am Fenster verfügbar bleiben.

Kimi Build ausprobieren

Erstelle eine App für LLM-Lernnotizen: eine persönliche Wissensdatenbank über den Weg vom Transformer zur AGI. Eine Seitenleiste führt die nach Themen wie Sicherheit und Alignment oder Schlussfolgerungsfähigkeit gruppierten Notizen auf; darüber lassen sich jederzeit neue Notizen erstellen. Die Sammlung unterstützt Volltextsuche, Wiki-Links zwischen Notizen und Markdown-Formatierung beim Schreiben; die Suche führt direkt zur passenden Notiz. Die Leseansicht eines typischen Kapitels enthält einen Abschnitt mit Kernfragen, eine Tabelle der wichtigsten Risiken und einen Abschnitt zu Alignment-Techniken. So liest sich jedes Thema wie ein kompakter Lernleitfaden statt wie ein loses Fragment; das zurückhaltende Layout hält auch lange Kapitel lesbar. Im Hintergrund der Oberfläche kannst du zwischen drei fließenden Texturen wechseln – mondbeschienenen Wellen, einem Seidenströmungsfeld und Regen an einem kalten Fenster – sie verleihen dem Notizbuch für die Lektüre spät in der Nacht jeweils eine andere Stimmung. Wenn nichts ausgewählt ist, lädt der leere Zustand dazu ein, deine erste Notiz zu erstellen. Statische Einzelseiten-Datei.

Karten für Selbsttestfragen

Jedes Kapitel endet nach dem Abschnitt zu Alignment-Techniken mit Karten für Selbsttestfragen, sodass du dein Wissen anhand des Lernleitfadens prüfen kannst.

Kimi Build ausprobieren

Erstelle eine App für LLM-Lernnotizen: eine persönliche Wissensdatenbank über den Weg vom Transformer zur AGI. Eine Seitenleiste führt die nach Themen wie Sicherheit und Alignment oder Schlussfolgerungsfähigkeit gruppierten Notizen auf; darüber lassen sich jederzeit neue Notizen erstellen. Die Sammlung unterstützt Volltextsuche, Wiki-Links zwischen Notizen und Markdown-Formatierung beim Schreiben; die Suche führt direkt zur passenden Notiz. Die Leseansicht eines typischen Kapitels enthält einen Abschnitt mit Kernfragen, eine Tabelle der wichtigsten Risiken, und einen Abschnitt zu Alignment-Techniken. So liest sich jedes Thema wie ein kompakter Lernleitfaden statt wie ein loses Fragment, wobei das zurückhaltende Layout auch lange Kapitel lesbar hält. Im Hintergrund der Oberfläche kannst du zwischen drei fließenden Texturen wechseln – mondbeschienenen Wellen, einem Seidenströmungsfeld und Regen an einem kalten Fenster. Sie verleihen dem Notizbuch für die Lektüre spät in der Nacht jeweils eine andere Stimmung. Wenn nichts ausgewählt ist, lädt der leere Zustand dazu ein, deine erste Notiz zu erstellen. Statische Einzelseiten-Datei.