Catatan Belajar LLM

Buku catatan satu file dari Transformer hingga AGI: bilah samping topik, pencarian teks lengkap, tautan wiki, bab dengan pertanyaan inti dan tabel risiko, tiga latar belakang mengalir.

Coba Kimi Build Lihat manfaat keanggotaan

◇LLM Notes12 notes

Editor · Graph · ◐

10/28/2026

Waning Gibbous

Deep Learning Fundamentals

Reasoning and Long Context

Large Language Model Overview

Transformer Architecture

Attention Mechanism

Pre-training and Fine-tuning

Prompt Engineering

RAG

Model Evaluation

AI Safety and Alignment

Generative AI Applications

Multimodal Large Models

+ New Note · Manage

Edit · Preview

Delete

Deep Learning Fundamentals

Deep Learning is a subfield of machine learning that uses multi-layer neural networks to learn hierarchical representations of data. It is the technical foundation of large language models.

Neural Network Basics

Perceptron

The simplest neural network unit:

y = σ(w·x + b)

where σ is the activation function, w the weights, and b the bias.

Multi-Layer Perceptron (MLP)

Stack perceptrons into layers:

Input layer → Hidden layer → Hidden layer → Output layer

Each hidden layer learns a different level of abstraction
Deeper networks are more expressive (but harder to train)

Core Components

Activation Functions

Function	Formula	Notes
ReLU	max(0, x)	Cheap to compute, mitigates vanishing gradients
Sigmoid	1/(1+e^(-x))	Outputs 0-1, suited to binary classification
Tanh	(e^x - e^(-x))/(e^x + e^(-x))	Outputs -1~1, zero-centered
GELU	x·Φ(x)	The standard activation in Transformers
Softmax	e^(x_i)/Σe^(x_j)	Multi-class output layer

Loss Functions

Cross-entropy loss: classification tasks
Mean squared error (MSE): regression tasks
Contrastive loss: contrastive learning

Optimizers

SGD: stochastic gradient descent, the most basic
Adam: adaptive learning rates, the most common
AdamW: Adam with weight decay, the standard for LLM training

Key Training Techniques

Backpropagation

Compute gradients via the chain rule, updating parameters layer by layer from output back to input.

Regularization

Technique	Purpose
Dropout	Randomly drop neurons to prevent overfitting
Weight decay	Constrain parameter magnitudes
Layer normalization	Stabilize per-layer distributions
Residual connections	Ease vanishing gradients, enable deep networks

Learning Rate Schedules

Warmup: gradually increase the learning rate early in training
Cosine decay: anneal the learning rate along a cosine curve
Scheduling: adjust dynamically based on validation performance

From Deep Learning to LLMs

Deep learning → Sequence models (RNN/LSTM) → Transformer → Pre-training + fine-tuning → Large language models

Scaling Laws

Model performance improves predictably as you scale:

Number of parameters
Amount of training data
Compute (FLOPs)

"The Bitter Lesson": in the long run, compute and scale beat hand-crafted cleverness.

See also Transformer Architecture, Attention Mechanism, Pre-training and Fine-tuning

Links:Transformer ArchitectureAttention MechanismPre-training and Fine-tuning

Loading preview...

Mulai dengan prompt ini

Basis pengetahuan pribadi dari Transformer hingga AGI dengan pencarian teks lengkap, tautan balik wiki, dan latar belakang animasi mengalir.

Penanda sudah dibaca dan penguasaan

Setiap catatan dapat ditandai sudah dibaca dan diberi tingkat penguasaan, sehingga progres di seluruh pustaka terlihat; pencarian, tautan balik, dan penulisan Markdown tetap tersedia.

Coba Kimi Build

Buat aplikasi catatan belajar LLM: basis pengetahuan pribadi yang mencakup perjalanan dari Transformer hingga AGI. Bilah samping menampilkan daftar catatan yang dikelompokkan berdasarkan topik, seperti keamanan dan alignment atau kemampuan penalaran, serta memungkinkan pembuatan catatan baru kapan saja. Pustaka mendukung pencarian teks lengkap, tautan ganda bergaya wiki antarc atatan, dan pemformatan Markdown saat menulis, dan pencarian langsung membuka catatan yang sesuai. Tampilan baca bab pada umumnya memuat bagian pertanyaan inti, tabel risiko utama, dan bagian tentang teknik alignment, sehingga setiap topik terasa seperti panduan belajar ringkas, bukan sekadar potongan catatan, dengan format sederhana yang menjaga keterbacaan bab panjang. Di balik antarmuka, latar belakang dapat beralih di antara tiga tekstur mengalir — riak cahaya bulan, medan aliran sutra, dan hujan di jendela dingin — untuk menghadirkan suasana berbeda saat membaca larut malam. Saat tidak ada yang dipilih, status kosong mengundang Anda membuat catatan pertama. Halaman statis satu file.

Latar belakang kabut pagi

Tekstur latar riak cahaya bulan diganti dengan selubung kabut pagi, sementara tekstur medan aliran sutra dan hujan di jendela tetap tersedia.

Coba Kimi Build

Buat aplikasi catatan belajar LLM: basis pengetahuan pribadi yang mencakup perjalanan dari Transformer hingga AGI. Bilah samping menampilkan daftar catatan yang dikelompokkan berdasarkan topik, seperti keamanan dan alignment atau kemampuan penalaran, serta memungkinkan pembuatan catatan baru kapan saja. Pustaka mendukung pencarian teks lengkap, tautan ganda bergaya wiki antarc atatan, dan pemformatan Markdown saat menulis, sementara pencarian langsung membuka catatan yang sesuai. Tampilan baca bab pada umumnya memuat bagian pertanyaan inti, tabel risiko utama, dan bagian tentang teknik alignment, sehingga setiap topik terasa seperti panduan belajar ringkas, bukan sekadar potongan catatan, dengan format sederhana yang menjaga keterbacaan bab panjang. Di balik antarmuka, latar belakang dapat beralih di antara tiga tekstur mengalir — riak cahaya bulan, medan aliran sutra, dan hujan di jendela dingin — untuk menghadirkan suasana berbeda saat membaca larut malam. Saat tidak ada yang dipilih, status kosong mengundang Anda membuat catatan pertama. Halaman statis satu file.

Kartu pertanyaan evaluasi diri

Setiap bab diakhiri dengan kartu pertanyaan evaluasi diri setelah bagian teknik alignment, sehingga panduan belajar dapat digunakan untuk menguji diri sendiri.

Coba Kimi Build

Buat aplikasi catatan belajar LLM: basis pengetahuan pribadi yang mencakup perjalanan dari Transformer hingga AGI. Bilah samping menampilkan daftar catatan yang dikelompokkan berdasarkan topik, seperti keamanan dan alignment atau kemampuan penalaran, serta memungkinkan pembuatan catatan baru kapan saja. Pustaka mendukung pencarian teks lengkap, tautan ganda bergaya wiki antarc atatan, dan pemformatan Markdown saat menulis, sementara pencarian langsung membuka catatan yang sesuai. Tampilan baca bab pada umumnya memuat bagian pertanyaan inti, tabel risiko utama, dan bagian tentang teknik alignment, sehingga setiap topik terasa seperti panduan belajar ringkas, bukan sekadar potongan catatan, dengan format sederhana yang menjaga keterbacaan bab panjang. Di balik antarmuka, latar belakang dapat beralih di antara tiga tekstur mengalir — riak cahaya bulan, medan aliran sutra, dan hujan di jendela dingin — untuk menghadirkan suasana berbeda saat membaca larut malam. Saat tidak ada yang dipilih, status kosong mengundang Anda membuat catatan pertama. Halaman statis satu file.