Apa Itu Harness Agen? Riset, Proyek Open-Source, dan Praktik Industri

Dua agen dapat menggunakan model yang persis sama, tetapi memperoleh skor yang sangat berbeda pada benchmark yang sama. OpenAI mengukur hal ini secara langsung: pada SWE-bench Lite, GPT-4 mendapat skor 2,7% dengan satu harness dan 28,3% dengan harness lain — kesenjangan 10 kali lipat yang sepenuhnya disebabkan oleh harness. Ketika industri beralih dari "model mana yang paling pintar" ke "agen mana yang benar-benar menyelesaikan pekerjaan", harness agen menjadi lapisan penentu keandalan. Lanjutkan membaca untuk mengetahui apa itu harness agen, temuan makalah dan benchmark terbaru tentang desain harness, harness open-source mana yang layak digunakan, serta bagaimana laboratorium AI besar merekayasa harness mereka sendiri — termasuk Kimi K3.1 Pro, model berbobot terbuka yang dipasangkan Moonshot AI dengan harness miliknya.

Harness agen adalah infrastruktur di sekeliling model bahasa besar yang memungkinkannya beroperasi sebagai agen di dalam lingkungan nyata. Jika model menghasilkan token, harness menangani segala hal lainnya: membangun prompt pada setiap langkah, menentukan alat yang tersedia dan cara memanggilnya, menjalankan tindakan di sandbox atau terminal, memasukkan observasi kembali ke model, menerapkan batas langkah dan biaya, serta mencatat trajektori lengkap untuk evaluasi atau debugging.

Istilah ini berasal dari dunia evaluasi — "test harness" adalah rig yang menjalankan sistem dalam kondisi terkendali. Dalam AI agentik, gagasan yang sama diperluas ke produksi: harness adalah rig untuk mengukur agen (seperti pada SWE-bench atau Terminal-Bench) sekaligus harness untuk menjalankan agen (seperti pada SWE-agent, OpenHands, atau Claude Code).

Riset SWE-bench Anthropic menjelaskannya dengan lugas: benchmark tersebut "tidak hanya mengevaluasi model AI secara terpisah, melainkan seluruh sistem 'agen'," dengan agen sebagai "gabungan model AI dan infrastruktur perangkat lunak di sekelilingnya." Claude 3.5 Sonnet versi peningkatan mereka mencapai 49% pada SWE-bench Verified bukan dengan framework kompleks, melainkan harness minimal yang terdiri atas satu prompt dan dua alat serbaguna (alat Bash dan alat Edit).

Selama bertahun-tahun, kenaikan peringkat leaderboard dikaitkan dengan skala model. Riset terbaru mematahkan asumsi tersebut dari dua arah.

Pertama, hasil "lebih sedikit lebih baik": pada Juli 2025, tim SWE-bench merilis mini-SWE-agent, sebuah harness berisi sekitar 100 baris Python tanpa alat selain bash, riwayat pesan yang sepenuhnya linear, dan setiap tindakan dijalankan sebagai panggilan subprocess.run independen. Harness ini mencapai skor benchmark yang kompetitif dengan framework yang jauh lebih kompleks (dibahas di bagian riset di bawah). Pelajarannya cukup provokatif: ketika model sudah cukup kuat, harness yang sangat sederhana dan mudah diprediksi dapat mengungguli yang berat. Harness ini sudah digunakan sebagai baseline oleh Meta, NVIDIA, IBM, Princeton, dan Stanford.

Kedua, hasil "lebih banyak justru lebih sedikit": harness yang buruk — output alat yang berisik, loop tanpa batas, pemulihan kesalahan yang buruk — dapat membuat model terdepan tampak biasa saja. OpenAI menemukan bahwa pembersihan tugas SWE-bench yang cacat (dirinci di bagian OpenAI di bawah) meningkatkan kinerja model terukur hingga lebih dari dua kali lipat.

Inilah sebabnya rekayasa harness telah menjadi disiplin tersendiri. Harness menentukan:

• Apa yang dilihat model: struktur prompt, skema alat, serta seberapa banyak keadaan lingkungan dan riwayat yang dimasukkan ke dalam jendela konteks.

• Apa yang dapat dilakukan model: alat yang tersedia (shell, editor file, browser, pencarian), serta cara tindakan diurai dan divalidasi sebelum dijalankan.

• Cara kegagalan ditangani: coba ulang, batas waktu, pemadatan konteks ketika jendela penuh, dan penghentian yang terkendali.

• Cara kerja diukur: pencatatan trajektori, penilaian, dan penghitungan biaya — tanpa semua ini, tidak ada evaluasi maupun siklus perbaikan.

Baik berupa rig benchmark riset maupun asisten pemrograman produksi, hampir setiap harness agen menerapkan loop inti yang sama:

1. Penerimaan tugas: membaca isu, instruksi, atau tujuan, lalu menyiapkan lingkungan terisolasi (biasanya kontainer Docker atau snapshot VM).

2. Penyusunan prompt: menggabungkan prompt sistem, definisi alat, deskripsi tugas, serta riwayat berjalan dari tindakan dan observasi.

3. Penguraian tindakan: menerjemahkan keluaran model menjadi pemanggilan alat yang konkret — perintah bash, penyuntingan file, permintaan API — serta menolak tindakan yang tidak valid.

4. Eksekusi dan pengamatan: menjalankan tindakan di lingkungan, menangkap stdout/stderr atau status UI, lalu memangkasnya agar sesuai dengan anggaran konteks.

5. Alur kontrol: menerapkan batas langkah, batas biaya, dan kondisi penghentian; memutuskan kapan harus meminta bantuan manusia atau mengakhiri episode.

6. Perekaman dan penilaian: menyimpan seluruh lintasan dan mengevaluasi kondisi akhir — misalnya, dengan menjalankan rangkaian pengujian repositori di SWE-bench.

Pilihan desain di setiap langkah saling terakumulasi. Strategi pemangkasan saja dapat mengubah skor secara signifikan pada tugas berjangka panjang, sehingga tim yang serius memperlakukan harness sebagai perangkat lunak berversi dan dapat diuji, bukan sekadar kode penghubung.

Literatur akademis tentang harness agen telah mencapai sejumlah kecil kesimpulan yang diperoleh dengan susah payah. Alih-alih mencatat setiap benchmark, bagian ini menelusuri pertanyaan riset yang memaksa bidang ini untuk menganggap harness sebagai hal yang serius.

Sebelum membahas makalahnya, berikut pengantar singkat. Benchmark adalah kumpulan tugas tetap beserta aturan penilaian, yang dirancang agar berbagai sistem dapat dibandingkan dalam kondisi yang sama. Dalam evaluasi agen, sebuah benchmark memiliki tiga komponen yang berubah: kumpulan tugas (isu GitHub nyata, perintah terminal, tugas web), lingkungan eksekusi (kontainer Docker, browser, terminal), dan penilai (rangkaian pengujian, pemeriksaan status, tinjauan manusia). Harness berada di antara model dan ketiganya — inilah variabel yang menentukan apakah kemampuan model tercermin dalam skor.

Cara skor benar-benar diukur lebih penting daripada angka utamanya. Dalam SWE-bench, agen menghasilkan patch kode; benchmark kemudian menjalankan dua rangkaian pengujian: FAIL_TO_PASS (pengujian yang gagal sebelum perbaikan dan kini harus lulus) serta PASS_TO_PASS (pengujian yang berfungsi sebelumnya dan tidak boleh rusak). Tugas hanya dihitung sebagai terselesaikan jika keduanya lulus. Inilah sebabnya fitur harness seperti eksekusi pengujian dan pembuatan diff bukan tambahan opsional — di situlah poin dimenangkan atau hilang.

Tiga aturan untuk membaca skor benchmark apa pun:

1. Tanyakan apa yang disembunyikan oleh skor tersebut. Model yang dilatih dengan data GitHub publik mungkin telah melihat isu yang sedang diuji — kontaminasi data dapat menaikkan skor tanpa peningkatan kemampuan yang nyata. Lingkungan yang dapat direproduksi dan kumpulan tugas yang disisihkan adalah penawarnya.

2. Waspadai hukum Goodhart: ketika suatu ukuran menjadi target, ukuran itu tidak lagi menjadi ukuran yang baik. Harness yang disetel agar unggul pada satu benchmark mungkin mempelajari trik khusus benchmark, alih-alih kemampuan umum — itulah sebabnya tim yang serius mengevaluasi lebih dari satu benchmark.

3. Periksa harness, bukan hanya modelnya. Seperti ditunjukkan bagian selanjutnya, model yang sama dapat meraih skor 2,7% atau 28,3% bergantung pada penyangganya. Skor tanpa nama harness hanyalah anekdot, bukan pengukuran.

Makalah SWE-bench asli ("Can Language Models Resolve Real-World GitHub Issues?") memperkenalkan evaluasi yang kini menjadi kanonik: berikan model isu GitHub nyata dan repositori lengkap, lalu nilai apakah patch-nya membuat pengujian yang gagal menjadi lulus. Hasilnya yang paling sering dikutip kerap disalahpahami: model terbaik saat itu, Claude 2, hanya menyelesaikan 1,96% tugas. Penulis sendiri membingkainya sebagai benchmark yang menguji "penalaran kompleks yang jauh melampaui pembuatan kode tradisional" — tetapi penelitian lanjutan memperjelas bahwa sebagian besar kesenjangan tersebut bukanlah kemampuan bernalar, melainkan ketiadaan harness yang dapat menavigasi repositori, menjalankan pengujian, dan beriterasi. Dengan kata lain, SWE-bench tidak hanya mengukur model; ia mengungkap bahwa harness di sekelilingnya adalah bagian yang hilang.

Makalah SWE-agent ("Agent-Computer Interfaces Enable Automated Software Engineering") adalah dokumen pendiri bidang ini untuk desain harness. Klaim utamanya adalah bahwa desain antarmuka merupakan variabel utama: para penulis memperkenalkan istilah Agent-Computer Interface (ACI) dan menunjukkan bahwa antarmuka yang dibuat khusus — editor file dengan perlindungan linter, umpan balik shell yang ringkas, pengaman untuk perintah yang tidak valid — meningkatkan pass@1 pada SWE-bench dari satu digit rendah menjadi 12,5%, yang saat itu merupakan yang terbaik. Kontribusi abadi makalah ini adalah argumen bahwa "agen LM merupakan kategori pengguna akhir baru" yang membutuhkan perangkat lunak yang dibangun untuk mereka, sebagaimana manusia membutuhkan IDE. Setiap makalah harness berikutnya mengutip hasil ini.

Dua makalah pada 2024 memperluas riset harness dari repositori kode ke komputer secara menyeluruh. OSWorld membangun lingkungan komputer nyata pertama yang dapat diskalakan di Ubuntu, Windows, dan macOS, dengan 369 tugas yang mencakup aplikasi web dan desktop. Angka utamanya — manusia menyelesaikan 72,36% tugas, model terbaik 12,24% — mengidentifikasi GUI grounding (menerjemahkan keluaran model menjadi klik dan penekanan tombol yang tepat) sebagai mode kegagalan dominan, yakni masalah harness, bukan masalah pengetahuan. WebArena mengambil sudut berbeda: lingkungan web yang di-host sendiri dan sepenuhnya dapat direproduksi (e-commerce, forum, GitLab, CMS), tempat GPT-4 hanya mencapai keberhasilan menyeluruh sebesar 14,41% dibandingkan 78,24% untuk manusia. Kedua makalah tersebut menetapkan bahwa evaluasi harness harus berbasis eksekusi (memeriksa kondisi akhir lingkungan), bukan mencocokkan pola pada keluaran model.

τ-bench milik Sierra ("A Benchmark for Tool-Agent-User Interaction in Real-World Domains") menyampaikan poin yang lebih subtil: dalam produksi, harness tidak hanya membungkus model dan lingkungan — ia juga menjadi perantara bagi pengguna. Benchmark ini menyimulasikan percakapan dinamis antara pengguna model bahasa dan agen yang memiliki API domain serta pedoman kebijakan, lalu menilai kondisi akhir basis data. Metrik utamanya, pass^k (keberhasilan di seluruh k uji coba independen), mengungkap betapa tidak konsistennya agen: GPT-4o menyelesaikan kurang dari 50% tugas dalam satu kali percobaan, dan pass^8 turun di bawah 25% pada ritel. Pelajaran bagi pembuat harness adalah bahwa keandalan merupakan sifat distribusional, bukan sifat dari satu kali eksekusi — harness yang berhasil sekali bukanlah harness yang benar-benar berfungsi.

METR melalui "Measuring AI Ability to Complete Long Software Tasks" memperkenalkan cakrawala waktu penyelesaian tugas 50%: durasi tugas (diukur berdasarkan waktu penyelesaian manusia) yang dapat diselesaikan model dengan keandalan 50%. Model terdepan berkembang dari hitungan menit menjadi kira-kira satu jam antara 2019 dan 2025, dengan pelipatan sekitar setiap tujuh bulan. Bagi rekayasa harness, ini adalah temuan paling berdampak dalam dekade ini: harness yang membatasi model 2024 menjadi beban mati bagi model 2026. Kerangka Anthropic menyatakan bahwa setiap komponen dalam harness memuat asumsi tentang hal yang tidak dapat dilakukan model — dan asumsi tersebut menjadi usang seiring model membaik.

Benchmark asli telah berkembang menjadi ekosistem yang menerapkan pelajaran-pelajaran ini:

• SWE-bench Verified (bersama OpenAI, 2024): subkumpulan 500 instans yang disaring manusia untuk menghapus tugas yang spesifikasinya kurang jelas atau penilaiannya tidak adil — 68,3% dari kumpulan asli tersaring, yang melipatgandakan skor terukur lebih dari dua kali dan menjadikannya leaderboard bawaan.

• SWE-smith (2025): pipeline untuk menghasilkan tugas pelatihan sintetis agar model dapat dilatih untuk harness agen, bukan sekadar dievaluasi dengannya.

• mini-SWE-agent (2025): harness sekitar 100 baris yang kini melampaui 74% pada SWE-bench Verified, menunjukkan bahwa loop minimal khusus bash dengan riwayat linear sudah cukup ketika modelnya kuat — serta menjadi baseline bawaan komunitas.

• Terminal-Bench (Stanford × Laude, 2025): evaluasi tugas terminal yang dibangun di atas kerangka Harbor, mendorong harness melampaui penyuntingan kode ke administrasi sistem.

• CodeClash (2025) dan ProgramBench (2026): pembuatan perangkat lunak berorientasi tujuan dan dari nol, yang memperluas harness dari perbaikan satu isu menjadi pengembangan terbuka.

Benang merah dalam seluruh penelitian ini konsisten: harness bukan sekadar infrastruktur pendukung, melainkan objek kajian. Laporkan harness bersama skornya, pertahankan lingkungan agar dapat direproduksi, dan curigai hasil apa pun yang harness-nya tidak dapat diperiksa.

Harness sumber terbuka adalah titik awal bagi sebagian besar tim. Proyek-proyek di bawah ini memadukan komunitas GitHub yang besar (puluhan ribu bintang untuk pemimpinnya) dengan pemeliharaan aktif:

Saat memilih di antara semuanya, heuristik komunitasnya adalah: gunakan harness minimal yang dapat mengekspresikan tugas Anda (filosofi mini-SWE-agent), lalu tambahkan kompleksitas hanya ketika kegagalan yang terukur memang menuntutnya. DeepSeek Harness berada di ujung spektrum yang berlawanan — platform yang sepenuhnya digerakkan plugin untuk tim yang menginginkan setiap lapisan dapat diganti — tetapi keduanya berbagi disiplin yang sama: log sesi yang tahan lama dan hanya dapat ditambahkan sebagai satu-satunya sumber kebenaran tentang apa yang dilihat model.

Laboratorium terdepan memandang rekayasa harness sebagai IP inti, dan beberapa di antaranya telah memublikasikan pemikiran mereka dengan tingkat detail yang tidak lazim.

Anthropic telah memublikasikan catatan publik paling lengkap tentang rekayasa harness, dan arsitekturnya — yang diuraikan dalam Membangun Agen yang Efektif (2024), artikel harness SWE-bench (2024), dan Managed Agents (2026) — dapat dipahami sebagai tiga lapisan konsentris.

Lapisan eksekusi sengaja dibuat minimal: alat Bash untuk menjalankan perintah dan alat Edit untuk melihat serta memodifikasi file. Upaya desain difokuskan agar alat-alat tersebut tahan terhadap kesalahan — dengan mewajibkan jalur absolut, memangkas keluaran yang panjang, dan menerapkan penyuntingan hanya pada kecocokan string yang unik — sehingga model jarang perlu memulihkan diri dari kegagalan alat yang sebenarnya dapat dihindari.

Lapisan sesi adalah log peristiwa yang tahan lama dan hanya dapat ditambahkan, yang berada di luar jendela konteks model. Setiap tindakan dan observasi dicatat di sana; konteks model adalah proyeksi dari log tersebut, bukan log itu sendiri. Pemisahan inilah yang memungkinkan proses harness yang gagal untuk dinyalakan ulang dan dilanjutkan di tengah tugas, serta menjadikan harness sebagai "ternak" yang dapat diganti, bukan hewan peliharaan.

Lapisan orkestrasi — yang oleh Anthropic disebut "meta-harness" — memisahkan "otak" (model dan loop-nya) dari "tangan" (sandbox dan alat) melalui antarmuka yang eksplisit. Karena otak tidak lagi berada di dalam kontainer eksekusi, sandbox dapat disediakan sesuai kebutuhan dan kredensial dapat disimpan di vault yang tidak pernah disentuh sandbox. Hasil yang mereka laporkan bersifat struktural, bukan kosmetik: p50 waktu hingga token pertama turun ~60% dan p95 turun lebih dari 90%, karena sesi tidak lagi menunggu kontainer yang mungkin tidak pernah mereka gunakan.

Tiga dokumen menelusuri evolusi ini: Membangun Agen yang Efektif (2024), artikel harness SWE-bench (2024), dan Managed Agents (2026).

OpenAI bermitra dengan tim SWE-bench untuk membuat split Verified yang divalidasi manusia, tepatnya karena harness memerlukan tugas yang bersih: kampanye anotasi mereka (93 pengembang, 1.699 sampel) menemukan bahwa 68,3% tugas pada benchmark asli bermasalah, dan penghapusannya membuat performa terukur meningkat lebih dari dua kali lipat. Artikel yang sama mencatat bahwa pilihan harness saja mengubah hasil GPT-4 dari 2,7% menjadi 28,3% pada SWE-bench Lite — selisih yang mereka gunakan untuk menegaskan bahwa evaluasi harus memperhitungkan kemajuan dalam harness yang dibangun komunitas.

Di sisi sumber terbuka, Codex CLI hadir sebagai harness rujukan yang lengkap. Arsitekturnya berlapis dan mencerminkan sistem lain dalam bagian ini: loop agen inti menangani perencanaan dan pemanggilan alat; lapisan sandbox mengisolasi eksekusi dengan kebijakan yang dapat dikonfigurasi untuk setiap tugas; lapisan sesi menyimpan percakapan agar dapat dilanjutkan, di-fork, atau dipadatkan; dan lapisan alat menyediakan akses shell lokal serta alat eksternal berbasis MCP. Alih-alih mengodekan satu antarmuka secara tetap, mesin yang sama tersedia melalui tiga sarana — UI terminal untuk pekerjaan interaktif, server aplikasi JSON-RPC untuk klien kaya seperti VS Code, serta layanan eksekusi kode jarak jauh untuk sandbox cloud — sehingga harness dapat berjalan secara lokal atau dikendalikan secara terprogram. Desainnya menerapkan pertukaran yang sama seperti rekomendasi literatur riset: loop minimal, sandbox yang kuat, pengelolaan konteks eksplisit, dan batas yang jelas antara model dan dunia luar.

Dengan Kit Pengembangan Agen (ADK) dan protokol Agen2Agen (A2A) — yang diluncurkan pada April 2025 bersama lebih dari 50 mitra teknologi, termasuk Atlassian, Salesforce, SAP, dan ServiceNow — Google menjadikan lapisan harness sebagai produk. A2A menstandarkan cara agen mengumumkan kapabilitas (melalui "Kartu Agen" JSON), mengelola tugas jangka panjang, bertukar artefak, dan menegosiasikan format UI, sehingga harness menjadi infrastruktur yang interoperabel, bukan perekat khusus. Protokol ini secara eksplisit dirancang untuk melengkapi Model Context Protocol (MCP) milik Anthropic, yang menstandarkan sisi alat pada harness.

AutoGen dan Magentic-One dari Microsoft menyediakan harness tempat agen orkestrator mengelola catatan fakta dan kemajuan — rancangan yang dipublikasikan untuk mencegah loop tak terbatas yang kerap terjadi pada harness naif. GAIA dari Meta dan Hugging Face menciptakan benchmark asisten umum yang harness-nya menilai pertanyaan dunia nyata yang memerlukan navigasi web dan penanganan file; Open Agent Leaderboard dari Hugging Face meneruskan dorongan untuk pemeringkatan yang dapat dibandingkan dan sadar-harness.

DeepSeek Harness (dsh) mengembangkan gagasan meta-harness dan menjadikannya dapat dikomposisikan. Arsitekturnya dibangun di atas framework Cordis, dengan klaim utama bahwa setiap bagian harness adalah plugin yang dapat diganti — termasuk adaptor model, registri alat, log sesi, dan loop agen itu sendiri.

Desain ini bertumpu pada tiga primitif. Pertama, log sesi yang tahan lama sebagai satu-satunya sumber kebenaran atas apa yang dilihat model; apa pun yang sampai ke model harus dapat direkonstruksi dari log, yang diberlakukan sebagai invarian runtime. Kedua, batas kapabilitas: antarmuka penyedia yang dapat ditukar antara agen dan dunia luar, sehingga mengarahkan penyedia sistem file dan subprocess ke sandbox jarak jauh turut memindahkan akses Bash, terminal, dan language server, tanpa mem-fork harness. Ketiga, siklus hidup giliran/langkah eksplisit dengan peristiwa ekstensi bernama (agent/pre-step, tools/execute, agent/turn-stopping) yang memungkinkan plugin mencegat atau menulis ulang loop tanpa mengubah kode inti.

Hasilnya adalah perwujudan open-source yang paling mendekati meta-harness Anthropic: harness yang strukturnya bukan framework tetap, melainkan komposisi plugin yang dapat ditukar melalui konfigurasi. Dengan lebih dari 170 ribu bintang GitHub dalam bulan-bulan awalnya, proyek ini menandakan bahwa harness agen sedang menjadi kategori produk tersendiri.

Pola yang sama di antara semuanya: buat loop tetap sederhana, sandbox semua hal, catat setiap langkah, dan jangan pernah percaya pada skor tanpa harness yang menghasilkannya.

Semua hal dalam bagian ini hingga sekarang — loop minimal, log sesi yang tahan lama, eksekusi tersandbox, arsitektur plugin — memiliki satu asumsi yang sama: lingkungan agen adalah komputer. Terminal, browser, sistem file, repositori. Harness ada agar agen dapat mengoperasikan mesin itu dengan andal.

Namun, arah riset yang diuraikan di atas mengarah ke tempat lain. τ-bench menempatkan pengguna di dalam harness. METR menunjukkan agen menangani pekerjaan yang berlangsung berhari-hari, bukan menit. OSWorld dan WebArena memindahkan lingkungan dari repo yang rapi ke dunia nyata yang semrawut. Arahnya konsisten: ketika agen beralih dari alat pemrograman menjadi asisten kerja sungguhan, lingkungan yang harus mereka navigasi bukan lagi sekadar silikon — melainkan manusia. Pengguna dengan ekspektasi, tim dengan riwayat, organisasi dengan izin dan pengetahuan institusional.

Pergeseran itu terutama berdampak pada satu subsistem harness: manajemen konteks. Sesi terminal memiliki satu operator dan riwayat terbatas; keterlibatan jangka panjang memiliki sepuluh pemangku kepentingan, keputusan berbulan-bulan, dan repositori yang terus berkembang. Sistem file bersifat pasif; hubungan kerja merupakan arus komitmen tersirat, pemikiran setengah jadi, dan pilihan yang dibuat sambil lalu. Semua itu harus diringkas, dipadatkan, atau dibuang sebelum mencapai model, dan setiap keputusan tersebut merupakan titik ketika agen kehilangan sesuatu yang dibutuhkan tugas.

Harness dapat memampatkan, tetapi tidak dapat memampatkan secara sembarangan. Karena itulah ukuran jendela konteks berhenti menjadi spesifikasi model dan menjadi parameter desain harness.

Portofolio harness Moonshot AI memetakan anatomi yang dijelaskan sebelumnya dalam artikel ini ke dalam satu tumpukan terkelola. Untuk masalah Agen × Komputer, harness-nya memperluas loop standar: Kimi Browser Extension mengendalikan sesi browser nyata melalui Chrome DevTools Protocol, bukan sandbox steril, batas Tanya sebelum bertindak menegakkan persetujuan di tingkat sistem file, dan Agent Swarm meningkatkan orkestrasi hingga 300 sub-agen untuk tugas berjangka panjang.

Yang menggerakkan loop tersebut adalah Kimi K3.1 Pro — model pertama dalam seri K3.1 dan model open-weight kelas 3T Moonshot AI yang paling mampu hingga saat ini, dengan jendela konteks 1.048.576 token. Tiga propertinya berkaitan langsung dengan desain harness:

• Jendela yang cukup besar untuk menunda pemadatan. Satu juta token dapat menampung repositori kerja, trajektori yang sedang berjalan, dan dokumen referensi secara bersamaan. Harness tetap melakukan pemotongan — ia selalu harus melakukannya — tetapi ambang saat peringkasan mulai menghancurkan informasi bergeser cukup jauh sehingga tugas jangka panjang tidak lagi diam-diam menurun di tengah jalan.

• Upaya penalaran sebagai kenop harness. K3.1 Pro selalu berpikir, dan reasoning_effort menerima low, high, atau max, dengan max sebagai nilai default. Ini menjadikan biaya penalaran model sebagai anggaran per tugas yang ditetapkan harness, alih-alih biaya masuk yang tetap.

• Alat yang hadir di tengah episode. Pemuatan alat dinamis memungkinkan harness menyisipkan definisi alat lengkap ke dalam pesan sistem, sehingga alat tersedia sejak pesan itu dan seterusnya — tanpa memulai ulang, serta tanpa membayar skemanya pada setiap giliran percakapan yang tidak pernah menggunakannya.

Moonshot melaporkan harness bersama modelnya, disiplin yang diperjuangkan oleh artikel ini. Pada Terminal-Bench 4.0 — yang menilai agen pemrograman pada tugas terminal realistis dengan sumber daya terbatas melalui pengujian ketat yang spesifik untuk tiap tugas — K3.1 Pro mencapai 65,7%, mengungguli GPT-6 Astra (58,2%) dan hanya sedikit di bawah Claude Opus 5.5 (66,4%). Pada Kimi Code Bench 3.0 Long-horizon, benchmark internal untuk eksekusi multilangkah, penggunaan alat, dan pemecahan masalah menyeluruh, skornya 61,2% dibandingkan 55,95% untuk K3. Dokumentasinya sama eksplisitnya tentang hubungan ke arah sebaliknya: parameter sampling seperti temperature dan top_p bersifat tetap dan harus dihilangkan dari permintaan, sementara pesan asisten lengkap harus dikembalikan tanpa perubahan antargiliran — harness yang menulis ulang pesan akan menghilangkan penalaran yang diperlukan oleh pemanggilan alat berikutnya.

Model yang sama menjalankan seluruh permukaan. Anda dapat mencoba versi web terkelola melalui Kimi Agent, menjalankan harness lokal lengkap dengan Kimi Work, bekerja di terminal dengan Kimi Code, atau memanggil kimi-k3.1-pro langsung melalui Kimi API. Varian kimi-k3.1-pro-highspeed menukar harga token kira-kira dua kali lipat dengan kecepatan keluaran dua hingga tiga kali lebih tinggi.

Baik Anda mengevaluasi model maupun merilis produk, daftar periksa yang sama berlaku:

1. Mulailah dari tugas, bukan framework. Jika agen Anda mengedit kode, harness bash-plus-editor seperti ACI milik SWE-agent sudah terbukti. Jika mereka mengendalikan GUI atau web langsung, Anda memerlukan observasi sesi nyata dan tindakan tingkat klik.

2. Buat lingkungan dapat direproduksi. Image Docker, dependensi yang dipatok, dan data ber-seed adalah pembeda antara benchmark dan anekdot.

3. Anggarkan jendela konteks dengan sengaja. Pemotongan observasi, peringkasan riwayat, dan pemadatan adalah fitur harness yang secara langsung memengaruhi skor dan biaya — sekaligus alasan model ber-konteks panjang mengurangi jumlah hal yang harus dibuang oleh harness.

4. Terapkan batas tegas. Batas langkah, batas waktu wall-clock, dan anggaran dolar per episode menjaga agen tetap aman serta evaluasi tetap dapat dibandingkan.

5. Catat trajektori lengkap sejak hari pertama. Setiap siklus peningkatan yang serius — peninjauan manusia, pengelompokan kegagalan, fine-tuning — menggunakan data trajektori. Managed Agents dari Anthropic dan DeepSeek Harness melangkah lebih jauh: simpan log sesi di luar loop harness sebagai aliran peristiwa append-only, sehingga harness itu sendiri dapat dibuang dan konteks model selalu dapat direkonstruksi.

6. Evaluasikan pada lebih dari satu harness. Jika agen Anda hanya berfungsi di dalam satu harness, yang Anda bangun adalah perilaku khusus harness, bukan kapabilitas.

7. Jauhkan kredensial dari sandbox — atau sepenuhnya dari cloud. Perlakukan lingkungan eksekusi agen sebagai pihak yang tidak tepercaya; simpan token di vault dan masukkan melalui proxy, atau jalankan seluruh sesi secara lokal agar kredensial dan konten halaman tidak pernah meninggalkan perangkat — pendekatan yang digunakan Kimi pada harness lokalnya.

Harness agen diam-diam telah menjadi lapisan terpenting dalam tumpukan agentic. Riset dari SWE-bench, mini-SWE-agent, Terminal-Bench, dan METR menunjukkan bahwa desain harness dapat menyaingi peningkatan model dalam hal dampak; proyek open-source seperti DeepSeek Harness, OpenHands, SWE-agent, dan Aider membuat harness kelas produksi dapat diakses semua orang; sementara Anthropic, OpenAI, Google, Microsoft, dan Moonshot AI kini sama-sama memperlakukan rekayasa harness sebagai pekerjaan utama.

Namun, pergeseran yang lebih dalam bersifat konseptual. Generasi pertama harness menyelesaikan masalah Agen × Komputer: memberi model tangan yang andal untuk terminal, browser, dan sistem file. Generasi berikutnya menyelesaikan masalah konteks yang diciptakan lingkungan tersebut — pekerjaan yang berlangsung berhari-hari, melibatkan pemangku kepentingan dan repositori, serta tidak dapat diringkas tanpa kehilangan informasi oleh peringkas mana pun. Harness berkembang dari perancah menjadi lingkungan operasi, dan batas antara apa yang harus dikelola harness dan apa yang dapat ditampung begitu saja oleh model terus bergeser. Jendela satu juta token Kimi K3.1 Pro adalah contoh terkini yang paling jelas: perubahan model yang menghilangkan pekerjaan yang sebelumnya harus dilakukan harness.

Baik Anda membangun sendiri, mengadopsi framework open-source, maupun menjalankan harness produksi, tim yang memperlakukan harness sebagai perangkat lunak yang direkayasa, diberi versi, dan dapat diukur adalah tim yang agennya benar-benar menyelesaikan pekerjaan.