Kontrol Pelatihan AI robots.txt: Google-Extended dan AIPREF

Google mengumumkan rencana mendukung satu kontrol pelatihan AI bersama di robots.txt, tetapi belum aktif. Target dukungannya 2027, bersama penyedia AI lain. Untuk bisnis di Indonesia artinya satu hal praktis: jangan ubah robots.txt hari ini hanya karena pengumuman ini. Yang perlu dilakukan sekarang adalah memutuskan kebijakan Anda, memeriksa apa yang sudah dideklarasikan, dan memastikan keputusan itu tidak mengganggu indeks Google Search.

Apa yang Google umumkan pada 30 Oktober 2026?

Pada 30 Oktober 2026, John Mueller menulis di Google Search Central Blog (Supporting a shared AI training control for websites) bahwa Google berencana mendukung kontrol pelatihan AI bersama di robots.txt. Kontrol ini berbasis kerja kelompok AIPREF di Internet Engineering Task Force (IETF).

Poin yang disebut dalam pengumuman itu:

• Pemilik situs akan memakai satu policy token bersama di robots.txt untuk menyatakan preferensi umum ke beberapa penyedia AI sekaligus.
• Jika situs memakai token itu untuk menolak pelatihan dan Google-Extended tidak disebut eksplisit, Google berencana menafsirkannya seolah-olah Anda memblokir Google-Extended. Penyedia lain bisa memperlakukannya serupa.
• Kontrol per perusahaan, termasuk Google-Extended, tetap berjalan berdampingan dengan sinyal baru ini.
• Situs yang secara spesifik mengizinkan Google-Extended memenuhi syarat muncul di respons dan menerima klik lewat grounding di Gemini Apps.
• Google menargetkan dukungan pada 2027 dan akan memberi pembaruan perkembangan.

Pengumuman ini menyebut rencana. Nama token dan sintaks finalnya tidak saya tuliskan di sini karena belum ada spesifikasi final yang bisa dijadikan rujukan. Jangan menyalin contoh sintaks dari sumber tak resmi ke robots.txt produksi.

Apa itu AIPREF, dan seberapa matang statusnya?

AIPREF adalah kelompok kerja IETF yang menyusun kosakata untuk menyatakan preferensi penggunaan konten oleh sistem otomatis. Draf terbarunya yang saya temukan, draft-ietf-aipref-vocab-08 (14 September 2026), menyebut tujuannya: mendefinisikan kosakata untuk pembatasan atau izin penggunaan aset digital oleh sistem pemrosesan otomatis.

Draf yang sama menulis bahwa isinya tidak mencerminkan konsensus kelompok kerja, dan berstatus dokumen kerja dengan masa berlaku sampai 18 Maret 2027. Jadi, perlakukan AIPREF sebagai arah industri, bukan standar yang sudah bisa dipatuhi semua crawler.

Apa bedanya Google-Extended, Googlebot, dan kontrol baru?

Banyak kesalahan audit muncul karena token ini dicampur. Berikut pemisahan berdasarkan dokumentasi crawler Google:

Token / sinyal	Mengatur apa	Tidak mengatur
Googlebot	Perayapan dan indeks Google Search	Pelatihan model Gemini secara terpisah
Google-Extended	Apakah konten boleh dipakai melatih generasi Gemini berikutnya dan untuk grounding di Gemini Apps dan Vertex AI	Inklusi atau peringkat di Google Search
Token AIPREF (rencana)	Preferensi pelatihan lintas penyedia	Belum aktif di Google; baru rencana 2027
noindex, nosnippet	Tampil di hasil pencarian dan cuplikan	Pelatihan model

Dokumen Google menyatakan Google-Extended tidak berdampak pada inklusi situs di Google Search dan tidak dipakai sebagai sinyal peringkat. Karena itu, memblokirnya tidak akan menghapus halaman Anda dari Search, dan mengizinkannya tidak menaikkan peringkat. Untuk kontrol cuplikan dan tampilan di Search, bahasan terpisahnya ada di Kontrol Konten di Google: Audit Snippet dan Kontrol AI.

Apakah situs saya perlu mengubah robots.txt sekarang?

Belum tentu. Jawabannya bergantung pada kebijakan Anda, bukan pada pengumuman.

Kapan sebaiknya tidak mengubah apa pun?

• Anda belum punya keputusan bisnis soal konten dipakai untuk pelatihan AI.
• robots.txt Anda sudah lolos audit dan tidak memblokir Googlebot atau folder penting.
• Tim Anda tidak punya pemilik yang bisa menguji perubahan robots.txt.

Kapan perlu bertindak?

• Anda menjual konten berbayar, riset, atau data eksklusif dan ingin menolak pelatihan.
• Anda ingin muncul di jawaban Gemini lewat grounding dan perlu memastikan Google-Extended tidak terblokir.
• Ada kebijakan hukum atau kontrak klien yang menyebut penggunaan konten oleh AI.

Satu catatan penting dari pengumuman Google: mengizinkan Google-Extended secara spesifik berarti memenuhi syarat muncul dan menerima klik lewat grounding di Gemini Apps. Memblokirnya berarti Anda memilih keluar dari pemakaian itu. Keduanya keputusan bisnis yang sah. Tidak ada yang otomatis benar.

Bagaimana cara mengaudit robots.txt untuk kontrol AI?

Berikut urutan kerja yang bisa diselesaikan dalam satu sesi.

1. Unduh robots.txt produksi. Buka https://domain-anda.com/robots.txt dan simpan salinannya, termasuk tanggal. Pastikan status HTTP 200. Jika 5xx, crawler yang patuh bisa menganggap semua jalur terlarang.
2. Daftar semua grup User-agent. Catat apakah ada Googlebot, Google-Extended, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot, dan *. Token yang tidak disebut jatuh ke aturan *.
3. Pisahkan tujuan. Tandai tiap token sebagai pelatihan, pencarian/sitasi, atau akses atas permintaan pengguna. Jangan menggabungkan ketiganya dalam satu keputusan.
4. Cek konflik. Pastikan Disallow: / pada grup * tidak ikut memblokir Googlebot karena grup Googlebot tidak ada atau salah ketik.
5. Tentukan kebijakan tertulis. Satu paragraf: konten apa yang boleh dipakai pelatihan, apa yang tidak, dan siapa yang berwenang mengubahnya.
6. Uji sebelum rilis. Gunakan laporan robots.txt di Search Console atau penguji sejenis. Rilis di jam sepi, simpan versi sebelumnya untuk rollback.
7. Jadwalkan tinjau ulang. Pasang pengingat saat Google mengumumkan dukungan token bersama, lalu bandingkan dengan dokumentasi resmi sebelum menulis sintaksnya.

Checklist ringkas

• robots.txt produksi diunduh dan diberi tanggal.
• Status HTTP 200 dan tidak ada pengalihan aneh.
• Googlebot tidak terblokir di jalur yang ingin diindeks.
• Kebijakan pelatihan AI tertulis dan disetujui pemilik bisnis.
• Token pelatihan dan token pencarian dinilai terpisah.
• Tidak ada sintaks AIPREF yang ditulis sebelum spesifikasi final Google terbit.
• Hasil uji dan versi sebelumnya disimpan.

Apa yang tidak bisa dikontrol lewat robots.txt?

robots.txt adalah permintaan kepada crawler yang patuh, bukan pagar keamanan. Dokumentasi Google sendiri memisahkan beberapa fetcher yang dipicu pengguna dan tidak selalu mengikuti robots.txt. Konten yang benar-benar rahasia harus dilindungi dengan autentikasi, bukan dengan baris Disallow.

Selain itu, kontrol pelatihan tidak sama dengan kontrol tampil di Search. Jika tujuan Anda mengatur cuplikan, gunakan direktif seperti nosnippet, data-nosnippet, atau max-snippet. Jika tujuan Anda mengatur pelatihan model, gunakan token crawler yang relevan. Mencampurnya adalah sumber salah kebijakan yang paling sering.

Bagaimana dampaknya ke SEO dan trafik?

Berdasarkan dokumentasi Google, Google-Extended tidak memengaruhi inklusi di Search maupun peringkat. Artinya, perubahan token ini tidak seharusnya menjelaskan naik atau turunnya trafik organik. Jika trafik berubah setelah Anda mengedit robots.txt, periksa dulu apakah ada kesalahan sintaks yang ikut memblokir Googlebot, baru cari penyebab lain.

Saya tidak menemukan sumber primer yang menjanjikan efek trafik dari mengizinkan atau memblokir kontrol ini, jadi artikel ini tidak membuat klaim itu. Ukur dampak dengan data Anda sendiri: Search Console untuk performa pencarian, dan GA4 untuk sesi, termasuk saluran asisten AI jika sudah Anda siapkan. Panduan pengukurannya ada di GA4 AI Assistant Channel: Audit Trafik ChatGPT dan Gemini.

Kesalahan apa yang paling sering terjadi saat mengatur crawler AI?

Dari audit robots.txt, pola kesalahannya cenderung berulang. Berikut yang perlu dicek lebih dulu.

• Menyamakan pelatihan dengan pencarian. Memblokir GPTBot tidak mengatur ChatGPT Search; itu urusan OAI-SearchBot. Memblokir ClaudeBot tidak sama dengan memblokir Claude-SearchBot. Hal yang sama berlaku untuk Google-Extended dan Googlebot.
• Menyalin robots.txt dari situs lain. Struktur folder tiap situs berbeda. Satu baris Disallow yang cocok untuk media berita bisa memblokir halaman produk di toko online.
• Lupa grup *. Token yang tidak disebut namanya mengikuti aturan grup *. Jika grup * terlalu ketat, crawler yang tidak Anda kenal ikut terblokir, termasuk yang mungkin Anda inginkan.
• Tidak ada pemilik perubahan. robots.txt sering diubah developer tanpa catatan alasan. Simpan riwayat perubahan di repositori atau dokumen bersama.
• Mengira robots.txt melindungi data. File ini publik dan bisa dibaca siapa pun, termasuk daftar folder yang Anda larang.

Tabel keputusan untuk tim Anda

Situasi bisnis	Langkah awal	Risiko yang perlu dicek
Media atau penerbit dengan konten berbayar	Putuskan kebijakan pelatihan, lalu atur token yang relevan	Salah blokir Googlebot
Toko online dengan katalog publik	Biasanya cukup audit; tidak perlu buru-buru memblokir	Konten katalog sulit dilindungi lewat robots.txt
Perusahaan jasa dengan blog edukasi	Tentukan apakah ingin tampil lewat grounding Gemini	Kebijakan tidak terdokumentasi
Agensi yang mengelola banyak klien	Buat templat audit dan kebijakan per klien	Satu robots.txt disalin ke semua situs

Sumber primer yang dipakai

1. Google Search Central Blog, Supporting a shared AI training control for websites, John Mueller, 30 Oktober 2026.
2. Dokumentasi Google, Common crawlers, bagian Google-Extended (developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), dibaca 5 November 2026.
3. IETF, draft-ietf-aipref-vocab-08, A Vocabulary For Expressing AI Usage Preferences, 14 September 2026 (dokumen kerja, bukan konsensus).

Saya tidak membaca spesifikasi token final karena belum diterbitkan. Cek ulang dokumentasi Google sebelum mengubah robots.txt.

Mau robots.txt dan kebijakan AI Anda diaudit?

Socta membantu memetakan robots.txt, direktif indeks, dan keputusan akses crawler agar selaras dengan tujuan bisnis. Lihat layanan SEO Socta atau hubungi tim kami untuk audit awal.