Schoolmedia News Jakarta == Data terakhir 2025 menunjukkan 51 persen dari seluruh akses ke website di internet berasal dari automated traffic. Angka tersebut menunjukkan perubahan besar dalam ekosistem digital global, di mana aktivitas daring kini lebih banyak dikendalikan oleh bot.
CEO Hukumonline, Arkka Dhiratara mengatakan bot terbagi menjadi dua kategori besar yaitu good bot dan bad bot. Good bot umumnya berasal dari organisasi kredibel seperti Google, yang menggunakan bot untuk melakukan crawling konten di internet secara teratur dengan mengikuti praktik terbaik. Misalnya tidak mengakses website pada jam-jam tertentu. Namun, sekitar 37 persen dari seluruh trafik internet diidentifikasi sebagai bad bot.
“Setidaknya sepertiga dari trafik website adalah bot jahat. Ini berdampak signifikan karena server dan sumber daya yang semestinya dialokasikan untuk pengguna manusia justru terserap untuk melayani bot,†ujar Arkka dalam Workshop Bagaimana Menggunakan Robot.txt untuk Membendung AI Crawler di Website Media oleh Cek Fakta dan AJI Indonesia, Rabu (29/10/2025).
Masalah utama yang muncul adalah uncontrolled crawling. Yakni aktivitas bot yang mengakses website secara tidak terkendali. Alhasil menyebabkan beban server meningkat dan biaya infrastruktur membengkak. Padahal protokol bot exclusion sudah diperkenalkan sejak 1990-an lewat robots.txt. Yakni sebuah file sederhana berfungsi memberi arahan kepada bot mengenai halaman mana yang boleh atau tidak diakses.
Arkka menyoroti tren terbaru di mana platform AI seperti Perplexity dan ChatGPT melakukan crawling delapan kali lebih sering dibandingkan bot mesin pencari seperti Googlebot. Menurut Arkka hal tersebut menjadi urgensi bagi penyedia website untuk mengontrol aktivitas bot AI, karena semakin tidak terkendali.
Selain membebani server, fenomena ini juga menyebabkan kebocoran konten. Menurutnya konten media yang seharusnya memperkuat identitas dan visibilitas brand justru diambil oleh platform AI. Alhasil pembaca tidak perlu lagi mengunjungi situs aslinya.
Lebih jauh, sejak Oktober 2024 Google telah meluncurkan fitur AI Overview yang menampilkan ringkasan jawaban langsung di hasil pencarian. Sekarang, tautan ke media muncul di bawah, sehingga pengguna harus menggeser layar lebih jauh untuk mengaksesnya.
Dampaknya, banyak media mengalami penurunan trafik 30–50 persen. Ironisnya artikel evergreen yang dulunya diandalkan untuk mendongkrak trafik jangka panjang justru paling terdampak. Pasalnya diambil oleh sistem AI tanpa perlu mengarahkan pengguna ke situs sumber.
Untuk itu, robots.txt menjadi solusi penting dalam mengatur interaksi antara website dan bot. File ini berfungsi memberikan direktif kepada user agent (bot) mengenai halaman mana yang boleh diakses (allow) dan mana yang tidak (disallow).
“Pengaturan lain mencakup crawl-delay untuk mengatur jeda antar permintaan, serta sitemap agar bot dapat menjelajahi situs secara efisien. Syntax sangat krusial. Kesalahan kecil bisa menyebabkan masalah besar dalam crawling. Karena itu, setiap perubahan harus diuji lewat Google Search Console,†ujar Arkka.
Ia menambahkan, penerapan robots.txt kini menjadi perdebatan intens di tengah lonjakan AI. Apakah media harus bersikap protektif terhadap platform AI, atau justru membuka akses demi menjangkau pengguna muda yang kini lebih banyak mengandalkan ChatGPT dan Perplexity.
“Generasi Z tidak lagi mengakses informasi lewat mesin pencari tradisional. Jika kita menutup diri dari AI, brand kita bisa hilang di radar generasi baru,†katanya.
Menurut Arkka, tantangannya mencari keseimbangan antara melindungi hak cipta konten dan membuka peluang baru di era AI. Ia menyarankan sejumlah praktik terbaik. Seperti mengizinkan akses penuh bagi bot dari sumber terpercaya, memblokir area sensitif seperti portal klien atau laman admin, serta melakukan audit rutin melalui Google Search Console.
Menggunakan direktif spesifik juga dapat dilakukan agar kontrol akses lebih presisi. Tapi menurutnya robots.txt bukan fitur keamanan. File ini lebih bersifat publik dan kepatuhan terhadapnya bersifat sukarela. Lebih dari sekadar instrumen teknis, robots.txt kini juga mulai dipandang sebagai bentuk kesepakatan hukum tersirat antara pemilik website dan agen otomatis.
“Kita harus memilih strategi, apakah ingin menjaga kekayaan intelektual, atau membuka peluang pendapatan baru berbasis AI. Yang jelas, robots.txt kini menjadi aset kritis dalam menghadapi perubahan lanskap digital,†tutup Arkka.
Tim Schoolmedia
Tinggalkan Komentar