Apa itu robot txt dan bagaimana menggunakannya dengan Benar di Website?

Apa itu robot txt? Pernahkah Anda mendengarnya, jika tidak, hari ini adalah berita baik bagi Anda, karena hari ini kami akan memberikan beberapa informasi tentang robot txt. Jika Anda memiliki blog atau situs web maka Anda pasti merasa bahwa kadang-kadang semua informasi yang tidak kita inginkan adalah publik di Internet, apakah Anda tahu mengapa hal seperti itu terjadi. 

Jika Anda ingin tahu tentang rahasia di balik semua hal ini, maka Anda harus membaca artikel ini , baca Robot txt dengan hati-hati, sehingga Anda akan tahu tentang semua hal ini sampai akhir artikel.

Untuk memberi tahu semua tentang penelusuran, file dan folder harus menunjukkan semua publik di situs web dan untuk apa Robots Metatag digunakan. Tetapi semua Mesin Pencari tidak harus membaca Metataga, begitu banyak Robot Metatag tanpa disadari belum dibaca. 

Cara terbaik untuk melakukannya adalah dengan menggunakan file Robot txt, yang dapat dengan mudah digunakan untuk memberikan informasi Mesin Pencari tentang file dan folder situs web atau blog Anda. Jadi hari ini saya berpikir mengapa Kami harus memberikan semua informasi tentang apa itu Robot txt, sehingga Anda tidak memiliki masalah dalam memahaminya lebih lanjut. Lalu mari kita mulai menelusuri apa yang perlu diketahui apa itu robot txt dan seberapa penting robot.txt itu untuk website Anda.

Apa itu robot txt

Robots.txt adalah file teks yang Anda tempatkan di situs Anda sehingga Anda dapat memberi tahu Search Robot halaman mana yang harus dikunjungi di situs Anda atau yang perlu merayapi dan yang mana yang tidak perlu dirayapi. Omong-omong, mengikuti Robot txt tidak wajib untuk mesin pencari tetapi mereka memperhatikannya dan tidak mengunjungi halaman dan folder yang disebutkan di dalamnya. Itu sebabnya Robot txt sangat penting. Jadi sangat penting untuk meletakkannya di direktori utama sehingga mesin pencari memiliki kemampuan untuk menemukannya.

Poin yang perlu diperhatikan di sini adalah bahwa jika kami tidak mengimplementasikan file ini di tempat yang tepat, maka mesin pencarian akan menemukan bahwa mungkin Anda belum memasukkan file robot.txt sehingga halaman situs Anda bahkan tidak dapat diindeks. Jadi file kecil ini memiliki banyak kepentingan jika belum digunakan dengan benar, juga dapat mengurangi peringkat situs web Anda. Karena itu, sangat penting untuk memiliki informasi yang baik tentang hal itu.

Bagaimana cara kerja robot txt?

Setiap mesin pencari atau jejaring Web telah datang ke situs web atau blog Anda untuk pertama kalinya, kemudian mereka merayapi file robot.txt Anda karena berisi semua informasi tentang situs web Anda, yang mana tidak harus dijelajahi dan yang mana harus dirayapi. Dan mereka mengindeks halaman yang Anda pandu, sehingga halaman yang diindeks Anda ditampilkan dalam hasil mesin pencari.

File Robots.txt dapat terbukti sangat disukai untuk Anda jika:

• Anda ingin mesin pencari mengabaikan halaman duplikat di situs web Anda
• Jika Anda tidak ingin mengindeks halaman hasil pencarian internal Anda
• Jika Anda ingin mesin pencari mengindeks beberapa halaman yang tidak Anda indeks kemudian
• Jika Anda tidak ingin mengindeks beberapa file Anda seperti beberapa gambar, PDF, dll.
• Jika Anda ingin memberi tahu mesin pencari di mana sitemap Anda stabil,

Baca Juga : 9 Tools Seo Terbaik 2019

Bagaimana cara Membuat file robots.txt

Jika Anda bahkan belum membuat file robots.txt di situs web atau blog Anda, Anda harus membuatnya segera, karena itu akan sangat disukai untuk robot mesin pencari. Anda harus mengikuti beberapa instruksi untuk membuat ini:

• Pertama buat file teks dan simpan sebagai robot txt. Untuk ini, Anda dapat menggunakan NotePad jika Anda menggunakan Windows atau TextEdit jika Anda menggunakan Mac dan kemudian menyimpannya sesuai dengan file yang dibatasi teks.
• Sekarang unggah ke direktori root situs web Anda. Yang merupakan folder tingkat root dan juga disebut “htdocs” dan muncul setelah nama domain Anda.
• Jika Anda menggunakan subdomain maka Anda perlu membuat file robots.txt terpisah untuk semua subdomain.

Apa itu sintaks robot txt

Di robots.txt kami menggunakan beberapa sintaks yang benar-benar perlu kami ketahui.

• User-Agent: Robot-robot yang mengikuti aturan ini dan mereka berlaku (misalnya “Googlebot,” dll.)

• Disallow: Menggunakannya berarti memblokir halaman dari bot yang Anda tidak ingin dapat mengaksesnya. (Perlu menulis disallow sebelum file di sini)

• Noindex: Menggunakan ini, mesin pencari tidak akan mengindeks halaman Anda yang Anda tidak ingin diindeks.

• Garis kosong harus digunakan untuk memisahkan semua kelompok User-Agent / Larang, tetapi perhatikan di sini bahwa tidak ada garis kosong antara dua kelompok (tidak ada interval antara garis agen-pengguna dan larangan terakhir yang diperlukan.

• Simbol hash (#) dapat digunakan untuk memberikan komentar dalam file robot.txt, di mana semua item dari simbol # pertama akan diabaikan. Mereka terutama digunakan untuk seluruh garis atau ujung garis.

• Direktori dan nama file peka terhadap huruf besar-kecil: “privat”, “pribadi”, dan “PRIVATE” sangat berbeda untuk semua mesin pencari. 
Mari kita pahami ini dengan bantuan contoh. Inilah yang ditulis tentang dia.

• Robot “Googlebot” di sini tidak termasuk pernyataan dilarang, sehingga bebas untuk pergi ke mana pun

• Semua situs telah ditutup di mana “msnbot” telah digunakan.

• Semua robot (selain Googlebot) tidak diizinkan melihat / tmp / direktori atau file yang disebut / log, yang dijelaskan di bawah ini, melalui komentar, misalnya, tmp.htm, Contoh sintax standar dari Google Konsol:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.teknoiot.com/robot-txt-website/

Keuntungan menggunakan Robot txt

Ngomong-ngomong, banyak penggunaan robot.txt diberikan kepada saya, tapi saya harus memberi tahu di sini beberapa fakta penting yang harus diketahui semua orang.

• Dengan menggunakan robot.txt, informasi sensitif Anda dapat dirahasiakan.
• Dengan bantuan robot txt masalah “kanonikisasi” dapat diatasi atau beberapa URL “kanonik” juga dapat ditempatkan. Lupa masalah ini juga disebut masalah “duplikat konten”.
• Dengan ini, Anda juga dapat membantu Google Bots untuk mengindeks halaman.

Bagaimana jika Anda tidak menggunakan file robot txt?

Jika Anda tidak menggunakan file robot.txt maka tidak ada batasan pada mesin pencari mana untuk dijelajah dan di mana itu tidak dapat mengindeks semua hal yang mereka temukan di situs web Anda . Ini semua untuk banyak situs web, tetapi jika kita berbicara tentang beberapa praktik yang baik maka kita harus menggunakan file robot txt karena memungkinkan mesin pencari untuk mengindeks halaman Anda.