Site Audit

Crawl situs Anda, jalankan 156 pemeriksaan SEO teknis, lihat apa yang berubah sejak crawl terakhir, dan perbaiki masalah dengan AI atau agen coding.

Site Audit melakukan crawl situs web proyek aktif langsung di komputer Anda dan memeriksa setiap URL yang ditemukannya. Buka dari SEO → Site Audit di sidebar. Sejak 1.6.0, satu crawl dapat mencakup hingga 10.000 halaman dan menjalankan 156 pemeriksaan yang meliputi indeksabilitas, tautan, redirect, konten, sitemap, robots.txt, hreflang, tag sosial, duplikat, data terstruktur, Core Web Vitals, dan kemudahan ditemukan oleh AI.

Tampilannya memiliki tujuh tab: Overview, Issues, Pages, Links, Structure, Crawl, dan History.

Menjalankan Crawl

Buka tab Crawl dengan proyek yang benar terpilih.

  1. Periksa Start URL. Defaultnya adalah situs web proyek.
  2. Pilih Max pages (25 hingga 10.000) dan Speed (30 hingga 600 URL per menit, atau Unthrottled untuk server staging milik Anda sendiri).
  3. Pilih apa yang dijalankan di After the crawl (lihat di bawah).
  4. Klik Run crawl dan pantau kemajuannya di log crawl di bawah formulir.

Crawl membaca robots.txt dan sitemap Anda, mengikuti tautan internal, dan mencatat setiap URL, tautan, redirect, gambar, skrip, dan stylesheet yang dijumpainya. Sakelar di bawah formulir mengatur hal itu: Respect robots.txt, Seed from sitemap, Follow nofollow links, Remove URL parameters, Check images, CSS & JS (up to 10 per page), dan Check external links.

Opsi Lanjutan

Buka Advanced untuk:

  • Scope: Exact host, Host + subdomains (www dan domain tanpa www dihitung sebagai satu situs), atau This path only.
  • Max depth dan User agent (Mobile atau Desktop).
  • Also start from these URLs (one per line): halaman yang tidak terjangkau oleh tautan Anda, seperti landing page kampanye.
  • Also start from the pages Search Console shows in search: menemukan halaman yatim dan URL lama yang masih dikenal Google. Membutuhkan properti Search Console proyek.
  • Password-protected site (HTTP basic auth): simpan nama pengguna dan kata sandi sekali per proyek untuk melakukan crawl situs staging. Kata sandi disimpan di keychain sistem Anda dan hanya dikirim ke situs tersebut, melalui HTTPS.

Mematikan Respect robots.txt hanya berlaku untuk situs yang dapat Anda buktikan sebagai milik Anda, melalui properti Search Console atau file kunci IndexNow. Selain itu, robots.txt selalu dihormati, dan formulir memberi tahu Anda alasannya.

Pemeriksaan Opsional Setelah Crawl

  • Render JavaScript memuat halaman di browser sandbox dan menandai konten serta tautan yang hanya muncul setelah skrip berjalan.
  • Core Web Vitals mengambil LCP, INP, dan CLS dari pengguna nyata melalui PageSpeed Insights untuk halaman yang paling banyak ditautkan. Kunci PageSpeed Anda dipakai jika sudah disimpan.
  • Search Console traffic menggabungkan klik, tayangan, dan posisi selama 28 hari untuk menandai halaman rusak, di-redirect, atau noindex yang masih mendapat trafik, penurunan trafik, serta halaman yang keluar dari 10 besar.

Melanjutkan Crawl

Jika crawl berhenti lebih awal karena Anda menutup aplikasi, mengklik Cancel, atau mencapai batas waktu, halamannya menampilkan Resume crawl. Crawl dilanjutkan dari titik terakhir, bukan dimulai dari awal.

Membaca Hasil

Overview menampilkan health, yaitu persentase URL yang di-crawl tanpa error, sehingga angkanya langsung berubah begitu Anda memperbaiki sesuatu. Tab ini juga menampilkan tren health antar-crawl, masalah teratas, kode status per kedalaman crawl, serta jumlah sitemap dan URL yang dibaca. Gunakan Compare with untuk memilih crawl sebelumnya sebagai pembanding.

Issues mencantumkan setiap masalah yang ditemukan, dikelompokkan sebagai error, peringatan, dan pemberitahuan. Untuk setiap masalah, Anda melihat berapa banyak URL yang terkena, trennya, dan apa yang berubah sejak crawl pembanding:

  • Added: URL lama yang kini memiliki masalah tersebut.
  • New: URL baru di crawl ini yang memiliki masalah tersebut.
  • Removed: URL yang masalahnya sudah diperbaiki.
  • Missing: URL yang sebelumnya memiliki masalah tetapi tidak ditemukan kali ini.

Buka sebuah masalah untuk melihat Why it matters, How to fix, dan setiap URL yang terdampak. Ketika satu tautan atau template menjadi penyebab ratusan halaman bermasalah, seperti tautan footer yang mati atau subdomain docs yang sudah tidak ada, masalah tersebut menyebutkan akar penyebab bersama itu.

Menjelajahi Halaman, Tautan, dan Folder

  • Pages adalah tabel semua URL dengan pembuat filter dan pemilih kolom. Gabungkan beberapa kondisi, lalu klik Save as custom issue agar setiap crawl berikutnya memeriksa filter itu sebagai masalah tersendiri.
  • Links mencantumkan setiap tautan beserta jenisnya, seperti hyperlink, gambar, JavaScript, canonical, hreflang, redirect, atau iframe, serta anchor text teratas untuk sebuah target.
  • Structure mengelompokkan URL per folder dengan jumlah halaman, halaman yang dapat diindeks, error, rata-rata kedalaman, dan rata-rata waktu muat per folder.

Klik URL mana pun untuk membuka panel detailnya: status, indeksabilitas, rantai redirect, data terstruktur dan validasi rich result, masalah pada URL tersebut, serta riwayatnya di crawl-crawl sebelumnya.

Export CSV di tab Issues, Pages, dan Links menyimpan persis apa yang Anda lihat. Ekspor memerlukan lisensi Pro.

Memperbaiki Masalah

Dari halaman sebuah masalah:

  • Copy fix brief menyalin brief Markdown berisi masalahnya, alasan pentingnya, dan URL yang terdampak.
  • Ask AI CMO membuka asisten dengan rencana perbaikan untuk masalah tersebut.
  • Copy agent prompt memberi agen coding yang bekerja di repositori situs Anda sebuah prompt yang membaca masalah tersebut melalui tool MCP 1MarketingTool.
  • Request indexing meminta Google melakukan crawl halaman yang dapat diindeks dalam masalah tersebut (hingga 100) dengan service account Search Console Anda. Lihat Permintaan Pengindeksan Google.

Agen AI yang terhubung melalui AI Access (MCP) dapat menggunakan grup tool Site audit untuk menampilkan daftar audit, membaca masalah dan URL, mengambil fix brief, dan memulai crawl.

Menyesuaikan Pemeriksaan

Bagian Issue settings di tab Crawl menyesuaikan pemeriksaan untuk proyek ini. Matikan sebuah pemeriksaan, ubah levelnya (error, peringatan, atau pemberitahuan), atau sesuaikan batas seperti panjang judul dan waktu halaman lambat. Anda juga dapat mengubah level pemeriksaan dari halaman masalahnya dengan Level for this project. Menyimpan akan langsung memeriksa ulang crawl terbaru; pemeriksaan yang dimatikan dilewati dan tidak dihitung dalam health.

Menjadwalkan Crawl dan Peringatan

Di Schedule & automation pada tab Crawl, atur Repeat ke harian, mingguan, atau bulanan dan pilih waktunya. Crawl terjadwal menggunakan pengaturan di atas. Dua opsi bertindak berdasarkan perubahan:

  • Alert me when health drops or new errors appear mengirim notifikasi.
  • Auto-submit new and changed pages to IndexNow mengirimkan halaman baru dan yang berubah setelah setiap crawl. Lihat IndexNow.

Klik Save schedule untuk menyimpannya.

Penyimpanan dan Cadangan

Lima crawl terakhir dari setiap situs disimpan lengkap. Crawl yang lebih lama menyimpan ringkasan, jumlah masalah, dan trennya, sehingga tab History dan tren health tetap berfungsi. Ubah jumlah crawl yang disimpan lengkap di Settings → Storage (Keep site audits in full). Cadangan memuat site audit sebagai ringkasan, kecuali Anda mengaktifkan Include full site audit detail saat mengekspor.

Kapan Menjalankan Ulang

Jalankan crawl setelah memperbaiki masalah, meluncurkan redesain, mengubah struktur URL, atau menerbitkan batch besar halaman baru. Jadwal mingguan menangkap kemunduran tanpa Anda perlu ingat untuk memeriksa.