- 什麼是 robots.txt 檔案?
- robots.txt 是告訴搜尋引擎爬蟲(機器人)它們可以抓取網站哪些部分的檔案。位置:站點根目錄(例如,範例.com/robots.txt)。格式:純文字,逐行指令。關鍵指令:使用者-agent(指定機器人),不允許(阻止路徑),Allow(允許路徑),Sitemap(站點地圖 URL),Crawl-delay(抓取間隔)。目的:控制爬蟲流量,隱藏敏感頁面(管理、私密),防止重複內容,減少伺服器負載。注意:不是安全機制,只是指南。
- robots.txt 如何幫助 SEO?
- robots.txt 透過以下方式改善 SEO:抓取預算優化(優先重要頁面),防止重複內容(阻止低價值頁面),減少頁面載入(防止不必要的抓取),提交站點地圖(更快索引),隱藏管理頁面(登入、搜尋結果)。最佳實踐:不要阻止重要內容,允許 CSS/JS(渲染),測試語法(Google 搜尋 控制台),包含站點地圖。正確的 robots.txt 可將抓取效率提高 30-50%。
- 不允許 和 Allow 有什麼區別?
- 不允許:指定爬蟲不應存取的路徑。範例:不允許: /admin/(阻止管理頁面),不允許: /私人/(阻止私有資料夾),不允許: /*.pdf$(阻止所有 PDF)。Allow:建立 不允許 規則的例外。範例:不允許: /私人/,Allow: /私人/公開/(允許子資料夾)。優先順序:更具體的規則獲勝。萬用字元:*(任何字元),$(行尾)。建議:只阻止需要的,避免過度阻止。
- 所有爬蟲都遵守 robots.txt 嗎?
- 不,不是所有爬蟲都遵守。遵守的機器人:Google、Bing、Yahoo(主要搜尋引擎),道德爬蟲(商業機器人)。可能忽略:惡意抓取器(忽略),垃圾機器人(忽略指令),駭客(不讀取 robots.txt)。robots.txt 是:禮貌協定(不強制),公開可讀(任何人都能看到),不是安全措施(使用身份驗證)。真正保護:身份驗證(需要登入),防火牆(阻止 IP),速率限制(防止濫用)。
- 如何測試 robots.txt?
- 測試方法:1)語法檢查:使用線上驗證器,檢查拼字錯誤(不允許、使用者-agent)。2)Google 搜尋 控制台:robots.txt 測試工具,檢查 URL 是否被阻止。3)瀏覽器測試:存取 yoursite.com/robots.txt,驗證正確顯示。4)爬蟲模擬:使用不同 使用者-agent 測試,驗證規則有效。5)日誌監控:追蹤爬蟲存取,驗證行為符合預期。工具:Google 搜尋 控制台、Bing Webmaster Tools、robots.txt 驗證器。