Khi xây dựng website bằng WordPress, có lẽ bạn đã nghe nhiều về SEO, nhưng liệu bạn đã biết đến tệp robots.txt chưa? Đây là một file nhỏ bé nhưng lại có vai trò cực kỳ quan trọng trong việc định hướng các bot của công cụ tìm kiếm, như Googlebot, thu thập dữ liệu trang web của bạn.
Hiểu rõ và cấu hình đúng robots.txt WordPress sẽ giúp website của bạn được index hiệu quả hơn, tránh lãng phí tài nguyên crawl và thậm chí là bảo vệ một phần nội dung không cần thiết bị công khai trên tìm kiếm. Hãy cùng mình tìm hiểu chi tiết về tệp này nhé.
robots.txt WordPress là gì và Tại sao lại Quan trọng?

Tệp robots.txt là một file văn bản mà bạn đặt trong thư mục gốc của website. Nó hoạt động như một bản chỉ dẫn, cho các bot của công cụ tìm kiếm biết những phần nào của trang web mà chúng được phép hoặc không được phép truy cập và thu thập dữ liệu.
Đối với website WordPress, tệp robots.txt đặc biệt quan trọng. Nó giúp bạn ngăn chặn các bot thu thập dữ liệu những trang không cần thiết như trang quản trị, các thư mục plugin, theme, hoặc các trang tạm thời. Điều này không chỉ giúp tiết kiệm tài nguyên crawl của Google mà còn đảm bảo các trang quan trọng của bạn được ưu tiên hơn trong quá trình lập chỉ mục.
Cách kiểm tra tệp robots.txt hiện tại của bạn
Để xem tệp robots.txt của website, bạn chỉ cần gõ địa chỉ vào trình duyệt theo cú pháp: tendomaincuaban.com/robots.txt. Ví dụ, nếu website của bạn là minhseo.com, bạn sẽ truy cập minhseo.com/robots.txt.
Khi mở tệp này, bạn sẽ thấy các chỉ thị như User-agent, Disallow, Allow và Sitemap. User-agent: * nghĩa là chỉ thị này áp dụng cho tất cả các bot. Disallow: /thu-muc-nao-do/ có nghĩa là bot không được truy cập thư mục đó. Ngược lại, Allow: /file-nao-do.php cho phép bot truy cập một file cụ thể. Dòng Sitemap thì cung cấp đường dẫn đến sơ đồ trang web XML của bạn, giúp bot dễ dàng khám phá các trang.
Tạo hoặc chỉnh sửa robots.txt trong WordPress

Mặc định, WordPress không có một tệp robots.txt vật lý trong thư mục gốc. Thay vào đó, nó tạo ra một tệp robots.txt ảo. Tuy nhiên, bạn hoàn toàn có thể tùy chỉnh nó.
Sử dụng Plugin SEO (khuyến nghị)
Đây là cách đơn giản và phổ biến nhất, đặc biệt với người dùng WordPress. Các plugin SEO mạnh mẽ như Yoast SEO hoặc Rank Math đều cung cấp tính năng chỉnh sửa robots.txt ngay trong bảng điều khiển WordPress của bạn.
Bạn chỉ cần vào phần Công cụ (Tools) hoặc Cài đặt (Settings) của plugin SEO, tìm mục Trình chỉnh sửa tệp (File Editor) hoặc robots.txt. Tại đây, bạn có thể thêm hoặc chỉnh sửa các chỉ thị. Sau khi chỉnh sửa, đừng quên lưu lại nhé.
Một tệp robots.txt cơ bản cho WordPress thường trông như thế này:
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://tendomaincuaban.com/sitemap_index.xml
Ở đây, User-agent: * nghĩa là áp dụng cho tất cả các bot. Disallow: /wp-admin/ yêu cầu bot không thu thập dữ liệu thư mục quản trị, nhưng Allow: /wp-admin/admin-ajax.php lại cho phép một file cụ thể bên trong, điều này quan trọng cho hoạt động của WordPress. Cuối cùng, dòng Sitemap giúp các bot dễ dàng tìm thấy sơ đồ trang web của bạn để thu thập dữ liệu hiệu quả hơn.
Chỉnh sửa thủ công (chỉ khi cần)
Nếu bạn không dùng plugin SEO hoặc muốn kiểm soát hoàn toàn, bạn có thể tạo một tệp văn bản mới tên là robots.txt và tải nó lên thư mục gốc (root directory) của WordPress thông qua FTP/SFTP hoặc trình quản lý tệp của hosting. Tuy nhiên, cách này đòi hỏi bạn phải có kiến thức kỹ thuật nhất định và cần cẩn trọng để tránh sai sót.
Những điều cần lưu ý khi cấu hình robots.txt
- Không chặn nội dung quan trọng: Tuyệt đối không Disallow các trang, bài viết, hình ảnh hay file CSS/JS quan trọng mà bạn muốn Google lập chỉ mục và hiển thị trên kết quả tìm kiếm. Nếu bạn chặn nhầm, website của bạn sẽ không xuất hiện hoặc hiển thị không đúng cách.
- robots.txt không phải là biện pháp bảo mật: Tệp này chỉ hướng dẫn các bot tốt bụng. Các bot độc hại hoặc người dùng cố ý vẫn có thể truy cập các thư mục bị chặn. Để bảo mật thực sự, bạn cần các biện pháp khác như mật khẩu mạnh, plugin bảo mật, hoặc cấu hình server.
- Luôn kiểm tra sau khi thay đổi: Sau khi chỉnh sửa robots.txt, hãy sử dụng công cụ kiểm tra robots.txt trong Google Search Console để đảm bảo không có lỗi nào và các chỉ thị của bạn đang hoạt động như mong muốn.
- Cẩn thận với các chỉ thị chung: User-agent: * áp dụng cho tất cả các bot. Nếu bạn muốn cấu hình riêng cho từng loại bot (ví dụ: Googlebot, Bingbot), bạn cần khai báo riêng từng User-agent.
Ví dụ về các chỉ thị robots.txt thường dùng
Ngoài việc chặn thư mục /wp-admin/, bạn có thể muốn chặn một số nội dung khác để tối ưu hơn:
- Chặn các trang tìm kiếm nội bộ:Disallow: /?s=Disallow: /search/
- Chặn các trang tag, category không cần thiết (nếu plugin SEO chưa xử lý):Disallow: /tag/Disallow: /category/
- Chặn các trang phản hồi (trackback, pingback):Disallow: /wp-trackback.php
- Chặn các file tạm, file log:Disallow: /*.logDisallow: /*.tmp
Hãy nhớ rằng, mỗi website có cấu trúc riêng, vì vậy hãy cân nhắc kỹ lưỡng trước khi thêm bất kỳ chỉ thị Disallow nào.
Như bạn thấy, tệp robots.txt tuy nhỏ bé nhưng có ảnh hưởng rất lớn đến cách website WordPress của bạn tương tác với các công cụ tìm kiếm. Việc hiểu và cấu hình đúng tệp này sẽ giúp bạn tối ưu SEO hiệu quả hơn, đảm bảo các nội dung quan trọng được Googlebot thu thập và lập chỉ mục đúng cách. Hãy dành chút thời gian kiểm tra và điều chỉnh tệp robots.txt của mình nhé!
