Cách khắc phục lỗi file robots.txt website WordPress

!!!Website mình từng bị lỗi file robots.txt cách web mình nó index rất chậm lên google. Dưới đây mình chia  sẽ cách khắc phục file robots.txt khi bị lỗi giúp ích rất nhiều trong cải thiện SEO.

Để website của bạn xuất hiện trên trang kết quả tìm kiếm Google thì nó cần cho bot tìm kiếm đi vào bên trong và thu thập dữ liệu.

Một trong những việc mà webmaster (dùng WordPress) cực kỳ chú trọng, đó là cấu hình file robots.txt này cho chuẩn, để hiệu quả thu thập dữ liệu là tốt nhất.

Không những thế, việc cấu hình file này tốt sẽ giúp bạn giảm bớt sự phá hoại về SEO từ đối thủ. Bài này mình chia sẻ đến bạn Mẫu file robots.txt chuẩn cho website WordPress để áp dụng vào site đang làm nhé !

File robots.txt là gì ?

File robots.txt đơn giản là một file text thông thường, nó có nhiệm vụ khai báo cho Bots Google về những trang nào được thu thập dữ liệu, trang nào thì không.

Mặc định bots Google sẽ quét site của bạn kể cả khi bạn không có tùy chỉnh file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bots sẽ thu thập toàn bộ nội dung của bạn, có những thứ không cần phải index như plugin đang dùng, các thư viện nội dung bạn không muốn hiển thị trên kết quả tìm kiếm.

>>>Xem thêm: Dịch vụ SEO

Mẫu file robots.txt chuẩn cho WordPress

Như ở trên bạn đã thấy mẫu robots.txt của SEOTCT đang sử dụng rồi đấy, mẫu này mình cũng tham khảo ở rất nhiều nơi và quyết định sử dụng nó, bạn cũng có thể lấy nó về và chỉnh sửa lại tên miền cũng như thêm những nội dung cần chặn nếu có.

Copy file dưới này cho vào file robot.txt là ok nhé: 

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Disallow: /s/
Disallow: /?s=
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /refer/
Disallow: /wp-login.php*
Disallow: /component/*

Allow: /*.js$
Allow: /*.css$
Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: https://seotct.com/sitemap_index.xml

1. Sử dụng Yoast SEO

Yoast SEO thì chắc không cần phải giới thiệu nữa. Bất kỳ ai cần SEO cho WordPress website chắc đã có cài plugin này. Nó hướng dẫn bạn tối ưu bài viết và từng trang web bằng cách tận dụng từ khóa tốt hơn. Ngoài ra, nó cũng giúp bạn tăng khả năng dễ đọc của bài viết, giúp cho bài viết giữ chân người đọc lâu hơn.

Đối với chúng tôi, chúng tôi là fan hâm mộ của Yoast SEO vì tính tiện dụng của nó. Cách tạo file robots.txt cũng đơn giản nếu bạn đã có pluign này. Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của bạn, tìm tới mục gọi là File editor(Công cụ):

Click vào link đó sẽ gửi bạn tới trang mới, nơi bạn có thể chỉnh sửa file .htaccess mà không cần thoát dashboard (trang admin WordPress). Có một nút gọi là  Create robots.txt file, sẽ giúp bạn tạo file robots.txt:

Khi bạn click vào nút này, tab sẽ hiển thị editor mới nơi bạn có thể chỉnh sửa file robots.txt trực tiếp. Lưu ý là Yoast SEO sẽ đặt giá trị mặc định của nó, để ghi đè lên file ảo robots.txt.

Mỗi khi bạn thêm rules mới hoặc xóa rules cũ, nhớ click nút Save changes to robots.txt để lưu lại:

Lời kết

Để tăng khả năng tiếp cận của site lên trình tìm kiếm, bạn cần chắc là bot của search engine không bị chặn, và có thể crawl (quét) đúng những khu vực nó cần, đúng các thông tin quan trọng. Như bạn thấy, một file robots.txt chuẩn sẽ giúp bots tương tác tốt với site của bạn thế nào. Từ đó, thông tin của bạn sẽ được hiển thị chính xác hơn, hữu dụng hơn cho người tìm kiếm. Tìm hiểu thêm về Dịch vụ SEO SEOTCT