wordpress tutorial, seo guild

Personal Blog

What is a robots.txt file? – Part 1

Created on

Something robots.txt file

 

What is a robots.txt file

What is a robots.txt file?

 

  • Tệp robots.txt là một tệp văn bản đơn giản được đặt trên máy chủ web của bạn cho phép cho phép những trình thu thập thông tin như Googlebot biết họ có nên truy cập tệp tin hay không.

 

What is a robots file

 

Ví dụ cơ bản file robots

Dưới đây là một số Config cơ bản cho file robots

Allow full access

User-agent: *
Disallow:

Block all access

User-agent: *
Disallow: /

Allow full access

User-agent: *
Disallow:

Allow full access

User-agent: *
Disallow:


Tại sao bạn nên tìm hiểu về robots.txt?

  • Sử dụng file robots không đúng cách có thể ảnh hưởng đến xếp hạng của bạn
  • File này được đề cập trong một số nguyên tắc của Google
  • File robots , và các chương trình mà họ tương tác, là những điều để bản để công cụ tìm kiếm hoạt động.
  • File robots kiểm soát các thông tin mà công cụ tìm kiếm nhìn thấy và tương tác với trang web của bạn

Công cụ tìm kiếm thu thập thông tin như thế nào?

Googlebot sẽ thực hiện truy cập vào  file robots.txt đầu tiên.

 

 

Nó thực hiện điều này vì Googlebot muốn biết  nó có quyền truy cập trang hoặc tệp đó hay không. Nếu file robots.txt nói rằng Googlebot có thể truy cập, trình thu thập thông tin của công cụ tìm kiếm sẽ tiếp tục đến các trang. Nếu file.

Điều gì được ưu tiên nhất?

Có ba điều quan trọng mà bất kỳ quản trị viên web nào cũng nên làm khi nói đến file robots.txt.

  • Xác định xem Webiste của bạn đã có file robots.txt.
  • Nếu website của bạn đã có, hãy chắc chắn rằng nó không làm hại đến thứ hạng hoặc chặn nội dung mà bạn không muốn bị chặn.
  • Xác định xem bạn có CẦN file robots.txt.

Bạn có cần file robots.txt?

Dưới đây là một vài lý do mà bạn CẦN có một file robots cho website của bạn:

  • Bạn có nội dung bạn muốn chặn khỏi các công cụ tìm kiếm
  • Bạn muốn tinh chỉnh truy cập vào trang web của bạn từ các robot có uy tín
  • Bạn đang phát triển một trang web đang hoạt động, nhưng bạn không muốn công cụ tìm kiếm lập chỉ mục trang web đó
  • Chúng giúp bạn thực hiện theo một số hướng dẫn của Google trong một số trường hợp nhất định
  • Bạn cần một số hoặc tất cả những điều trên, nhưng không có quyền truy cập đầy đủ vào server  của bạn và cách nó được thiết lập

Cách tạo tệp robots.txt

File robots.txt chỉ là một tập tin văn bản, bạn có thể sử dụng notepad hoặc bất kỳ trình soạn thảo văn bản nào khác để tạo một tập tin văn bản.  Bạn thậm chí có thể “copy & paste” chúng.

Nó giống như việc bạn ” Viết một ghi chú” cực kì đơn giản.

To be continued…

 

 

···

This is my blog about web development in general. I write about PHP (Wordpress, Laravel, etc), Ruby (Rails, Jekyll), NodeJS (Socket) and more. Be welcome and let your comment :-)

Comments

Be the First to Comment!

avatar
  Subscribe  
Notify of
Go to top