Ngân sách thu thập thông tin là vận tốc và số lượng trang mà công cụ tìm kiếm muốn thu thập trên trang web của bạn. Nó bị ảnh hưởng bởi số lượng tài nguyên mà trình thu thập thông tin muốn sử dụng trên trang web của bạn và số lượng thu thập thông tin mà máy chủ của bạn tư vấn.
Thu thập thông tin nhiều hơn ko sở hữu nghĩa là bạn sẽ xếp hạng tốt hơn, nhưng nếu những trang của bạn ko được thu thập thông tin và lập chỉ mục, chúng sẽ ko được xếp hạng gì cả.
Hầu hết những trang web ko cần phải lo lắng về ngân sách thu thập dữ liệu, nhưng sở hữu một số trường hợp bạn sở hữu thể muốn xem xét. Hãy xem xét một số trường hợp đó.
Bạn thường ko phải lo lắng về ngân sách thu thập thông tin trên những trang phổ biến. Đó thường là những trang mới hơn, ko được liên kết tốt hoặc ko thay đổi nhiều và ko được thu thập thông tin thường xuyên.
Ngân sách thu thập thông tin sở hữu thể là mối quan tâm đối với những trang web mới hơn, tính năng hot là những trang sở hữu nhiều trang. Máy chủ của bạn sở hữu thể tư vấn thu thập dữ liệu nhiều hơn, nhưng vì trang web của bạn mới và sở hữu thể chưa phổ biến lắm, công cụ tìm kiếm sở hữu thể ko muốn thu thập dữ liệu trang web của bạn cho lắm. Điều này mọi là một sự ko kết nối trong kỳ vọng. Bạn muốn những trang của mình được thu thập thông tin và lập chỉ mục nhưng Google ko biết liệu nó sở hữu đáng để lập chỉ mục những trang của bạn hay ko và sở hữu thể ko muốn thu thập thông tin nhiều trang như bạn muốn.
Ngân sách thu thập thông tin cũng sở hữu thể là mối quan tâm đối với những trang web lớn hơn với hàng triệu trang hoặc những trang web thường xuyên được cập nhật. Nói chung, nếu bạn sở hữu nhiều trang ko được thu thập thông tin hoặc cập nhật thường xuyên như bạn muốn, thì bạn sở hữu thể muốn xem xét tăng vận tốc thu thập thông tin. Chúng ta sẽ nói về cách thực hiện điều đó ở phần sau của bài viết.
Nếu bạn muốn xem tổng quan về hoạt động thu thập thông tin của Google và bất kỳ vấn đề nào mà họ đã xác định, nơi tốt nhất để xem là báo cáo Thống kê thu thập thông tin trong Google Search Console.
sở hữu nhiều báo cáo khác nhau ở đây để giúp bạn xác định những thay đổi trong hành vi thu thập thông tin, những vấn đề lúc thu thập thông tin và cung cấp cho bạn thêm thông tin về cách Google thu thập thông tin trang web của bạn.
Bạn dĩ nhiên chắn muốn xem xét bất kỳ trạng thái thu thập thông tin được gắn cờ nào tương đương trạng thái được hiển thị ở đây:
Ngoài ra còn sở hữu những dấu thời gian về thời điểm những trang được thu thập thông tin lần cuối.
Nếu bạn muốn xem những lần truy cập từ tất cả những bot và người tiêu dùng, bạn sẽ cần quyền truy cập vào những tệp nhật ký của mình. Tùy thuộc vào lưu trữ và thiết lập, bạn sở hữu thể sở hữu quyền truy cập vào những công cụ như Awstats và Webalizer như được thấy ở đây trên máy chủ được chia sẻ với cPanel. những công cụ này hiển thị một số dữ liệu tổng hợp từ những tệp nhật ký của bạn.
Đối với những thiết lập phức tạp hơn, bạn sẽ phải truy cập và lưu trữ dữ liệu từ những tệp nhật ký thô, sở hữu thể từ nhiều nguồn. Bạn cũng sở hữu thể cần những công cụ chuyên dụng cho những dự án lớn hơn như ELK (asticsearch, logstash, kibana) ngăn xếp cho phép lưu trữ, xử lý và trực quan hóa những tệp nhật ký. Ngoài ra còn sở hữu những công cụ phân tích nhật ký như Splunk.
Tất cả những URL và yêu cầu được tính vào ngân sách thu thập thông tin của bạn. Điều này bao gồm những URL thay thế như AMP hoặc trang m ‑ dot, hreflang, CSSvà JavaScript bao gồm XHR những yêu cầu.
những URL này sở hữu thể được tìm thấy bằng cách thu thập thông tin và phân tích cú pháp những trang hoặc từ nhiều nguồn khác bao gồm cả sơ đồ trang web, RSS nguồn cấp dữ liệu, gửi URL để lập chỉ mục trong Google Search Console hoặc sử dụng lập chỉ mục API.
Cũng sở hữu nhiều Googlebot chia sẻ ngân sách thu thập thông tin. Bạn sở hữu thể tìm thấy danh sách những Googlebot khác nhau đang thu thập dữ liệu trang web của bạn trong báo cáo Thống kê Thu thập thông tin trong GSC.
Mỗi trang web sẽ sở hữu một ngân sách thu thập thông tin khác nhau được tạo thành từ một số đầu vào khác nhau.
Thu thập thông tin nhu cầu
Nhu cầu thu thập thông tin chỉ đơn thuần là số lượng Google muốn thu thập thông tin trên trang web của bạn. những trang phổ biến hơn và những trang trải qua những thay đổi rất cần thiết sẽ được thu thập thông tin nhiều hơn.
những trang phổ biến hoặc những trang sở hữu nhiều liên kết tới chúng hơn, thường sẽ được ưu tiên hơn những trang khác. Hãy nhớ rằng Google phải ưu tiên những trang của bạn để thu thập thông tin theo một cách nào đó và những liên kết là một cách dễ dàng để xác định trang nào trên trang web của bạn phổ biến hơn. Tuy nhiên, đó ko chỉ là trang web của bạn, mà là tất cả những trang trên tất cả những trang web trên internet mà Google phải tìm ra cách ưu tiên.
Bạn sở hữu thể tiêu dùng Tốt nhất bởi những liên kết báo cáo trong Trình khám phá trang web như một dấu hiệu về những trang nào sở hữu khả năng được thu thập thông tin thường xuyên hơn. Nó cũng cho bạn biết thời điểm Ahrefs thu thập dữ liệu những trang của bạn lần cuối.
Cũng sở hữu một khái niệm về sự kiên định. Nếu Google thấy rằng một trang ko thay đổi, họ sẽ thu thập dữ liệu trang đó ít thường xuyên hơn. Ví dụ: nếu họ thu thập thông tin một trang và ko thấy thay đổi nào sau một ngày, họ sở hữu thể đợi ba ngày trước lúc thu thập thông tin lại, mười ngày vào lần tiếp theo, 30 ngày, 100 ngày, v.v. ko sở hữu khoảng thời gian thực tế nào mà họ sẽ đợi giữa những lần thu thập thông tin, nhưng nó sẽ trở nên ko thường xuyên hơn theo thời gian. Tuy nhiên, nếu Google nhận thấy những thay đổi lớn trên toàn bộ trang web hoặc một lần di chuyển trang web, họ thường sẽ tăng vận tốc thu thập thông tin, ít nhất là tạm thời.
Giới hạn vận tốc thu thập thông tin
Giới hạn vận tốc thu thập thông tin là mức độ thu thập thông tin mà trang web của bạn sở hữu thể tư vấn. những trang web sở hữu thể thực hiện một số lần thu thập dữ liệu nhất định trước lúc gặp vấn đề với sự ổn định của máy chủ như chậm hoặc lỗi. Hầu hết những trình thu thập thông tin sẽ ngừng thu thập thông tin nếu họ bắt đầu thấy những vấn đề này để chúng ko gây hại cho trang web.
Google sẽ điều chỉnh dựa trên tình trạng thu thập thông tin của trang web. Nếu trang web ổn với việc thu thập thông tin nhiều hơn, thì giới hạn sẽ tăng lên. Nếu trang web gặp sự cố, thì Google sẽ làm chậm vận tốc thu thập dữ liệu của họ.
sở hữu một số điều bạn sở hữu thể làm để đảm bảo trang web của bạn sở hữu thể tư vấn thu thập thông tin bổ sung và tăng nhu cầu thu thập thông tin trang web của bạn. Hãy xem xét một số tùy tậu đó.
Tăng tốc máy chủ của bạn / tăng tài nguyên
Cách Google thu thập dữ liệu những trang về cơ bản là tải xuống những tài nguyên và sau đó xử lý chúng. vận tốc trang của bạn như người tiêu dùng nhận thấy nó ko hoàn toàn giống nhau. Điều sẽ ảnh hưởng tới ngân sách thu thập thông tin là vận tốc Google sở hữu thể kết nối và tải xuống những tài nguyên liên quan nhiều hơn tới máy chủ và tài nguyên.
Nhiều liên kết hơn, bên ngoài & nội bộ
Hãy nhớ rằng nhu cầu thu thập thông tin thường dựa trên mức độ phổ biến hoặc liên kết. Bạn sở hữu thể tăng ngân sách của mình bằng cách tăng số lượng liên kết bên ngoài và / hoặc liên kết nội bộ. Liên kết nội bộ dễ dàng hơn vì bạn kiểm soát trang web. Bạn sở hữu thể tìm thấy những liên kết nội bộ được đề xuất trong Cơ hội liên kết báo cáo trong Kiểm tra trang web, cũng bao gồm một hướng dẫn giải thích cách hoạt động.
Sửa những liên kết bị hỏng và được chuyển hướng
Giữ những liên kết tới những trang bị hỏng hoặc được chuyển hướng trên trang web của bạn hoạt động sẽ sở hữu tác động nhỏ tới ngân sách thu thập thông tin. Thông thường, những trang được liên kết ở đây sẽ sở hữu mức ưu tiên khá thấp vì chúng sở hữu thể ko thay đổi trong một thời gian, nhưng việc dọn dẹp mọi vấn đề sẽ tốt cho việc bảo trì trang web nói chung và sẽ giúp ích một chút cho ngân sách thu thập dữ liệu của bạn.
Bạn sở hữu thể dễ dàng tìm thấy những liên kết bị hỏng (4xx) và được chuyển hướng (3xx) trên trang web của mình trong Trang nội bộ báo cáo trong Kiểm tra trang web.
Đối với những liên kết bị hỏng hoặc được chuyển hướng trong sơ đồ trang web, hãy kiểm tra Tất cả những vấn đề báo cáo cho “3XX chuyển hướng trong sơ đồ trang web “và”4XX trang trong sơ đồ trang web ”.
Sử dụng ĐƯỢC thay vì BÀI ĐĂNG nơi bạn sở hữu thể
mẫu này kỹ thuật hơn một chút vì nó liên quan tới HTTP Yêu cầu những phương thức. ko sử dụng BÀI ĐĂNG yêu cầu ở đâu ĐƯỢC yêu cầu hoạt động. Về cơ bản là ĐƯỢC (kéo) vs BÀI ĐĂNG (đẩy). BÀI ĐĂNG những yêu cầu ko được lưu vào bộ nhớ đệm nên chúng ảnh hưởng tới ngân sách thu thập thông tin, ĐƯỢC yêu cầu sở hữu thể được lưu vào bộ nhớ đệm.
Sử dụng lập chỉ mục API
Nếu bạn cần những trang được thu thập thông tin nhanh hơn, hãy kiểm tra xem bạn sở hữu đủ điều kiện cho Lập chỉ mục của Google hay ko API. Hiện tại, tính năng này chỉ khả dụng cho một số trường hợp sử dụng như tin tuyển dụng hoặc video trực tiếp.
Bing cũng sở hữu Lập chỉ mục API mẫu đó sở hữu sẵn cho tất cả mọi người.
Những gì sẽ ko hoạt động
sở hữu một số điều thường thì mọi người thử sẽ ko thực sự giúp ích cho ngân sách thu thập thông tin của bạn.
- Những thay đổi nhỏ đối với trang web. Thực hiện những thay đổi nhỏ trên những trang như cập nhật ngày, khoảng trắng hoặc dấu chấm câu với hy vọng những trang được thu thập thông tin thường xuyên hơn. Google khá giỏi trong việc xác định xem những thay đổi sở hữu rất cần thiết hay ko, vì vậy những thay đổi nhỏ này sở hữu thể ko sở hữu bất kỳ tác động nào tới việc thu thập thông tin.
- Chỉ thị trì hoãn thu thập thông tin trong robots.txt. Chỉ thị này sẽ làm chậm nhiều bot. Tuy nhiên, Googlebot ko sử dụng nó nên nó sẽ ko sở hữu tác động. Chúng tôi tôn trọng điều này tại Ahrefs, vì vậy nếu bạn cần làm chậm quá trình thu thập thông tin của chúng tôi, bạn sở hữu thể thêm độ trễ thu thập thông tin vào tệp robots.txt của mình.
- Xóa tập lệnh của bên thứ ba. những tập lệnh của bên thứ ba ko được tính vào ngân sách thu thập thông tin của bạn, vì vậy việc xóa chúng sẽ ko hữu ích.
- ko theo. Được rồi, mẫu này thật tệ. Trong quá khứ, những liên kết nofollow sẽ ko sử dụng ngân sách thu thập thông tin. Tuy nhiên, nofollow hiện được coi là một gợi ý để Google sở hữu thể tậu thu thập thông tin những liên kết này.
Chỉ sở hữu một số cách hay để làm Google thu thập dữ liệu chậm hơn. Về mặt kỹ thuật, sở hữu một số điều chỉnh khác mà bạn sở hữu thể thực hiện như làm chậm trang web của mình, nhưng chúng ko phải là phương pháp mà tôi muốn giới thiệu.
Điều chỉnh chậm, nhưng đảm bảo
Kiểm soát chính mà Google cung cấp cho chúng tôi để thu thập dữ liệu chậm hơn là giới hạn vận tốc trong Google Search Console. Bạn sở hữu thể làm chậm vận tốc thu thập thông tin bằng công cụ này, nhưng sở hữu thể mất tới hai ngày để sở hữu hiệu lực.
Điều chỉnh nhanh nhưng sở hữu rủi ro
Nếu bạn cần một giải pháp tức thời hơn, bạn sở hữu thể tận dụng những điều chỉnh vận tốc thu thập thông tin của Google liên quan tới tình trạng trang web của bạn. Nếu bạn cung cấp cho Googlebot mã trạng thái ‘Dịch vụ 503 ko khả dụng’ hoặc ‘429 Yêu cầu Quá nhiều’ trên những trang, chúng sẽ bắt đầu thu thập dữ liệu chậm hơn hoặc sở hữu thể tạm thời ngừng thu thập thông tin. Tuy nhiên, bạn ko muốn làm việc này lâu hơn một vài ngày hoặc họ sở hữu thể bắt đầu bỏ trang khỏi chỉ mục.
Suy nghĩ cuối cùng
Một lần nữa, tôi muốn nhắc lại rằng ngân sách thu thập thông tin ko phải là điều mà hầu hết mọi người phải lo lắng. Nếu bạn sở hữu thắc mắc, tôi hy vọng hướng dẫn này hữu ích.
Tôi thường chỉ xem xét vấn đề này lúc sở hữu vấn đề với những trang ko được thu thập thông tin và lập chỉ mục, tôi cần giải thích nguyên nhân tại sao ai đó ko nên lo lắng về điều đó hoặc tôi tình cờ thấy điều gì đó liên quan tới tôi trong báo cáo thống kê thu thập thông tin trong Google Search Console .
sở hữu một vài câu hỏi? Cho tôi biết trên Twitter.
Nguồn bài viết : % POSTLINK%
source https://phanmemchuyennghiep.net/ngan-sach-thu-thap-thong-tin-la-gi-va-nguoi-lam-seo-so-huu-nen-lo-lang-ve-no/
Đăng nhận xét