چگونه مشکلات Crawling چنددامنه‌ای گوگل را تشخیص دهیم؟

در یک پست به اشتراک گذاشته‌شده در لینکدین، یکی از کاربران به نام آدریان اشمیت گزارش داد که ربات گوگل به‌طور ناگهانی دسترسی به چندین دامنه از سایت‌های او را متوقف کرده است. با این حال، او مشاهده کرد که تست‌های لایو از طریق سرچ کنسول (Search Console) بدون نمایش هیچ خطایی به کار خود ادامه می‌دهند. در این بررسی، مشخص شد که خطاهای سرور (۵xx) یا مشکلاتی در درخواست‌های robots.txt نیز به چشم نمی‌خورد. بنابراین، سوال اینجاست: مشکل از کجا می‌تواند باشد؟

پاسخ جان مولر، اشتراک زیرساخت به‌عنوان علت احتمالی

جان مولر، مشاور جستجوی گوگل، به این موضوع واکنش نشان داد و احتمال داد که مشکل به زیرساخت‌های مشترک مرتبط باشد. او توضیح داد:

«اگر مسئله در چندین دامنه مشاهده می‌شود و روی crawling تاثیر می‌گذارد، احتمالا به یک بخش مشترک از زیرساخت‌ها مرتبط است. اگر مشکل در حال حل شدن است، نیازی به اقدام فوری نیست و می‌توانید بررسی کنید که آیا تغییرات اخیر یا لاگ‌های زیرساختی می‌تواند اطلاعات بیشتری به شما بدهد.»

از جدیدترین تکنولوژی‌های دیجیتال مارکتینگ با خبر شوید!

بررسی زیرساخت‌ها

یکی از نکات جالب این بررسی این بود که تمام سایت‌های تحت تاثیر از Cloudflare به‌عنوان شبکه تحویل محتوا (CDN) استفاده می‌کردند.

مولر برای اشخاصی که می‌خواهند علت مشکلات crawling را شناسایی کنند، پیشنهاد کرد که داده‌های سرچ کنسول را بررسی کنند تا بفهمند آیا مشکل از DNS یا درخواست‌های ناموفق است. او افزود:

«آمار crawling در سرچ کنسول می‌تواند جزئیات بیشتری نشان دهد و به تصمیم‌گیری در مورد مشکلات DNS یا درخواست‌های ناموفق کمک کند.»

تاثیر مشکلات crawling بر نتایج جستجو

از دیدگاه مولر، مشکلات موقتی crawling، نگرانی خاصی از نظر رتبه‌بندی جستجو ایجاد نمی‌کند. او گفت:

«اگر این مشکل امروز رخ داده و تنها چند ساعت طول کشیده، نباید نگرانی‌ای از بابت تاثیر آن در نتایج جستجو داشته باشید.»

اهمیت موضوع برای وب‌سایت‌ها

وقتی گوگل‌بات به‌طور ناگهانی crawling در چندین سایت را متوقف می‌کند، ممکن است پیدا کردن علت اصلی مشکل چالش‌برانگیز باشد. هرچند که توقف‌های کوتاه‌مدت احتمالا تاثیر مستقیمی بر رتبه‌بندی نخواهد داشت، اما می‌تواند توانایی گوگل برای کشف و فهرست‌گذاری محتوای جدید را مختل کند. این مسئله نشان می‌دهد که سازمان‌ها باید به این مشکلات زیرساختی که ممکن است در ظاهر ساده به نظر برسند، توجه کافی داشته باشند؛ به‌ویژه اگر به زیرساخت‌های مشترک و CDN وابسته هستند.

از این اخبار برای حل شدن مشکلات Crawling استفاده کنید!

نکات کاربردی برای شما

در صورتی که متوجه توقف ناگهانی crawling گوگل‌بات در سایت‌های خود شدید، این مراحل را بررسی کنید:

• بررسی چنددامنه‌ای: ابتدا ببینید آیا مشکل در چندین سایت همزمان رخ داده است.
• بازبینی زیرساخت‌های مشترک: اگر مشکل هم‌زمان در چند سایت رخ داده، به بررسی زیرساخت‌های مشترک بپردازید.
• استفاده از داده‌های سرچ کنسول: داده‌های سرچ کنسول می‌تواند به شما در تشخیص دلیل اصلی مشکل کمک کند.
• بررسی DNS: حتی اگر ترافیک عادی بدون مشکل است، DNS را به‌طور کامل رد نکنید.
• نظارت بر لاگ‌ها: لاگ‌های خود را به‌دقت بررسی کنید تا از مشکلات احتمالی مطلع شوید.

و برای وب‌سایت‌هایی که در پشت CDN قرار دارند، توصیه‌های زیر را به خاطر داشته باشید:

• ثبت لاگ‌های کامل: سیستم ثبت لاگ‌های کاملی داشته باشید.
• نظارت بر نرخ crawling: به نرخ‌های crawling دقت داشته باشید.
• آمادگی برای مشکلات زیرساختی: در مواقعی که مشکلات غیرمنتظره رخ می‌دهد، بدانید که به کجا مراجعه کنید.
• نظارت بر ارائه‌دهنده زیرساخت: ارتباط موثری با ارائه‌دهنده زیرساخت خود داشته باشید تا در مواقع بحرانی بتوانید به سرعت مشکل را حل کنید.

نتیجه‌گیری

مشکلات مربوط به توقف موقتی crawl گوگل ممکن است برای بسیاری از وب‌سایت‌ها چالش‌برانگیز و مبهم باشد، اما با بررسی دقیق زیرساخت‌ها و استفاده از ابزارهایی مانند سرچ کنسول، می‌توان به‌سرعت علت مشکل را شناسایی و رفع کرد. با توجه به حساسیت این موضوع در حفظ رتبه و کشف محتوای جدید، کسب‌وکارها باید زیرساخت‌های خود را به‌طور منظم پایش کنند و اطمینان حاصل کنند که از ابزارهای مناسب برای شناسایی و رفع مشکلات احتمالی استفاده می‌کنند. این آگاهی به حفظ حضور پایدار در نتایج جستجوی گوگل کمک می‌کند.

منبع: Search engine journal