5 روش بهبود Crawl Budget صفحات فصلی سایت
crawl budget چیست؟
چگالی خزش سایت میانگین تعداد صفحاتی است که روزانه پیمایش می شوند. در واقع از طریق چگالی خزش تعیین می کنیم که گوگل چقدر برای پیمایش سایت شما زمان صرف می کند.
هدف گوگل ارائه اطلاعات مفید برای کاربرانی است که در وب جستجو می کنند. برای رسیدن به این هدف گوگل باید محتوا را از منابع باکیفیت، ایندکس و ارزیابی کند.
پیمایش در وب فرآیندی هزینه بر است. گوگل مقدار زیادی انرژی برای خزیدن در وب سایت های تمام ایران در یک سال مصرف می کند. ربات ها باید الگوریتم های برنامه ریزی شده ای را که تعیین می کنند کدام وب سایت ها در چه زمانی crawl شوند، به منظور ارزیابی تعداد هرچه بیشتر صفحات دنبال کنند. اهمیت رتبه بندی صفحات گوگل از این امر حکایت می کند که راه هایی قابل سنجش برای تعیین این که چه صفحاتی اولویت بندی شوند، وجود دارد.
شاخصی با معیارهای ثابت برای پیمایش یک سایت وجود ندارد. پیمایش های موجود براساس آنچه که گوگل فکر می کند توسط سرور شما انجام می شود و علائق کاربران به صفحات وب سایت شما، انجام می شوند.
چرا باید چگالی خزش خود را بهینه سازی کنید؟
به کمک اطلاعات ارائه شده توسط شرکت OnCrawl از میلیون ها صفحه به این نتیجه رسیدیم که رابطه ای بین تعداد دفعات پیمایش شدن یک صفحه توسط گوگل و تعداد نمایش هایی که آن صفحه دریافت می کند، وجود دارد. صفحاتی که بیشتر پیمایش می شوند، اغلب در نتایج جستجو بیشتر دیده می شوند.
این ارتباط بیانگر این است که شما می توانید از بهینه سازی چگالی پیمایش وب سایت به عنوان یک استراتژی استفاده کنید تا گروهی از صفحات را در نتایج جستجو ارتقاء دهید. برای بالا آوردن این صفحات در نتایج جستجو باید آنها را در یک دوره زمانی مناسب نسبت به صفحات دیگر وب سایتتان برای گوگل ارتقاء دهید.
با به کارگیری استراتژی های بهینه سازی چگالی خزش می توانید توجه گوگل را از برخی صفحات منحرف و به برخی صفحات جلب کنید و از این طریق مقدار نمایش صفحاتی را که در وب سایتتان ماهیت فصلی دارند، افزایش دهید.
شما باید:rn
- rn
- چگالی پیمایش کلی وب سایت خود را بهینه سازی کنید. rn
- با استفاده از تکنیک هایی که به آن ها از دسته بندی صفحات اصلی در ساختار سایت تان لینک داده شده است، عمق صفحات فصلی مهم را کاهش دهید. rn
- محبوبیت داخلی صفحات مهم را، با ساخت بک لینک هایی از صفحاتی مرتبط افزایش دهید. rn
- rn
- نظارت بر crawl budget سایت rn
به دلیل متفاوت بودن رفتار ربات ها، مقادیر داده شده به طور میانگین ارائه می شوند. برای مثال از آنجایی که ربات های AdSense و موبایل برخلاف ربات Googlebot دسکتاپ، باید هر صفحه را به طور کامل بخوانند، زمان ارائه شده برای بارگذاری صفحه، میانگینی بین زمان های بارگذاری تقریبی و زمان های بارگذاری کامل هستند.
این امر برای تحلیل های سئو کافی نیست.
از این رو مطمئن ترین روش برای سنجش چگالی خزش سایت شما، بررسی منظم log های سرور سایت تان می باشد. وب سرورها هر فعالیتی را ضبط می کنند؛ به این اطلاعات log گفته می شود. این log ها برای عیب یابی مشکلات مربوط به عملکرد سایت مورد استفاده قرار می گیرند.
هر فعالیتی که در فایل log قرار میگیرد، در واقع درخواستی برای یک URL است. هر خط فایل log شامل اطلاعاتی نظیر آدرس IP که درخواست را ارسال کرده، آدرس URL، تاریخ، ساعت و همچنین کد وضعیت نتیجه درخواست می باشد. به عنوان مثال :
("www.mywebsite.com:443 66.249.73.156 [15/Aug/2018:00:02:59 +0000] "GET /news/my-article-URL HTTP/1.1" 200 44506 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
با شناسایی همه درخواست های ایجاد شده از ربات های گوگل، شما می توانید تعداد بازدید های ربات های گوگل را در یک دوره زمانی معین دقیقا اندازه گیری کنید. نتیجه این سنجش، بهبود چگالی خزش شما است.
عدد به دست آمده در نتیجه این بررسی نمی تواند به شما بگوید که آیا گوگل به صفحات سایت شما به اندازه کافی توجه می کند یا خیر. خزنده های سئو با قابلیت نظارت بر log ها مانند OnCrawl، معیارهای دیگری را هم برای سنجش سلامت چگالی خزش وب سایتتان ارائه می کنند.
از آنجایی که چگالی خزش شاخص تعیین کننده ایندکس صفحات بروزرسانی شده و جدید یک سایت است، باید مشکلات و تغییرات ناگهانی را مد نظر قرار دهید.rn
- rn
- رفع کردن مشکلات سرور rn
شما می توانید مشکلات مربوط به سرور را با رفع کدهای وضعیت 400 و 500 و اصلاح عوامل مرتبط با سرور برطرف کنید.
بررسی لاگ، کلیدی برای عیب یابی و رفع مشکلات سرور است زیرا log ها کد وضعیت و تعداد بایت های دانلود شده را نشان می دهند.
اگر سایت شما توسط یک سرور اشتراکی پشتیبانی می شود، باز هم می توانید به واسطه کش سرور (caching)، شبکه توزیع محتوا (CDN)، بهینه سازی اندازه عکس ها، بروزرسانی نسخه PHP و استفاده از تکنیک های کند و ناهماهنگ بارگذاری برای منابع، کارایی سرور خود را بهبود بخشید.rn
- rn
- هدایت ربات های خزنده به سمت صفحات فصلی rn
اطلاعات بدست آمده از بررسی لاگ، تصویری را از آنچه که گوگل ارزیابی می کند و چیزهایی که توسط این غول فناوری کشف نمی شود، ارائه می سازد.
ادغام اطلاعات log با اطلاعات بدست آمده از ربات های خزنده سئو، به شما در پاسخ دادن به سوالات زیر کمک می کند:rn
- rn
- آیا صفحات پیمایش شدند با وجود این که غیر قابل ایندکس (non-indexable) هستند؟ آیا این صفحات در نقشه وب سایت هستند؟ rn
- آیا صفحات پیمایش شده ای که کد وضعیت 200 را بازگشت نداده باشند، وجود دارند؟ rn
- آیا گوگل URL های شامل تصاویر، فایل های PDF و فایل های رسانه ای دیگر را پیمایش می کند؟ rn
- آیا گوگل صفحاتی از سایت شما را که توسط هیچ کاربری بازدید نمیشود، پیمایش می کند؟ rn
- آیا گوگل تعداد زیادی از صفحات ریدایرکت شده را پیمایش می کند؟ rn
تحلیل های شرکت OnCrawl، می توانند روابط بین این عوامل را هم نشان دهند:rn
- rn
- عمق صفحات در ساختار سایت شما و تعداد دفعات پیمایش صفحه rn
- کدهای وضعیت و تعداد دفعات پیمایش صفحه rn
- محبوبیت صفحات بر حسب دفعات بازدید و تعداد دفعات پیمایش صفحه rn
- ساختار لینک های داخلی و تعداد دفعات پیمایش صفحه rn
داده های پیمایش سایت و بررسی log، صفحاتی را که لینک دریافت نکرده اند و صفحاتی را که توسط خزنده گوگل پیمایش می شوند، نیز به شما نشان می دهند. اگر که این صفحات توسط خزنده گوگل بازدید میشوند آنها را به ساختار سایت خود متصل کنید تا از مزیت ترافیک جستجوی آن ها هم بهرمند شوید؛ در غیر اینصورت توصیه می شود که آن صفحات را حذف کنید یا رابطه بین ربات ها و آن را قطع کنید.rn
- rn
- بهینه سازی Googlebot rn
تا زمانی که شما به ربات ها دستور توقف ندهید، آن ها لینک های مورد نظر را دنبال می کنند. از لینک های nofollow به خوبی استفاده کنید و محدودیت هایی را در فایل robots.txt خود اعمال کنید تا ربات ها را نسبت به محدودیت هایشان مطلع سازید. انجام این اقدامات تا حدی چگالی خزش شما را برای صفحات با اهمیت سایت، آزاد می کند.rn
- rn
- بهبود کیفیت محتوا rn
شواهد بدست آمده از ترکیب داده های log و تحلیل های معنایی انجام شده توسط OnCrawl هم این حقیقت را تایید می کنند. در بیشتر سایت ها بین عوامل زیر رابطه وجود دارد:rn
- rn
- تعداد لغات و رفتار پیمایش rn
- محتوای تکراری و رفتار پیمایش rn
- پیج رنک داخلی و رفتار پیمایش rn
- rn
- لینک های خارجی rn
- ساختارهای لینک داخلی rn
- بهینه سازی Canonical rn
بهینه سازی چگالی خزش
یک چگالی خزش بهینه، کلید افزایش نرخ بازگشت سرمایه (ROI) در اقدامات صورت گرفته در رابطه با سئو است زیرا این اطمینان را ایجاد می کند که گوگل صفحات بهینه شده شما می بیند.
زمانی که بهینه سازی های مورد نظرتان را اعمال کردید، باز هم چگالی خزش سایت خود را نظارت کنید. این نظارت شما را قادر می سازد تا نتایج را بسنجید و برای واکنش نشان دادن به تغییرات احتمالی آماده باشید.