آموزش سئو برای مبتدیان - خزنده وب
همانطور که در قسمت قبل یاد گرفتید، برای این که سایت شما در SERP ها نمایش داده شود، باید مطمئن شوید که محتوای آن قابل کراول و ایندکس شدن می باشند. شما می توانید با استفاده از گوگل و جستجوی "site:yourdomain.com" و یا با استفاده از قسمت جستجوی پیشرفته، بررسی کنید که کدام صفحات و چند صفحه از وبسایت شما، توسط گوگل ایندکس شده است.
به گوگل بروید و در قسمت نوار جستجو "com.نام دامنه:site" را تایپ کنید. با انجام این کار گوگل نتایجی را نشان می دهد که ایندکس آن سایت را مشخص می کنند.
تعداد نتایجی که گوگل نشان داده است (قسمت "About __ results" در تصویر بالا)، دقیق نیست اما می تواند به صورت کلی به شما نشان دهد که کدام صفحات در وبسایت شما ایندکس شده است و نحوه نمایش کلی آن ها در موتور جستجو به چه صورت است.
برای نتایج دقیق تر، شما می توانید از گزارش Index Coverage در Google Search Console استفاده کنید. اگر تا به حال از این سرویس استفاده نکرده اید، می توانید به صورت رایگان در حساب های Google Search Console ثبت نام کنید. با این ابزار، شما می توانید نقشه سایت برای سایت خودتان ارائه کنید و بررسی کنید که کدام یک از صفحه های ارائه شده در نقشه سایت، به ایندکس گوگل اضافه شده اند.
اگر شما در هیچ کدام از نتایج جستجوی گوگل دیده نمی شوید، احتمالا چند دلیل وجود دارد:rn
- rn
- سایت شما خیلی جدید است و گوگل هنوز آن را کراول نکرده است rn
- لینک سایت شما در هیچ وبسایت خارجی دیگری (وب سایتی جز وب سایت خودتان) قرار نگرفته است. rn
- مسیر یابی در سایت شما به گونه ای است که ربات های خزنده به صورت موثر نمی توانند آن را بررسی کنند. rn
- سایت شما دارای یک سری کد های اولیه با نام دستورالعمل های کراولر (crawler directives) می باشد که مانع دسترسی خزنده های موتور جستجو به سایت شما می شود. rn
- سایت شما به دلیل فعالیت های اسپمی، توسط گوگل جریمه شده است. rn
آموزش سئو با پاسخ به سوالاتی درباره کراول گوگل
- rn
- آیا موتورهای جستجو می توانند کل سایت شما را ببینند؟ rn
از خودتان بپرسید : آیا ربات های خزنده می توانند کل سایت شما را بررسی کنند؟rn
- rn
- آیا محتوای سایت شما پشت فرم های ورود اطلاعات پنهان شده است؟ rn
- rn
- آیا شما متکی بر فرم های جستجو کار می کنید؟ rn
- rn
- آیا متن داخل محتوای غیر متنی پنهان شده است؟ rn
<HTML>
در وب سایت خودتان قرار دهید.rn- rn
- آیا موتورهای جستجو می توانند مسیر یابی سایت شما را دنبال کنند؟ rn
اشتباهات navigation سایت و عدم دسترسی خزنده موتور جستجو به سایتrn
- rn
- استفاده از مسیریابی های موبایل که نتایج متفاوتی نسبت به مسیر یابی های دسکتاپ را نمایش میدهد rn
- مسیریابی آیتم های منوی سایت که به زبان HTML نیستند، مانند مسیریابی های مبتنی بر جاوا اسکریپت. گوگل در زمینه کراول کردن و درک کردن جاوا اسکریپت پیشرفت زیادی داشته است اما هنوز به فرآیند عالی در این زمینه نرسیده است. برای این که مطمئن شوید محتوای خاصی توسط گوگل ایندکس می شود، این است که آن محتوا را به زبان HTML در سایت قرار دهید. rn
- شخصی سازی یا نشان دادن مسیر یابی های خاص برای نوع خاصی از کاربران باعث می شود کار بررسی سایت توسط خزنده ها دشوار شود. rn
- عدم قرار دادن لینک به صفحه های اصلی در وبسایت در فرایند مسیریابی سایت. به یاد داشته باشید که خزنده ها از لینک ها به عنوان مسیر پیمایش سایت شما استفاده می کنند! rn
معماری اطلاعات
معماری اطلاعات (Information architecture) به منظور سازماندهی محتوایی است که در وبسایت شما وجود دارد تا کارایی و قابلیت رویت محتوا برای کاربران افزایش پیدا کند. بهترین معماری اطلاعات، به گونه ای است که درک آن ساده باشد، یعنی این که کاربر مجبور نباشد برای بررسی سایت شما و یافتن یک موضوع، خیلی تلاش کند.
سایت شما باید یک صفحه 404 مفید (صفحه اخطار page not found) داشته باشد تا وقتی که کاربر بر روی یک لینک خراب یا URL اشتباه کلیک می کند، این صفحه نشان داده شود. صفحه های خوب 404 به کاربر این امکان را می دهد تا با کلیک بر روی لینک فراهم شده دوباره به صفحه اصلی سایت بروند تا به خاطر این که بر روی لینک اشتباه یا خراب کلیک کرده اند، سایت شما را ترک نکنند.
rn
آموزش سئو با نحوه فعالیت وب کراولرها
به علاوه تضمین این که خزنده ها می توانند صفحات مهم شما را بررسی کنند، شما می توانید صفحه هایی را در سایت خودتان طراحی کنید که خزنده ها به آن ها دسترسی نداشته باشند. این صفحه ها ممکن است شامل URL های قدیمی با محتوای ضعیف، URL های تکراری (مانند پارامتر های دسته بندی و فیلتر برای سایت های فروشگاهی) و یا صفحه های پرومو کد خاص، صفحه های تست یا دسته بندی و غیره باشند.مسدود کردن دسترسی موتور جستجو به صفحه های خاص در وبسایت باعث می شود که خزنده ها بتوانند مهم ترین صفحه های سایت شما را اولویت بندی کنند و در نتیجه بودجه خزش (crawl budget) سایت شما به بیشترین مقدار برسد (بودجه خزش به معنی میانگین تعداد صفحه هایی است که ربات موتور جستجو بر روی سایت شما کراول می کند).
دستورالعمل های خزنده (Crawler directive) به شما این امکان را می دهد تا خزنده Googlebot را کنترل کنید تا صفحه هایی را کراول و ایندکس کند که شما می خواهید. این دستور ها با استفاده از فایل های robots.txt، متا تگ، فایل های sitemap.xml یا Google Search Console ایجاد می شوند که در ادامه این مقاله، این چهار مورد را بررسی میکنیم:rn
- rn
- Robots.txt rn
شما نباید با استفاده از این روش، صفحه های خصوصی و حساس را از دسترس موتور جستجو خارج کنید زیرا اگر شما آدرس این صفحه ها را در این فایل قرار دهید، ربات های موتور جستجو یا کاربران به راحتی به آن دسترسی خواهند داشت.
نکات حرفه ای :rn
- rn
- در صورتی که گوگل نتواند یک فایل txt را برای سایت شما پیدا کند (کد وضعیت 40X HTTP)، کراول سایت شما را ادامه میدهد. rn
- در صورتی که ربات گوگل بتواند یک فایل txt را برای سایت شما پیدا کند (کد وضعیت 20X HTTP)، معمولا مطابق با پیشنهادات و دستور های این فایل، سایت شما را کراول می کند. rn
- در صورتی که ربات گوگل نه کد وضعیت 20X و نه 40X HTTP را پیدا کند (مثلا، خطای سرور 501)، در این صورت نمی تواند تشخیص دهد که آیا شما یک فایل txt دارید یا خیر و در نتیجه سایت شما را کراول نمی کند. rn
- rn
- متا تگ ها (دستور های متا) rn
اگر شما می خواهید در مقیاس بالا دسترسی موتور جستجو را به سایت خودتان محدود کنید، می توانید از X-robots-tag استفاده کنید زیرا این دستور انعطاف و کاربرد بیشتری دارد به این دلیل که با استفاده از این دستور، شما می توانید از عبارات معمول استفاده کنید، فایل های غیر HTML را بلاک کنید و تگ noindex را بر روی کل سایت خودتان قرار دهید.
این تگ ها، برای بلاک کردن URL های حساس یا خصوصی در سایت بهترین گزینه هستند.
برای هر URL حساس، بهتر است که آن ها را از صفحات حذف کنیم و یا برای دسترسی به این URL ها، یک فرآیند ورود امن (secure login) در نظر بگیریم.rn
در قسمت Dashboard > Settings > Reading، مطمئن شوید که جعبه "قابلیت رویت توسط موتور جستجو" تیک نخورده باشد. این کار باعث می شود که موتور جستجویی که به سایت شما می آید، بر اساس فایل robots.txt به صفحه مورد نظر دسترسی نداشته باشد.
اگر بتوانید این مشکلات را رفع کنید، محتوای شما محتوایی شفاف و قابل کراول می شود که ربات ها می توانند به راحتی به آنها دسترسی داشته باشند.زمانی که مطمئن شدید که سایت شما کراول شده است، کار بعدی این است که مطمئن شوید این محتوا ایندکس می شود.rn
- rn
- نقشه سایت rn
- rn
- Google Search Console rn