دلیل ایندکس نشدن صفحات سایت در گوگل + راه حل

نسرین نیک‌نژاد

طراحی و وب. ۱۴۰۰/۱۱/۱۸ .10 دقیقه مطالعه

هر وب‌سایتی که ساخته می‌شود برای موفقیت به شدت به گوگل متکی است. اگر می‌پرسید چرا؟ جواب آن ساده است: صفحات شما توسط گوگل ایندکس می‌شوند، ایندکس شدن این امکان را برای افراد فراهم می‌کند که شما را پیدا کنند یا در صفحات جستجو ببینند.

این راهی است که باید همه وب‌سایت‌ها طی کنند.

بااین‌حال، همیشه هم این‌طور نیست. بسیاری از صفحات هرگز توسط گوگل ایندکس نمی‌شوند و در صفحات جستجو نمی‌آیند.

اگر با یک وب‌سایت کار می‌کنید، به‌خصوص یک وب‌سایت بزرگ، احتمالاً متوجه شده‌اید که همه صفحات در وب‌سایت شما ایندکس نمی‌شود و بسیاری از صفحات هفته‌ها منتظر می‌مانند تا گوگل آنها را انتخاب کند و به کاربران نشان دهد.

عوامل مختلفی در این موضوع نقش دارند و بسیاری از آنها همان عواملی هستند که در مورد رتبه‌بندی در گوگل ذکر شده است. کیفیت محتوا و لینک‌ها دو عامل مهم در این کار هستند. گاهی اوقات، این عوامل نیز بسیار پیچیده و فنی می‌شوند. وب‌سایت‌های مدرن که به‌شدت به فناوری‌های جدید وب متکی هستند، درگذشته از مشکلات ایندکس شدن رنج می‌بردند، و برخی هنوز هم چنین هستند.

بسیاری از سئوکاران هنوز بر این باورند که این موارد جز موارد فنی است که گوگل را از ایندکس کردن محتوا بازمی‌دارد، هرچند که به نظر می‌آید که این ادعا چندان هم درست نباشد اما باید بگوییم که کاملاً درست است زیرا اگر شما سیگنال‌های فنی را مبنی بر اینکه می‌خواهید کدام صفحات ایندکس شوند ارسال نکنید یا اگر بودجه برای crawl کافی ندارید، ممکن است گوگل صفحات شما را ایندکس نکند، پس بسیار مهم است که کیفیت محتوای خود را بالا ببرید.

اکثر وب‌سایت‌ها، چه بزرگ و چه کوچک، دارای محتوای زیادی هستند که باید ایندکس شوند اما بعضی اوقات این‌طور نمی‌شود زیرا مواردی مانند کدهای جاوا اسکریپت ایندکس کردن را پیچیده‌تر می‌کند و وب‌سایت شما ممکن است دچار مشکلات ایندکس شدن شود حتی اگر با HTML نوشته شده باشد.

در این مقاله قصد داریم تا به برخی از رایج‌ترین مشکلات و نحوه کاهش‌دادن آنها برای ایندکس‌ شدن سریع در گوگل بپردازیم.

دلایلی که گوگل صفحات شما را ایندکس نمی‌کند:

با استفاده از ابزار جستجوگر ایندکس سفارشی، یک نمونه بزرگ از محبوب‌ترین فروشگاه‌های تجارت الکترونیک در ایالات متحده را برای مشکلات ایندکس بررسی کردیم و متوجه شدیم که به طور متوسط، ۱۵٪ از صفحات محصول ایندکس نشده‌اند و نمی‌توان آنها را در گوگل پیدا کرد.

این نتیجه بسیار تعجب آور بود. چیزی که باید بدانیم، این است که رایج‌ترین دلایلی که گوگل تصمیم می‌گیرد چیزی را که از نظر فنی باید ایندکس شود چیست. سرچ کنسول گوگل چندین وضعیت را برای صفحات فهرست نشده گزارش می‌کند، مانند «خزیده شده» در حال حاضر «فهرست نشده» یا «کشف شده» در حال حاضر «فهرست نشده».

اگرچه این اطلاعات به‌صراحت به حل مشکل کمک نمی‌کند اما نکات خوبی برای شروع است.

موارد مهم در ایندکس شدن

به طور مثال چند نمونه از وب‌سایت‌هایی که جمع‌آوری کردیم، مهم‌ترین مشکلات ایندکس شدن آنها که توسط Google Search Console گزارش شده است عبارت‌اند از:

۱. کرال شده اما هنوز ایندکس نشده است.

در این مورد، می‌توان گفت که گوگل از یک صفحه بازدید کرده است اما آن را ایندکس نکرده است.

بر اساس تجربه، این مورد به علت کیفیت پایین محتوا است. باتوجه‌به رونق تجارت الکترونیکی که در حال حاضر اتفاق افتاده است، می‌توانیم بگوییم که گوگلنسبت به کیفیت محتوا حساس‌تر شده است؛ بنابراین، اگر متوجه شدید که صفحات شما کرال شده است اما ایندکس نشده است، مطمئن شوید که محتوای آن صفحات خیلی خاص یا به عبارتی دیگر با کیفیت نیست.

از عناوین منحصربه‌فرد و توضیحات متناسب باهم در تمام صفحات قابل ایندکس شدن، استفاده کنید.
از کپی‌کردن توضیحات محصول از منابع خارجی خودداری کنید.
از محتوای تکراری به علت عدم ایجاد دو صفحه یکسان جلوگیری کنید.
با استفاده از فایل robots.txt یا تگ noindex، گوگل را از خزیدن یا ایندکس کردن بخش‌های بی‌کیفیت وب‌سایت خود منع کنید.

۲. کشف شده اما هنوز ایندکس نشده است.

این موضوع موردعلاقه من برای کار با آن است، زیرا می‌تواند همه چیز را از مشکلات خزیدن گرفته تا کیفیت ناکافی محتوا را در بر بگیرد. این مورد یک مشکل بزرگ به‌ویژه در مورد فروشگاه‌های بزرگ تجارت الکترونیک است و من دیده‌ام که این مسئله برای میلیون‌ها URL با یک وب‌سایت عالی انجام می‌شود.

معمولاً گوگل این دلایل را برای اینکه صفحات وب شما «کشف شده اما فعلاً ایندکس نشده است» عنوان کرده است:

مشکل بودجه خزیدن: ممکن است URLهای زیادی در صف خزیدن وجود داشته باشد و ممکن است بعداً خزیده و ایندکس شوند.
مشکل کیفیت: ممکن است گوگل فکر کند که برخی از صفحات در آن دامنه ارزش خزیدن ندارند و با جستجو در URL آنها تصمیم بگیرد که از آنها بازدید نکند.

مقابله با این مشکل نیاز به تخصص دارد. اگر متوجه شدید که صفحات شما «کشف شده‌اند ولی ایندکس نشده‌اند»، موارد زیر را انجام دهید:

مشخص کنید که آیا صفحات شما در این دسته قرار می‌گیرند یا خیر. شاید مشکل مربوط به دسته خاصی از محصولات باشد و کل دسته به‌ آن صفحه مرتبط نیست؟ یا شاید بخش عظیمی از صفحات محصول در صف منتظرند تا ایندکس شوند؟
بودجه خزیدن خود را بهینه کنید. روی مشاهده صفحات باکیفیت پایین تمرکز کنید که گوگل زمان زیادی را صرف خزیدن آنها می‌کند. این صفحات شامل دسته‌بندی‌های فیلتر شده و صفحات جستجوی داخلی هستند. این صفحات به‌راحتی می‌توانند به میلیون‌ها سایت دیگر برسند.
اگر Googlebot بتواند آزادانه در بین آنها بخزد، ممکن است منابع لازم برای دسترسی به مطالب ارزشمند در وب‌سایت شما که در گوگل ایندکس شده است را نداشته باشد.

۳. محتوای تکراری

این موضوع به طور گسترده توسط Moz SEO Learning Center پوشش داده شده است. در اینجا می‌خواهیم به این نکته اشاره کنیم که محتوای تکراری ممکن است به دلایل مختلفی ایجاد شود، مانند:

تغییرات زبان (به‌عنوان‌مثال زبان انگلیسی در بریتانیا، ایالات متحده، یا کانادا) اگر چندین نسخه از یک صفحه دارید که برای کشورهای مختلف در نظر گرفته‌اید، ممکن است برخی از این صفحات ایندکس نشده باشند.
محتوای تکراری که توسط رقبای شما استفاده می‌شود. این اتفاق معمولاً زمانی اتفاق می‌افتد که چندین وب‌سایت از همان توضیحات محصول ارائه‌شده توسط سازنده استفاده می‌کنند.

علاوه بر استفاده از rel=canonical، ریدایرکت کردن با صفحات ۳۰۱ یا ایجاد محتوای منحصربه‌فرد همه این موارد می‌تواند به شما کمک زیادی در ایندکس شدن کند. Fast-growing-trees.com یک مثال از این موارد است که به‌جای توضیحات و نکات خسته‌کننده در مورد کاشت و آبیاری، این وب‌سایت به شما اجازه می‌دهد تا سؤالات متداول دقیق برای بسیاری از محصولات را مشاهده کنید.

همچنین به‌راحتی می‌توانید بین محصولات مشابه مقایسه کنید.

برای بسیاری از محصولات، یک پرسش متداول ارائه می‌شود. همچنین هر مشتری می‌تواند یک سؤال مفصل درباره یک گیاه بپرسد و پاسخ آن را از افراد خبره اینکار دریافت کند.

چگونه وضعیت ایندکس شدن وب‌سایت خود را بررسی کنیم؟

با بازکردن گزارش Index Coverage report در Google Search Console می‌توانید به‌راحتی بررسی کنید که چند صفحه از وب‌سایت شما ایندکس نشده‌اند.

اولین چیزی که در اینجا باید به آن نگاه کنید این است که، چه تعداد صفحات حذف شده است. سپس سعی کنید یک الگو پیدا کنید که چه نوع صفحاتی ایندکس نمی‌شوند؟

اگر صاحب یک فروشگاه آنلاین هستید، به‌احتمال زیاد صفحات محصول فهرست نشده را خواهید دید. درحالی‌که این حالت همیشه باید یک علامت هشدار باشد اما نمی‌توانید انتظار داشته باشید که تمام صفحات محصول خود را ایندکس کنید، به‌خصوص با یک وب‌سایت بزرگ.

به‌عنوان‌مثال، یک فروشگاه بزرگ آنلاین مجبور است صفحات تکراری و محصولات منقضی یا خارج از انبار داشته باشد. این صفحات ممکن است فاقد کیفیت باشند که آنها را در صف ایندکس کردن گوگل قرار دهد (و این در صورتی است که گوگل در وهله اول تصمیم بگیرد این صفحات را بررسی کند).

علاوه بر این، وب‌سایت‌های بزرگ معمولاً با بودجه خزیدن مشکل دارند. من مواردی از فروشگاه‌های آنلاین را دیده‌ام که بیش از یک میلیون محصول دارند درحالی‌که ۹۰٪ از آنها به‌عنوان «کشف شده اما ایندکس نشده» طبقه‌بندی شده‌اند. اما اگر می‌بینید که صفحات مهم از فهرست گوگل حذف می‌شوند، باید به شدت نگران باشید.

چگونه ایندکس شدن صفحات را توسط گوگل افزایش دهیم؟

هر وب‌سایتی متفاوت است و ممکن است مشکلات ایندکس شدن متفاوتی داشته باشد. بااین‌حال، در اینجا برخی از بهترین روش‌هایی که به ایندکس شدن صفحات شما کمک می‌کند را عنوان کرده‌ایم:

۱. از صفحات ۴۰۴ شدن اجتناب کنید.

اطمینان حاصل کنید که صفحات شما حاوی چیزی نیست که به‌اشتباه صفحه ۴۰۴ را نشان دهد. این موارد شامل مواردی از استفاده از «یافت نشد» یا «در دسترس نیست» در کپی گرفته تا داشتن شماره «۴۰۴» در URL است.

۲. از لینک‌سازی داخلی استفاده کنید.

لینک داخلی یکی از سیگنال‌های کلیدی برای گوگل است که یک صفحه خاص وب‌سایت را مشخص می‌کند و شایسته ایندکس شدن است. هیچ صفحه‌ای را در ساختار وب‌سایت خود تنها نگذارید و به یاد داشته باشید که تمام صفحات قابل ایندکس شدن را در sitemap خود قرار دهید.

۳. یک استراتژی خزیدن صدا را اجرا کنید.

به گوگل اجازه ندهید که در وب‌سایت شما نفوذ کند. اگر منابع زیادی صرف خزیدن در بخش‌های کم‌ارزش دامنه شما می‌شود، ممکن است مدت زیادی طول بکشد تا گوگل به چیزهای خوب دسترسی پیدا کند. تجزیه‌وتحلیل گزارش سرور می‌تواند تصویر کاملی از آنچه که گوگل در آن خزیده به شما ارائه می‌دهد.

۴. محتوای بی‌کیفیت و تکراری را حذف کنید.

هر وب‌سایت بزرگ در نهایت به صفحاتی ختم می‌شود که نباید ایندکس شوند. مطمئن شوید که این صفحات به sitemap شما راه پیدا نمی‌کنند و در صورت لزوم از تگ noindex و فایل robots.txt استفاده کنید. اگر به گوگل اجازه دهید زمان زیادی را در بدترین قسمت‌های سایت شما صرف کند، ممکن است کیفیت کلی دامنه شما را نیز دست‌کم بگیرد.

۵. سیگنال‌های سئوی ثابت ارسال کنید.

یکی از نمونه‌های رایج ارسال سیگنال‌های سئو متناقض به گوگل، تغییر تگ‌های متعارف با جاوا اسکریپت است. هرگز نمی‌توانید مطمئن باشید که اگر یک تگ canonical در سورس کد HTML خود داشته باشید و یک تگ پس از رندر شدن جاوا اسکریپت، گوگل چه کاری انجام خواهد داد.

رشد سریع دنیای وب

در چند سال گذشته، گوگل جهش‌های عظیمی در پردازش جاوا اسکریپت انجام داده است و کار سئوکاران را آسان‌تر کرده است. این روزها کمتر وب‌سایت‌های با کدهای جاوا اسکریپت را می‌بینیم که ایندکس نشده‌اند.

اما آیا می‌توان انتظار داشت که در مورد مشکلات ایندکس کردن که به جاوا اسکریپت مربوط نمی‌شوند نیز همین اتفاق بیفتد؟ من این‌طور فکر نمی‌کنم.

اینترنت دائماً درحال‌رشد است. هر روز وب‌سایت‌های جدید ظاهر می‌شوند و وب‌سایت‌های موجود رشد می‌کنند.

آیا گوگل می‌تواند با این چالش مقابله کند؟

«گوگل تعداد محدودی از منابع دارد، بنابراین وقتی با تعداد تقریباً نامتناهی محتوایی که به‌صورت آنلاین در دسترس است مواجه می‌شویم، Googlebot می‌تواند تعدادی از آن محتوا را پیدا کرده و کرال کند و از محتوایی که خزیده است، فقط می‌تواند بخشی را فهرست کند».

به بیان دیگر، گوگل می‌تواند تنها بخشی از تمام صفحات وب را بازدید کند و آنها را فهرست کند. گوگل احتمالاً از تمام صفحات وب‌سایت شما بازدید نخواهد کرد اما وظیفه شما این است که مطمئن شوید گوگل می‌تواند صفحاتی را که برای کسب‌وکار شما ضروری هستند را کشف و ایندکس کند.

منبع :