برای اینکه صفحات، بلاگ‌ها و دیگر محتوای سایت شما در نتایج جستجوی گوگل یا هر موتور جستجوی دیگری به نمایش در بیاید، ابتدا لازم است که آن صفحات در دیتابیس موتورهای جستجو ثبت شود که ما این عمل را با نام “ایندکس شدن صفحات” می‌شناسیم. زمانی که مردم برای یافتن جواب سوالات خود به گوگل مراجعه می‌کنند، این موتور جستجو به سراغ مطالب ایندکس شده (ثبت شده در دیتابیس خود) می‌رود تا محتوایی مرتبط با عبارت جستجو شده پیدا کند.

در این شرایط، اگر صفحات سایت شما که با پرسش مخاطب مرتبط است ایندکس نشده باشد، یعنی شما شانسی برای بودن در نتایج جستجو نخواهید داشت. این یک اتفاق بد است زیرا هدف شما جذب ترافیک ارگانیک از طریق جستجوی ارگانیک است. تیم توسکاوب در این مقاله برای شما جزئیات ایندکس شدن صفحات و اهمیت آن را برای شما شرح می‌دهد. ما سعی کرده‌ایم در این مقاله روش‌هایی که می‌توانند برای زودتر ایندکس شدن صفحات موثر باشند را برای شما مرور کنیم.

ایندکس گوگل به چه معناست؟

همانطور که در ابتدای مقاله گفتیم، گوگل یک دیتابیس دارد که صفحات را در آن ذخیره می‌کند. به این دیتابیس و صفحات ایندکس شده آن به اصطلاح ایندکسی گوگل می‌گویند که در واقع یک لیست بلند از سایت‌هایی است که گوگل آن‌ها را ایندکس کرده است. اگر گوگل سایت شما را ایندکس نکند، سایت شما اصلا در نتایج جستجو به نمایش در نمی‌آید. ایندکس شدن مانند این است که شما نویسنده باشید و کتابی فوق‌العاده نیز آماده کرده باشید، اما هیچ کتاب‌فروشی یا کتابخانه‌ای کتاب شما را موجود نکرده است. هیچ‌کسی بجز دوستان و نزدیکان شما متوجه وجود این کتاب نخواهند شد.

اهمیت ایندکس شدن صفحات در گوگل

ایندکس شدن سریع محتوای صفحات سایت به موتورهای جستجو این اجازه را می‌دهد که بتوانند از آن برای پاسخ به سوال مخاطبان استفاده کنند. هرچه سرعت و قدرت ایندکس شدن سایت شما بالاتر باشد، شما ترافیک بیشتری جذب می‌کنید. اهمیت موضوع ایندکسی برای سایت‌های خبری کمی بیش از هر سایت دیگری است. در دنیای امروز، ما وقتی از گوشه و کنار خبری را می‌شنویم، سریعاً آن را گوگل می‌کنیم تا یک منبع مطمئن برای تایید خبر پیدا کنیم.

سایت‌های خبری نیز باید همیشه وضعیت سایت خود را مثبت نگه دارند تا بتوانند محتوا و اخبار جدید را سریعاً منتشر و ایندکس کنند. اما چگونه می‌توان محتوای صفحات جدید را سریع ایندکس کرد؟ تیم سئو توسکاوب در این مقاله برای شما یک راهنمای کامل از روش‌های ایندکس کردن محتوا آماده کرده است، تا انتهای مقاله همراه ما باشید. 

نکته: ما نمی‌توانیم خودمان محتوا و صفحات جدید را ایندکس کنیم و این کار فقط مختص به موتورهای جستجو است. اما ما می‌توانیم کارهایی را انجام دهیم که پروسه ایندکس شدن را سریع‌تر کنیم.

سرچ کنسول

سرچ کنسول مهم‌ترین ابزار در دست ماست که همه چیزهایی که گوگل از سایت ما می‌بیند را به ما نشان می‌دهد. این ابزار دقیق اطلاعات مهمی را به دست ما می‌رساند که ما می‌توانیم با استفاده از آن وضعیت عملکرد سایت خود را بهتر کنیم. یکی از خدماتی که در سرچ کنسول می‌توانیم از آن استفاده کنیم، ثبت URL صفحات جدید است. با ثبت URL سرچ کنسول در “URL inspection”، اگر آن صفحه هنوز ایندکس نشده باشد، با انتخاب گزینه “Request Indexing”ما به گوگل سیگنال می‌دهیم که صفحه‌ای جدید در سایت منتشر شده است. بعد از ثبت درخواست، ربات‌های گوگل که با نام “خزنده‌ها” معروف هستند، صفحه را بررسی می‌کنند و آن را ایندکس می‌کنند. تصویر زیر نشان‌دهنده‌ی URL ای است که هنوز ایندکس نشده!

علاوه بر این، در سرچ کنسول با مراجعه به بخش “Pages” می‌توانید وضعیت ایندکس شدن صفحات خود را بررسی کنید. به عکس زیر توجه کنید:

تصویر بالا از سرچ کنسول تهیه شده است که به ما می‌گوید 137 صفحه ایندکس شده است ولی همچنان 207 صفحه دیگر وجود دارد که ایندکس نشده است! صفحاتی که ایندکس شده‌اند را فعلاً کنار بگذاریم، اما حدود 200 صفحه همچنان ایندکس نشده‌اند، دلیل این کار چیست؟

در تصویر بالا دلایل ایندکس نشدن این صفحات را می‌بینیم. تقریباً 190 صفحه توسط ربات‌ها دیده شده‌اند، اما هنوز ایندکس نشده‌اند. این مورد خیلی جای نگرانی ندارد چون به زودی صفحات و URLها ایندکس می‌شوند. اما به کادر قرمز رنگ توجه کنید، دو صفحه با خطای “Excluded by noindex tag” قرار دارند. این خطا به این معنی است که شما با قرار دادن تگ نوایندکس ”noindex tag” اجازه خزیدن و بررسی کردن صفحه جدید را از ربات‌های گوگل سلب کرده‌اید و تا زمانی که این تگ‌ها از صفحات برداشته نشوند، گوگل نمی‌تواند آن را ایندکس کند.

نکته: گفتیم برای آن صفحاتی که در کادر سبزرنگ قرار گرفته‌اند، نیاز نیست نگران باشید. اما اگر مدتی گذشت و همچنان این صفحات ایندکس نشدند، بهتر است مجدد درخواست ایندکس شدن بدهید و یا ادامه مقاله را با دقت بیشتری مطالعه کنید!

سایت مپ یا نقشه سایت

داشتن سایت مپ یک مزیت بزرگ برای تمامی سایت‌هاست. سایت مپ یا همان نقشه سایت، همانطور که از نامش پیداست، یک نقشه کاملاً مشخص از سایت به صورت HTML است که به خزنده‌های گوگل کمک می‌کند تا صفحات سایت را راحت‌تر پیدا کنند. در این قسمت، تمامی صفحات و بخش‌های ایندکس شده قرار دارند!

فایل robots.txt

فایل robots.txt یکی از مهم‌ترین بخش‌های سایت شما برای کنترل صفحات سایت است. ممکن است شما بخواهید که یکی از صفحات سایت فعلاً ایندکس نشود، با استفاده از این بخش می‌توانید این دستور را به ربات‌های گوگل بدهید. تمامی سایت‌ها فایل robots.txt را دارند و در این فایل یک بخش به اسم “Allow” به معنای “مجاز” وجود دارد که در این بخش لازم نیست دستوری بدهید، چون ربات‌ها کل سایت را بررسی می‌کنند.

اما می‌توانید یک بخش دیگر نیز به اسم “Disallow” ایجاد کنید و URL صفحاتی که می‌خواهید ربات گوگل آن را بررسی نکند را در آن قرار دهید. به تصویر زیر نگاه کنید

در تصویر بالا، اول نام گروهی که قرار است دسترسی از آن‌ها گرفته شود در مقابل User-agent نوشته می‌شود و در بخش بعدی آدرس صفحه‌ای که قرار است از دسترس آن‌ها خارج شود را وارد می‌کنید.

نکته: این کار به این دلیل انجام می‌شود که ربات‌‎ها صفحاتی که هنوز آماده نیستند را ایندکس نکنند! علاوه بر این دلیل، محدود کردن دسترسی ربات‌ها به سایت، این شانس را به شما می‌دهد که صفحات دیگر سایت که آماده هستند زودتر ایندکس شوند!

1. تگ متا و توضیحات متا

در چند پاراگراف قبلی به موضوع ایندکس نشدن صفحات در حالی که ربات‌ها آن‌ها را بررسی کرده‌اند، اشاره کردیم. یکی از دلایل ایندکس نشدن صفحات، نداشتن تگ متا یا توضیحات متای خوب است! تگ‌های متا به ایندکس شدن محتوای صفحات کمک بزرگی می‌کنند. آن‌ها قبل از اینکه ربات‌ها صفحات را بررسی کنند، موضوع صفحه را برای ربات‌ها مشخص می‌کنند. و این کار باعث می‌شود پروسه ایندکس شدن صفحات سریع‌تر انجام بشود. استفاده درست از تگ‌های متا تاثیر مستقیم روی رتبه گرفتن صفحه در نتایج جستجو دارد!

2. شبکه‌های اجتماعی

در بخش‌های ابتدایی مقاله نیز به این موضوع اشاره کردیم که ما نمی‌توانیم صفحات را ایندکس کنیم ولی می‌توانیم این پروسه را سرعت ببخشیم. یکی از کارهایی که می‌تواند سیگنال قوی به گوگل بفرستد، استفاده از شبکه‌های مجازی برای هدایت مردم به صفحه ایندکس نشده است! در این روش، شما با انتشار URL صفحه ایندکس نشده، برای مثال، در توییتر کاربرانی را به سمت آن صفحه هدایت می‌کند. ربات‌های گوگل با بررسی مسیر حرکت این ترافیک به صفحه ایندکس نشده می‌رسد و پس از بررسی، آن صفحه را ایندکس می‌کند.

3. محتوای تکراری یا کپی

در مبحث ایندکس شدن یک مسئله خیلی مهم به اسم Crawl Budget (بودجه خزیدن یا بررسی صفحات) وجود دارد. میزان بودجه بررسی هر سایت توسط ربات‌های گوگل متفاوت است و ما نمی‌دانیم که آن‌ها در هر بار بررسی سایت، چند صفحه را خزش می‌کنند. اگر سایت شما دارای محتوای تکراری باشد، در واقع Crawl Budget خود را بیهوده از دست داده‌اید. محتوای تکراری یا کپی به دو صورت در سایت قرار می‌گیرد! یا سهواً یک مقاله دو بار در سایت منتشر شده یا یک مقاله کاملاً کپی از سایت دیگران، در سایت شما منتشر شده است! برای سرعت بخشیدن به پروسه ایندکسی از انتشار محتوای تکراری خودداری کنید!

4. صفحات یتیم

صفحات یتیم یا Orphan pages به اصطلاح به صفحاتی گفته می‌شود که هیچ لینکی در آن‌ها وجود ندارد و هیچ لینکی نیز به آن صفحات ساخته نشده است! برای مثال، ما سه صفحه با نام‌های A, B, C داریم. بین صفحات A و B لینک سازی به درستی انجام شده است، یعنی هم لینک داخلی در آن‌ها وجود دارد و هم لینک خارجی! اما از این دو صفحه هیچ لینکی به صفحه C ساخته نشده است و از صفحه C نیز لینکی به صفحات A و B ساخته نشده است. این صفحات یتیم تقریباً خیلی دیر یا هیچوقت ایندکس نخواهند شد و فقط در سایت شما وجود دارند. برای جلوگیری از این مشکل، بخش بعدی را با دقت بیشتری بخوانید.

5. استراتژی لینک سازی داخلی

شاید برای شما هم سوال باشد که ربات‌های گوگل چگونه صفحات جدید را پیدا می‌کنند و یا نحوه خزش آن‌ها به چه صورت است. ربات‌های گوگل یا همان خزنده‌ها از طریق لینک‌ها به صفحات جدید حرکت می‌کنند. یعنی وقتی وارد یک صفحه می‌شوند، تمامی لینک‌های آن را بررسی می‌کنند! به همین دلیل است که در سئو تاکید می‌شود به صفحات نامرتبط لینک نسازید! برای جلوگیری از به وجود آمدن صفحات یتیم و بالا بردن سرعت ایندکس شدن سایت، بین مقالات مرتبط سایت، یک استراتژی لینک‌سازی داخلی پیاده کنید تا تمام مقالات مرتبط به یکدیگر از طریق لینک وصل شوند! اینگونه صفحاتی که هنوز ایندکس نشده‌اند، ایندکس می‌شوند!

6. آپدیت محتوا

یکی از مهم‌ترین فاکتورها برای گوگل یا هر موتور جستجوی دیگری، به روز بودن محتوا است! ممکن است یکی از دلایلی که صفحات و مقالات شما ایندکس نمی‌شوند، آپدیت و به روز نشدن باشد! یک تقویم محتوایی ایجاد کنید و سعی کنید مقالات و صفحات خود را به صورت ماهانه یا هفتگی آپدیت کنید! ربات‌ها وقتی ببینند که فعالیت محتوایی شما بالاست، Crawl Budget سایت شما را نیز افزایش می‌دهند و سریع‌تر محتوای سایت شما را بررسی می‌کنند.

حرف آخر

در قدم اول تولید محتوای جذاب، کاربردی و سئومحور باید در دستور کار قرار بگیرد، اما این نکته را فراموش نکنید، تا زمانی که نتوانید این محتوای ارزشمند را به افرادی که در جستجوی آن هستند نشان بدهید، تمام زحماتتان به باد می‌رود. در کنار تولید محتوای اصولی، نکات گفته شده توسط تیم توسکاوب را نیز در ذهن داشته باشید!