گوگل اسناد خود را با اطلاعات جدیدی در مورد یک “خزنده مرموز” یا Mystery Crawler مورد استفاده گوگل که تا به امروز به طور گسترده شناخته نشده بود به روز کرد. گوگل فهرست خزنده‌های رسمی خود را با افزودن نام و اطلاعات یک خزنده نسبتاً ناشناخته که ناشران هرازگاهی آن را مشاهده می‌کردند، به‌روزرسانی کرد، اما قبلاً هیچ سندی برای آن وجود نداشت.

اگرچه گوگل اسناد رسمی را برای این خزنده اضافه کرده است، به نظر می رسد اطلاعات ارائه شده شفاف سازی بیشتری را ارائه می‌کند.

خزنده های مورد خاص

گوگل چندین نوع خزنده (همچنین به عنوان ربات و عنکبوت شناخته می شود) دارد.

اشکال مختلف خزنده ها عبارتند از:

خزنده های رایج

این ربات ها بیشتر برای نمایه سازی(ایندکس کردن) انواع مختلف محتوا استفاده می شوند. اما برخی از خزنده‌های متداول نیز برای ابزارهای تست جستجو، استفاده از تیم محصول داخلی گوگل و خزیدن مرتبط با هوش مصنوعی هستند.

واکشی که توسط کاربر راه اندازی شده است

اینها ربات هایی هستند که توسط کاربران راه اندازی می شوند. این شامل استفاده هایی مانند واکشی فیدها یا تأیید سایت می شود.

خزنده های مورد خاص

این موارد برای موارد خاص مانند بررسی کیفیت صفحه وب تبلیغات تلفن همراه یا پیام‌های اعلان فشار از طریق Google API هستند. این ربات‌ها از دستورالعمل‌های عامل کاربر جهانی در robots.txt که با علامت ستاره (*) نشان داده می‌شوند، اطاعت نمی‌کنند.

Google-Safety Crawler

اسناد موجود در خزنده‌های ویژه موارد خاص Google-Safety خزنده‌ای است که توسط فرآیندهای Google برای یافتن بدافزار استفاده می‌شود.

Google-Safety Crawler که در بین خزنده‌های خاص منحصر به فرد است، تمام دستورالعمل‌های robots.txt را کاملاً نادیده می‌گیرد.

اسناد جدید برای Google-Safety Crawler:

«نماینده کاربری Google-Safety خزیدن‌های مربوط به سوء استفاده را مدیریت می‌کند، مانند کشف بدافزار برای پیوندهای پست شده عمومی در دارایی‌های Google.

این عامل کاربر قوانین robots.txt را نادیده می گیرد.

رشته کامل عامل برای خزنده:

“Google-Safety”

اسناد جدید برای عامل کاربر Google-Safety را در صفحه جستجوی مرکزی Google برای خزنده ها در بخش اختصاص داده شده به خزنده های مورد خاص بخوانید.

منبع خبر