Robots.txt نمی تواند از دسترسی غیرمجاز جلوگیری کند!

گوگل تایید می کند که Robots.txt نمی تواند از دسترسی غیرمجاز جلوگیری کند!
گری ایلیس (کارشناس آنالایزر گوگل) تایید می کند که robots.txt از وب سایت ها در برابر دسترسی غیرمجاز محافظت نمی کند.

به گزارش گیکس پرس، Gary Illyes از گوگل یک مشاهده رایج را تأیید کرد که robots.txt کنترل محدودی بر دسترسی غیرمجاز توسط خزنده ها دارد. گری سپس مروری بر کنترل های دسترسی ارائه کرد که همه سئوکاران و صاحبان وب سایت باید بدانند.

تفکرات رایج درباره Robots.txt

در سطح کاربری عمومی و آماتور، خیلی ها بر این باور هستند که فایل robots.txt یعنی یک سد محکم غیر قابل نفوذ در برابر خزنده ها و کراولرها!
با این حال، به نظر می رسد هر زمان که موضوع Robots.txt مطرح می شود، کارشناسان امر همگی توافق دارند که این فایل، نمی تواند همه خزنده ها را مسدود کند.

گری با این نکته موافق است:

“robots.txt نمی تواند از دسترسی غیرمجاز به محتوا جلوگیری کند”. فکر نمی‌کنم کسی که با robots.txt آشنا باشد خلاف این را ادعا کرده باشد.

در مرحله بعد، او یک تجزیه و تحلیل در معنای واقعی مسدود کردن خزنده ها انجام داد. او فرآیند مسدود کردن خزنده ها را به عنوان انتخاب راه حلی توصیف کرد که به طور ذاتی کنترل یک وب سایت را کنترل می کند یا به آن واگذار می کند. او آن را به عنوان یک درخواست دسترسی (مرورگر یا خزنده) و پاسخگویی سرور به روش های مختلف عنوان میکند.

گری، نمونه هایی را برای دسترسی به شرح زیر عنوان می کند:

robots.txt (تصمیم گیری در مورد خزیدن یا عدم خزیدن را به خزنده واگذار می کند) 
فایروال ها (WAF یا فایروال های کاربردی وب – فایروال دسترسی را کنترل می کند)
حفاظت با رمز عبور

در اینجا سخنان او آمده است:

«اگر به مجوز دسترسی نیاز دارید، به چیزی نیاز دارید که درخواست کننده را احراز هویت کند و سپس دسترسی را کنترل کند. فایروال ها ممکن است احراز هویت را بر اساس IP انجام دهند، وب سرور شما بر اساس اعتبارنامه های SSL/TLS دسترسی میدهند، یا CMS شما بر اساس نام کاربری و رمز عبور، و سپس یک کوکی .

همیشه بخشی از اطلاعات وجود دارد که درخواست کننده به یک جزء شبکه منتقل می کند که به آن جزء اجازه می دهد درخواست کننده را شناسایی کند و دسترسی خود را به یک منبع کنترل کند.

robots.txt یا هر دستورالعمل میزبانی فایل دیگری برای این موضوع، تصمیم دسترسی به منبعی را به درخواست کننده می دهد که ممکن است آن چیزی نباشد که شما می خواهید.

robots.txt (یا سایر دستورالعمل‌های میزبانی فایل‌ها) را به‌عنوان شکلی از مجوز دسترسی در نظر نگیرید، از ابزارهای مناسب برای آن استفاده کنید.

جمع بندی : از ابزارهای مناسب برای کنترل ربات ها استفاده کنید

این یک هشدار برای وبمسترها می باشد. اگر در دسترسی دادن به ربات ها و خزنده ها، حساسیتی دارید، به هیچ عنوان فقط به فایل robots.txt اکتفا نکنید.
راه‌های زیادی برای مسدود کردن اسکراپرها، ربات‌های هکر، خزنده‌های جستجو، هوش مصنوعی و خزنده‌های جستجو وجود دارد.

جدا از مسدود کردن خزنده‌های جستجو، یک فایروال برای محدودیت دسترسی ها، گزینه مناسبی است زیرا آنها می‌توانند بر اساس رفتار (مانند نرخ خزیدن)، آدرس IP، کاربر عامل، و کشور و بسیاری از راه‌های دیگر مسدود شوند.

راه حل های معمولی می توانند در سطح سرور باشند مانند Fail2Ban، مبتنی بر cloud باشند مانند Cloudflare WAF یا به عنوان یک افزونه امنیتی وردپرس ،مانند Wordfence باشند.

منبع : توضیحات گری ایلیس در اینباره در حساب لینکدین