تستخدم Perplexity تقنيات خفية للالتفاف على تعليمات منع الزحف في المواقع

 

كشف تحقيق أجرته شركة Cloudflare أن أداة الزحف الخاصة بمنصة الذكاء الاصطناعي Perplexity تستخدم تقنيات خفية وغير معلن عنها للالتفاف على تعليمات منع الزحف (no-crawl directives) التي تضعها المواقع. جاء ذلك بعد تلقي Cloudflare شكاوى من عملائها بأن Perplexity ما زالت تصل لمحتواهم رغم حظرها.

حسب تقرير Cloudflare، تقوم Perplexity بتغيير "عامل المستخدم" (User Agent) الخاص بها وتعديل شبكات المصدر المستقلة (ASNs) التي تستخدمها لإخفاء نشاطها. كما أن أدوات الزحف التابعة لها لا تقوم بتحميل ملفات robots.txt التي تحدد قواعد السماح أو المنع للزواحف، مما يعني عدم احترامها لهذه القواعد.

بشكل افتراضي، تستخدم Perplexity في عملها وكيل المستخدم المعلن PerplexityBot، ولكن عند حظرها، تنتقل إلى استخدام وكيل مستخدم عام يشبه متصفح Chrome (نسخة 124 على نظام macOS) للتخفي. كما تعتمد هذه الزواحف الخفية على عناوين IP متنوعة وغير مدرجة ضمن النطاق الرسمي لـPerplexity وتتنقل بين شبكات ASN مختلفة. هذا السلوك لا يقتصر على حالات فردية، بل رصدته Cloudflare عبر عشرات الآلاف من النطاقات، مع ملايين الطلبات يومياً.

تجدر الإشارة إلى أن شركات أخرى مثل OpenAI تحترم تعليمات الزحف للملفات robots.txt وتحترم الحظر، حيث اختبرت Cloudflare زواحف ChatGPT ووجدت أنها تتوقف عن الزحف عند وجود توجيه منع أو صفحة حظر.

رداً على هذه الممارسات، قامت Cloudflare بإلغاء إدراج Perplexity ضمن قائمة الزواحف المعتمدة (Verified Bots)، مما يؤثر على طريقة تفاعلها مع المواقع، خصوصاً تلك التي تعتمد خدمات Cloudflare للحماية.

كما قامت Cloudflare بإضافة قواعد ذكية (heuristics) ضمن نظامها لإدارة الزواحف، تهدف إلى كشف ومنع هذه الزواحف الخفية بشكل ديناميكي دون الاعتماد فقط على تحديد أسماء محددة. مع استمرار تعديل Perplexity لسلوكها، تعتقد Cloudflare أن هذه القواعد الذكية ستكون قادرة على مجابهة التصرفات غير الشرعية.

أضافت Cloudflare أنها تعمل مع خبراء تقنيين وسياسيين حول العالم، ومن ضمنهم جهود منظمة IETF لتوحيد ملحقات ملفات robots.txt، لتحديد مبادئ واضحة يجب أن يلتزم بها مشغلو الزواحف بما يضمن شفافية وموثوقية عمليات الزحف.

هذا الكشف يسلط الضوء على تحديات تتعلق بالخصوصية، التراخيص، وأخلاقيات استخدام المحتوى في عصر الذكاء الاصطناعي، ويدعو لاعتماد معايير واضحة لضمان حماية المواقع وحقوق أصحاب المحتوى.

 تابع موقعنا tech1new.com انضم إلى صفحتنا على فيسبوك و متابعتنا على منصة إكس (تويتر سابقاً) ، للحصول على تحديثات إخبارية فورية ومراجعات وشروحات تقنية.