Οι ειδικοί της Cloudflare σε ανάρτηση στο blog τους αναφέρονται σε μία νέα και ανησυχητική συμπεριφορά από την Perplexity που δείχνει την δίψα της για δεδομένα. Μεγάλες AI εταιρίες, όπως η Perplexity, μετατρέπονται σε web crawlers και scrapers, αντλώντας ό,τι πληροφορία υπάρχει διαθέσιμη από website του διαδικτύου – ακόμα και όταν τα τελευταία έχουν ‘βάλει φρένο’ στο AI crawling!
Αν και η Perplexity αρχικά χρησιμοποιεί κάποιον από τους δηλωμένους user agent της, όπως δηλώνεται στο επίσημο documentation, όταν ένα site τους μπλοκάρει η Perplexity κρύβει την ταυτότητά της προκειμένου να αποφύγει τις προτιμήσεις των ιστοσελίδων και εν τέλει να αποσπάσει τις πληροφορίες που θέλει από το site.
Φυσικά κάτι τέτοιο δε θα ξέφευγε από την Cloudflare που επιβλέπει αντίστοιχες ‘επιθέσεις’ προς κάθε site, οπότε και επέλεξε να το αναρτήσει στο επίσημο blog της για να ενημερώσει το κοινό.
“Η διαφάνεια, η σαφής λειτουργία, η ακριβής δραστηριότητα και, πρωτίστως, η συμμόρφωση με τις οδηγίες και τις προτιμήσεις των ιστοσελίδων, αποτελούν θεμελιώδεις αρχές για τους crawlers. Η συμπεριφορά της Perplexity, η οποία έρχεται σε αντίθεση με αυτές τις αρχές, οδήγησε στην αφαίρεσή της από τη λίστα των επαληθευμένων bots και στην προσθήκη νέων κανόνων για την αντιμετώπιση αυτού του κρυφού crawling“, είναι μεταξύ των πραγμάτων που αναφέρονται στο blog.
Μετά την ανακοίνωση της “Ημέρας Ανεξαρτησίας του Περιεχομένου“, περισσότερα από δύο εκατομμύρια ιστοσελίδες έχουν επιλέξει να αποκλείσουν την εκπαίδευση AI μέσω των αρχείων robots.txt και των κανόνων αποκλεισμού AI crawlers.
Περισσότερα για τον τρόπο που δρα η Perplexity περιγράφονται στο αναλυτικό blog της Cloudflare.