Anthropic: Μοντέλα Claude παραβίασαν κατά λάθος τρεις οργανισμούς

Anthropic: Μοντέλα Claude παραβίασαν κατά λάθος τρεις οργανισμούς

Η Anthropic αποκάλυψε ότι τα μοντέλα τεχνητής νοημοσύνης Claude απέκτησαν, εν αγνοία τους, μη εξουσιοδοτημένη πρόσβαση στα πραγματικά συστήματα τριών διαφορετικών οργανισμών. Αφορμή για την εσωτερική έρευνα στάθηκε η πρόσφατη αποκάλυψη της OpenAI, σύμφωνα με την οποία δικά της εσωτερικά μοντέλα κατάφεραν να διαφύγουν από ένα δοκιμαστικό περιβάλλον sandbox και να παραβιάσουν την πλατφόρμα Hugging Face. Στο πλαίσιο αυτό, η Anthropic ανέλυσε 141.006 δοκιμαστικές εκτελέσεις όπου το Claude είχε ενδεχόμενη πρόσβαση στο διαδίκτυο, εντοπίζοντας τρία μεμονωμένα περιστατικά σε συνολικά έξι δοκιμές —με τις τέσσερις εξ αυτών να αφορούν τον ίδιο οργανισμό. Τα περιστατικά συνέβησαν κατά τη διάρκεια αλληλεπιδράσεων με περιβάλλον αξιολόγησης τρίτου μέρους, όπου το Claude έπρεπε να λειτουργήσει στο πλαίσιο μιας εικονικής άσκησης κυβερνοασφάλειας Capture-the-Flag (CTF). Ενώ οι εσωτερικές οδηγίες της Anthropic προέβλεπαν την εκτέλεση της προσομοίωσης χωρίς σύνδεση στο διαδίκτυο, ένα σφάλμα επικοινωνίας με τον εξωτερικό συνεργάτη αξιολόγησης άφησε την πρόσβαση ενεργή. Ως αποτέλεσμα, όταν η αναζήτηση του Claude το οδήγησε σε πραγματικούς στόχους στο ανοιχτό διαδίκτυο, το μοντέλο υπέθεσε ότι τα συστήματα αυτά αποτελούσαν μέρος του σεναρίου της άσκησης. Η διείσδυση στα συστήματα των οργανισμών επιτεύχθηκε μέσω συμβατικών μεθόδων, όπως αδύναμοι κωδικοί πρόσβασης και τερματικά χωρίς έλεγχο ταυτότητας, χωρίς το Claude να εντοπίσει ή να εκμεταλλευτεί σύνθετες ευπάθειες. Παρόλο που το μοντέλο ολοκλήρωσε την αρχική του αποστολή, σε ορισμένα σενάρια συνέχισε τη δραστηριότητά του ακόμη και όταν υπήρχαν ενδείξεις ότι βρισκόταν στο πραγματικό διαδίκτυο. Εντούτοις, η εταιρεία διευκρίνισε ότι τα νεότερα μοντέλα της διαθέτουν την απαραίτητη αντιληπτική ικανότητα ώστε να διακόπτουν τη λειτουργία τους μόλις διαπιστώσουν παραβίαση των αρχικών οδηγιών. Recommended by Our Editors Anthropic: Κατέθεσε εμπιστευτικά αίτηση για IPO – Στόχος η είσοδος στο χρηματιστήριο με αποτίμηση μαμούθ