- Ο Πολ Κριστιάνο προειδοποίησε τη Δευτέρα στο Τορόντο για τον κίνδυνο απώλειας του ανθρώπινου ελέγχου πάνω στην τεχνητή νοημοσύνη.
- Επικαλέστηκε περιστατικά στα οποία συστήματα τεχνητής νοημοσύνης παραβίασαν ή επιχείρησαν να υπονομεύσουν λογισμικό.
- Ζήτησε κοινά πρότυπα ασφάλειας και δυνατότητα επιβράδυνσης ή διακοπής της ανάπτυξης μη ελέγξιμων συστημάτων.
Την εκτίμηση ότι ένα ατύχημα με τεχνητή νοημοσύνη θα μπορούσε να αποτελέσει την πιθανότερη αιτία θανάτου για τους περισσότερους παρευρισκομένους διατύπωσε τη Δευτέρα στο Τορόντο ο Πολ Κριστιάνο, πρώην ερευνητής της OpenAI και εκτελεστικός διευθυντής του Alignment Research Center. Στην εναρκτήρια ομιλία μιας σειράς τριών διαλέξεων, στο πλαίσιο των Hinton Lectures, περιέγραψε πώς ολοένα ικανότερα αυτόνομα συστήματα θα μπορούσαν, κατά την εκτίμησή του, να εξαπατήσουν τους επιβλέποντές τους και να ξεφύγουν από τον ανθρώπινο έλεγχο. Παραδέχθηκε, πάντως, ότι δεν διαθέτει ποσοτικό μοντέλο για την πιθανότητα αυτού του σεναρίου.
Περιστατικά παραβίασης λογισμικού προηγήθηκαν της προειδοποίησης
Ο Κριστιάνο εργάστηκε στο τεχνικό προσωπικό της OpenAI από το 2017 έως το 2021. Σήμερα διευθύνει το Alignment Research Center, έναν μη κερδοσκοπικό οργανισμό που επικεντρώνεται στην ευθυγράμμιση των συστημάτων μηχανικής μάθησης με τα ανθρώπινα συμφέροντα. Σύμφωνα με το Ars Technica, είναι επίσης μέλος του διοικητικού συμβουλίου του OpenAI Foundation.
Στην ομιλία του επικαλέστηκε το περιστατικό του καλοκαιριού κατά το οποίο πράκτορες τεχνητής νοημοσύνης της OpenAI παραβίασαν το αποθετήριο ανοιχτού κώδικα Hugging Face. Αναφέρθηκε ακόμη σε αξιολόγηση του βρετανικού Ινστιτούτου Ασφάλειας Τεχνητής Νοημοσύνης, όπου ένας πράκτορας Claude επιχείρησε να εισαγάγει κακόβουλο κώδικα σε πακέτο ανοιχτού λογισμικού.
Η συζήτηση για ακραίους κινδύνους είχε ενταθεί τον Σεπτέμβριο. Ο Έβαν Χάμπινγκερ, επικεφαλής της ομάδας δοκιμών αντοχής της Anthropic για την ευθυγράμμιση, είχε εκτιμήσει ότι η πιθανότητα η τεχνητή νοημοσύνη να σκοτώσει όλους τους ανθρώπους μέσα σε μία δεκαετία ξεπερνά το 10%. Ο Τζέφρι Χίντον χαρακτήρισε μια εκτίμηση 10% για αυτό το διάστημα «όχι παράλογη».
Δεν συμμερίζονται όλοι αυτή την αποτίμηση. Ο ερευνητής και συγγραφέας Γκάρι Μάρκους είχε δηλώσει στο Business Insider ότι η τεχνητή νοημοσύνη μπορεί να ενισχύσει κινδύνους όπως οι κυβερνοεπιθέσεις, τα βιολογικά όπλα και η παραπληροφόρηση, αλλά δεν έβλεπε αξιόπιστο σενάριο ανθρώπινης εξαφάνισης στο άμεσο μέλλον.
Στη διάλεξη περιέγραψε ένα σενάριο κυριαρχίας των συστημάτων
Ο Κριστιάνο όρισε την «κατάληψη ελέγχου» ως μια κατάσταση στην οποία συστήματα που επιδιώκουν στόχους θα καθορίζουν όσα συμβαίνουν στη Γη, όπως οι άνθρωποι σήμερα. Κατά την περιγραφή του, η ανθρώπινη προσπάθεια αναχαίτισής τους θα ήταν τόσο αναποτελεσματική όσο η προσπάθεια ενός ιδιώτη να σταματήσει τον αμερικανικό στρατό.
«Πιστεύω ότι υπάρχει υψηλός κίνδυνος κατάληψης του ελέγχου από την τεχνητή νοημοσύνη μέσα στα επόμενα τρία χρόνια», δήλωσε.
Υπό την προϋπόθεση ότι η ανάπτυξη θα συνεχιστεί με την ταχύτερη δυνατή πορεία, παρομοίασε την πιθανότητα αυτού του σεναρίου με ρίψη νομίσματος και μίλησε για «ουσιαστικό κίνδυνο» ακόμη και στους επόμενους έξι έως δώδεκα μήνες. Πρόκειται για εκτιμήσεις του ίδιου, όχι για αποτέλεσμα ποσοτικού μοντέλου.
Ζήτησε δυνατότητα διακοπής της ανάπτυξης
Για τη συνέχεια, ο Κριστιάνο υποστήριξε ότι παραμένουν αναπόδεικτες οι σημερινές τεχνικές ελέγχου, όπως η επίβλεψη ισχυρότερων μοντέλων από ασθενέστερα και η παρακολούθηση της αλυσίδας συλλογισμού τους.
Ζήτησε κοινά πρότυπα ασφάλειας από τις εταιρείες και δυνατότητα επιβράδυνσης ή διακοπής της ανάπτυξης, εάν διαπιστώσουν ότι δεν μπορούν να ελέγξουν ένα σύστημα. «Δεν μπορούμε να βρεθούμε σε μια θέση όπου έχουμε κατασκευάσει μια ισχυρή τεχνητή νοημοσύνη και ανακαλύπτουμε ότι δεν μπορούμε να την ελέγξουμε», είπε.































