Γιατί το ChatGPT μπορεί να ξέρει τη διάγνωση αλλά να μη βοηθά τον ασθενή να τη βρει
Το δύσκολο σημείο της ιατρικής AI είναι ο άνθρωπος
Ένα εντυπωσιακό παράδοξο της ιατρικής τεχνητής νοημοσύνης κατέγραψε μελέτη στο Nature Medicine: άλλο να δώσεις σε ένα μοντέλο ένα σωστά διατυπωμένο περιστατικό και άλλο να ζητήσεις από έναν πραγματικό άνθρωπο να φτάσει στην ίδια απάντηση συνομιλώντας μαζί του.
Στη randomized μελέτη συμμετείχαν 1.298 άτομα στη Βρετανία και δοκιμάστηκαν GPT-4o, Llama 3 και Command R+. Μόνα τους, τα μοντέλα εντόπισαν σχετικές παθήσεις στο 94,9% των περιπτώσεων. Όταν όμως χρησιμοποιήθηκαν από ανθρώπους, το ποσοστό έπεσε κάτω από 34,5%. Στην επιλογή της κατάλληλης φροντίδας οι χρήστες έμειναν κάτω από 44,2%, χωρίς ουσιαστικό πλεονέκτημα έναντι της ομάδας ελέγχου.
Γιατί; Οι ερευνητές βρήκαν ότι οι χρήστες συχνά έδιναν ελλιπείς ή λανθασμένες πληροφορίες. Ταυτόχρονα, τα μοντέλα μπορούσαν να συνδυάζουν σωστές με προβληματικές συμβουλές ή να αλλάζουν αισθητά απάντηση ανάλογα με τη διατύπωση.
Το εύρημα δεν σημαίνει ότι «η AI είναι επικίνδυνη στην ιατρική». Δείχνει κάτι πιο συγκεκριμένο: υψηλές επιδόσεις σε ιατρικά τεστ δεν εγγυώνται ότι ένα chatbot θα καθοδηγήσει σωστά έναν ασθενή σε πραγματική αλληλεπίδραση.
