Il Senate Bill dello Stato della California guarda da vicino alle interazioni tra utente e companion chatbots e si propone, imponendo una serie di obblighi agli sviluppatori, di prevenirne, gestirne e risolverne gli esiti più tragici che si sono verificati sempre più frequentemente nell’ultimo periodo in relazione all'utilizzo di questi sistemi di intelligenza artificiale (IA).
SB-243 14 ottobre 2025 California: regole sullo sviluppo e l'utilizzo dei Companion chatbots
14 ottobre 2025
La legge della California si pone l’obiettivo di regolare le capacità mimetiche e persuasive dei cosiddetti “companion chatbots”, sistemi di IA (art. 22601 lett. a)) con sembianze antropomorfiche, addestrati a rispondere tenendo conto, come farebbe un umano, del contesto in cui vengono usate (art. 22601 lett. b)) e che hanno reso frequentissimo quel fenomeno per cui molte persone pensano, interagendovi, di avere a che fare con un essere umano e non con un’IA.
La disciplina non si rivolge direttamente agli “users”, ma impone a chi renda disponibile un “companion chatbot” (il c.d. “operator”), una serie di obblighi, il cui rispetto garantirà (ma solo indirettamente) la tutela degli utenti. A questi ultimi, sono infatti riconosciuti dei rimedi legali, specifici ed ulteriori rispetto a quelli già previsti dalle leggi precedenti che non vengono derogate da quest’ultima (art. 22606). In particolare, subìto un danno (“injury”) derivante dalla violazione di questi obblighi, gli utenti potranno domandare la condanna dell’operator: a un risarcimento pari al maggior danno subito o a mille dollari per la violazione (se il danno sia difficile da provare nel quantum), al pagamento delle somme tramite “injuncitve relief” ed al risarcimento delle spese legali (art. 22605).
Per quanto riguarda gli obblighi previsti dalla legge della California, in primo luogo, è fatto divieto a tutti gli operator di far operare il proprio “companion chatbot” in assenza di uno specifico protocollo, da pubblicare sul relativo sito web, per la prevenzione (ex ante) di pensieri suicidi o autolesionisti e per l’implementazione di misure (ex post) capaci di evitarne la concretizzazione (art. 22602 lett.b)). Questa disposizione deve, inoltre, leggersi in combinato disposto con il successivo art. 22603 che impone di segnalare all’Office of Suicide Prevention non solo il numero di volte in cui si è fatto ricorso alle misure di cui sopra, ma anche i protocolli per rilevare, rimuovere e risolvere la situazione di crisi dell’utente, nonché quelli che impediscano al chatbot di dare risposte in merito a questi temi
Il Senate bill, poi, detta degli obblighi specifici, rispetto a situazioni considerate speciali. La prima (art. 22602 lett. a)) fa riferimento alle capacità di mimesi dei sistemi di IA, per cui si impone di dare una comunicazione in modo chiaro e specifico (“clear and conspicious”) che il bot è prodotto dall’IA, ma unicamente a quegli operators che mettano in circolazione un “companion chatbot” capace di far credere all’utente “reasonable” di star interagendo con un essere umano.
L’altra situazione di specialità riguarda l’utilizzo dei chatbot da parte di utenti che l’operator sa essere minori. L’art. 22602 lett. c)impone al fornitore di dichiarare all’utente che si sta interfacciando con il sistema di IA, di notificargli, in modo “clear and conspiciuous” e almeno ogni tre ore, che il bot non è umano, di fare una pausa nel suo utilizzo e, infine, di istituire le misure necessarie per prevenire la diffusione di contenuti sessualmente espliciti forniti (o richiesti) dal bot al minore.
Infine la Section 2 del Senate Bill stabilisce che le disposizioni della legge siano “severable”, caratterizzate, quindi, da una permanente validità, anche in caso di dichiarazione di invalidità di alcune parti della normativa.
Il testo della legge è disponibile al seguente link e nel box download.