Nastolatek Aresztowany Po Tym, Jak Sztuczna Inteligencja Monitorująca Szkołę Błędnie Zinterpretowała Dowcip W Sieci

13-letnia dziewczynka z Tennessee została aresztowana po tym, jak szkolny system AI źle zinterpretował jej żart zamieszczony online, co wywołało obawy dotyczące inwigilacji uczniów.

Lesley Mathis, matka dziewczyny, powiedziała, że komentarz nastolatki był „nie na miejscu”, ale nie stanowił prawdziwego zagrożenia. „Zaistniała sytuacja sprawiła, że zaczęłam się zastanawiać, czy to naprawdę Ameryka, w której żyjemy? A wszystko przez tę głupią, głupią technologię, która po prostu przeszukuje losowe słowa, nie zwracając uwagi na kontekst” – powiedziała Mathis, jak podaje Fortune, które jako pierwsze opisało tę historię.

Wcześniej tego dnia, jej przyjaciele zażartowali z jej opalenizny, nazywając ją „Meksykanką”, mimo że nią nie jest. Kiedy zapytano ją o plany na czwartek, odpowiedziała: „w czwartek zabijamy wszystkich Meksykan” w szkolnym czacie monitorowanym przez program o nazwie Gaggle.

Następnego ranka, została przesłuchana, poddana rewizji osobistej i przetrzymywana w areszcie przez noc. Sąd nakazał osiem tygodni aresztu domowego, badanie psychologiczne oraz dwadzieścia dni w alternatywnej szkole.

Szkoły na terenie całych Stanów Zjednoczonych obecnie korzystają z technologii AI do monitorowania komunikacji uczniów pod kątem oznak przemocy lub samookaleczenia. Systemy takie jak Gaggle i Lightspeed Alert działają w tysiącach dystryktów, ostrzegając personel szkolny i służby porządkowe. Niemniej jednak, mimo obietnic bezpieczeństwa, narzędzia do inwigilacji szkolnej oparte na AI wiążą się z istotnymi ryzykami.

AP zauważa, jak wrażliwe informacje o uczniach mogą być nieumyślnie ujawnione, jak to miało miejsce, gdy tysiące niechronionych dokumentów były dostępne online. Takie narzędzia mogą generować fałszywe alarmy, błędnie identyfikować zagrożenia lub odsłaniać tożsamość uczniów LGBTQ+, co podkopuje zaufanie między uczniami, rodzinami i nauczycielami.

AP podkreśla, że nadmierne inwigilowanie może wywoływać stres i ograniczać zdrową samowyrażalność, podczas gdy niejasne długoterminowe korzyści i poleganie na niewystarczających zasobach zdrowia psychicznego budzą obawy etyczne i dotyczące rozwoju.

Analiza alertów Gaggle w Kansas, opisana w innym wydaniu przez AP, wykazała, że prawie dwie trzecie incydentów to fałszywe alarmy, wywołane przez zadania domowe lub usunięcie zdjęć.

Studenci byli również zwracani uwagę za edycję esejów czy publikowanie żartów na prywatnych platformach, co pokazuje, jak nadzór AI może kryminalizować typowe nastoletnie zachowania.

„Ułatwiło to rutynowy dostęp i obecność organów ścigania w życiu uczniów, w tym także w ich domach” – powiedziała Elizabeth Laird, dyrektorka w Centrum Demokracji i Technologii, jak informuje Fortune.

Jeff Patterson, dyrektor generalny Gaggle, stwierdził, że szkoła w Tennessee niewłaściwie wykorzystała oprogramowanie. „Chciałabym, aby to było traktowane jako moment do nauki, a nie moment dla organów ścigania” – powiedział.

Studenci często nie zdają sobie sprawy, że prywatne wiadomości są monitorowane. “Jeśli dorosły na swoim komputerze opowiada bardzo rasistowski żart, który jest groźny, może go usunąć i nie zostanie aresztowany” – powiedziała Alexa Manganiotis, 16-letnia uczennica z Florydy.

Krytycy ostrzegają, że nadzór AI może traumatyzować dzieci. Sam Boyd z Southern Poverty Law Center stwierdził, że przymusowe oceny zdrowia psychicznego często wydają się „traumatyczne i szkodliwe”, jak podaje Fortune.

Rzeczywiście, AP zauważa, że szybkość i zasięg monitoringu AI mogą być zaskakujące. Żart na Snapchat o strzelaninach w szkole na Florydzie spowodował zarówno zaangażowanie FBI, jak i natychmiastowe aresztowanie, podczas gdy systemy ostrzegawcze Lightspeed wykryły usunięte wiadomości, co doprowadziło do szybkich interwencji szkolnych.

System ostrzegawczy Gaggle w hrabstwie Polk wygenerował setki alertów przez cztery lata, prowadząc do przymusowych ocen zdrowia psychicznego, które uczniowie później opisali agencji AP jako traumatyczne doświadczenia.

Samodzielnie w hrabstwie Polk, setki alertów Gaggle przez cztery lata spowodowały przymusowe oceny zdrowia psychicznego, niektóre z nich uczniowie opisali jako traumatyczne.

Dwa lata później, Mathis powiedziała, że stan jej córki uległ poprawie, ale nadal jest „przerażona” na myśl o spotkaniu z policjantami, którzy ją aresztowali. „To tak, jakbyśmy chcieli, aby dzieci były małymi żołnierzami, a takie nie są” – powiedziała. „Są po prostu ludźmi”.