学校让AI监视可能考虑自杀的孩子。但这带来什么代价?

(SeaPRwire) –   自杀现在是美国10到14岁青少年之间的主要死亡原因。青少年自杀问题最近进一步恶化,部分原因是精神卫生专业人员短缺,特别是在乡村地区,如果有提供,校内心理学家、辅导员或社工可以帮助识别高风险青少年,并采取适当措施。

作为补救措施,面临着巨大的资金和人员短缺挑战的校长越来越多地寻求技术来帮助他们应对青少年自杀危机。具体来说,诸如Bark、Gaggle、GoGuardian和Securly等公司开发了一种软件技术,它可以跟踪学生使用学校发放的计算机设备和帐户的活动,以识别面临心理健康挑战的学生。它可以在后台运行,扫描可能表明自杀风险的活动。

这种监测软件正在全国各地广泛使用,涵盖了数百万学生。但是许多家长和社区成员都不知道它的存在。学生可能有些意识到他们的学校设备被监视,但很可能对如何使用它了解有限。即使识别自杀风险可能是一个值得追求的目标,AI监视也可能成为隐私的重大侵犯,同时也可能带来其他未预料的危害。

作为研究不平等、心理健康和技术政策领域的工作的研究人员,我们采访了学校工作人员,以更好地了解这种软件的优点和风险。一位校长告诉我们,这种监测软件可以识别学校工作人员之前可能未注意到的高风险学生,为他们提供机会在情况恶化前进行干预。

我们是研究人员,但我们每个人都也是家长,这种自杀风险检测的额外安全层似乎一开始就很理所当然。失去孩子的想法是可怕的,所以学校采取这种看似低成本的工具来“发现”学生通过谷歌搜索栏不会告诉任何人以外的自杀相关思想,这是完全可以理解的。

但是问题是,除了一些个案外,这种软件的准确性缺乏坚实的证据,历史上也有许多以精神健康干预为目的的好意举措造成了伤害。同样,日益明显的是,新兴技术也会对青少年心理健康产生一系列影响。

通过对现有证据的仔细审查,以及与数十名学校工作人员、家长和其他人的采访,我们发现基于AI的监测远非解决持续增长的青少年自杀问题的解决方案,反而可能产生更多问题。

首先,AI监测威胁到学生隐私。因为软件在学生使用学校发放的计算机设备和帐户时运行,它有可能收集大量有关他们生活的数据。虽然一些公司已采取措施保护学生数据,但没有国家法规限制收集的数据类型以及如何存储和是否共享。

此外,家庭可能很难选择不使用这种软件。我们发现,在许多学区,家庭必须同意使用AI监测,才能使用学校发放的计算机进行学习。如果家庭选择不监测,他们必须提供自己的电脑上学,这对许多家庭来说成本不菲。

其次,我们的研究显示,许多家长和研究人员担心使用基于AI算法识别高风险学生可能会加剧不平等。例如,有报告称LGBTQ+学生的互联网搜索活动被AI软件以不成比例高的比率标记。然后他们的活动可能会引起学校工作人员的注意,非自愿地“出柜”这些学生。

算法预测自杀风险可能会针对少数群体产生偏差的潜在风险在其他研究中已经得到证实。尽管许多人声称这些算法可以校准,但由于无法透明地了解AI警报如何和何时生成,很难审计数据来更好地理解是否存在偏差。2023年的另一项研究进一步关注了AI监测学生软件生成的警报,发现这些程序一直在标记与种族、性别和性取向有关的内容,包括有关马尔科姆·X和华盛顿同性恋男声合唱团的搜索主题。

最后,虽然AI软件生成警报,但学校必须决定如何响应警报。通过我们的采访,我们了解到AI监测生成的警报曾被用于惩戒学生。例如,我们了解到一名教师告诉我们,一个正面临心理健康挑战的学生因AI监测而被学校暂停学业,而不是与辅导员或其他心理健康专业人员会面。

更糟糕的是,AI监测可能导致学生和执法机关的接触增加。例如,我们发现,在周末和校假期,当没有工作人员审查信息时,许多学校会自动将AI生成的自杀风险警报转发给当地执法部门。从学校的角度来看,这样做通常是确保需要帮助的学生能够立即获得帮助的最好方式。但执法部门可能不太适合帮助需要支持的学生,甚至可能会……这在其他案例中已经出现,当警察被叫来协助心理健康危机时;与执法人员接触的风险是真实的——特别是对色人种青少年——这一点在权衡这些工具的利弊时必须考虑。

一些我们采访的人也指出,这种软件有可能加剧学校纪律不平等。例如,我们知道,相比其他种族,少数族裔学生面临的学校纪律处分,如暂停学业或开除学籍的比例更高,这与种族歧视有关。AI软件生成的警报可能会加剧这种不平等,增加学生与执法机关接触的可能性。

总体来说,这些工具是否能准确检测学生自杀风险还不清楚。到目前为止,还没有研究跟踪这些程序标记为“自杀风险高”的学生,看他们是否真的面临风险(“真正阳性”)或不是(“假阳性”);也没有研究看这些程序是否未标记实际面临自杀风险的学生(“假阴性”)。学校和执法机关对这些警报的响应以及最终学生结果,如是否获得医疗保健或心理保健等,也没有记录。由于缺乏证据,目前无法清楚地判断这种软件的利大于风险。

家长、学生、学校工作人员和健康专业人员必须仔细权衡AI监测的潜在利弊。尽管它可能是学校在日益严重的青少年心理健康危机中一个重要资源,但这种技术的实际利弊,包括是否能准确检测自杀风险,目前还不清楚。

与此同时,随着学区将预算用于部署自杀风险检测AI工具,重要的是要认识到其已知问题。这种软件提出了重要的隐私问题,并可能加剧现有不平等。因此,AI公司和学校必须确保家庭获得关于软件使用的全面信息。家庭也应该能够在不受惩处的情况下选择不监测。此外,还需要在联邦、州和地方层面实施更多法规,以确保采取措施保护。