中国青年网北京9月12日电(记者 杨月 通讯员 赵一飞)2023年6月29日凌晨3点30分,快手平台生命守护小组(以下简称“守护小组”)成员何瑷琪接到平台人工智能系统预警,一位女性用户在直播间内饮酒后割腕,平台迅速将直播间关闭,何瑷琪则立即联系用户所在地警方对其实施救助。因为救助及时,那位用户已无大碍。
在9月10日“世界预防自杀日”之际,互联网上的轻生、自残行为再次引发公众的关注。这个由世界卫生组织和国际预防自杀协会设立的日子旨在帮助公众了解诱发轻生行为的危险因素,增强人们对不良生活事件的应对能力,预防轻生行为。
据了解,目前一些互联网平台普遍采用“AI+人工”的模式,利用AI等技术识别、发现轻生、自残等涉人身安全的风险,并通过人工在线干预挽救有轻生倾向的人,以此减少互联网上的此类行为。
AI识别直播画面中的自残行为
摇摇晃晃的直播画面,若隐若现的河流,伴着持续已久的压抑气氛……2022年10月某一天凌晨2点多的一场直播,让“网络生命守护师”苏原的心中生出了一种不祥的预感。
那是一位年轻的女性用户。在此前的直播中,女子因为失恋,情绪低落,甚至拿出利器割自己的手。这次轻微而短暂的自残行为被系统识别了出来,直播被立即拉停,随后系统将预警信息推送给了干预小组。
技术对这类高危行为的识别能力,为平台企业开展干预提供了助力。苏原说,普通用户很难注意到女子的首次自残行为,但是一晃而过的血迹却被系统识别出来了,随后做出预警。
据了解,快手建立了轻生自残等风险画面、文字样本库,利用AI技术,通过大规模机器学习训练,识别并发现平台上的内容风险,并将风险预警推送给生命守护小组。但是,受限于技术识别的精准度和轻生场景的复杂性、突发性,跨越网络的“隔空”轻生干预注定不可能是完美的。
2021年12月的一天凌晨,正在值班的苏原接到一条涉人身安全的预警信息,他紧盯着直播画面,密切关注着一位女子的动态。女子先是在室内直播,跟网友互动,讲述自己的经历,随后走出门外,边走边直播,画面很不稳定。
“气氛很怪异,但一切看起来没有明显的风险点。”苏原回忆说,当时他心里一直在揣测女子的下一步准备做什么。“她可能去找朋友倾诉,也可能自寻短见。”苏原不确定事情会不会往好的方向去发展,且担心深夜女子一个人在大街上走不安全,所以他决定继续观察。
根据作品内容、评论等互动内容、直播内容,“网络生命守护师”有一套报警标准,他们会综合判断该预警信息的风险,达到报警标准的,会立即报警,请警方出面对用户的轻生、自残行为进行干预。
快手生命守护小组组长介绍说,对未达到报警标准的,他们会联系用户沟通安抚,对经判断无风险的,会将该用户纳入观察期,一旦发现风险也会立即报警。
就在苏原进行分析研判的时候,情况急转直下。突然间,直播画面剧烈地晃动了几下,随后一片黑暗,画面静止了。
“我的天!这么突然吗?”千里之外的苏原被突如其来的一幕震惊了。他在晃动的画面里看到了树木在河流中的倒影,他推测,女子可能丢下手机,跳河了。
苏原迅速查看账号的公开IP地址等信息,向警方报警,并根据警方询问,提供了更详细信息,警方迅速确定了事发位置并出警处置。遗憾的是,警方后来回复说,那个女子已经去世了。
“网络生命守护师”练就了一双侦探一般的眼睛
这次未来得及救助的案例,令苏原和整个团队懊悔不已。很长一段时间里,苏原在值班时会有点犹豫:要不要放宽一下报警标准?会不会又像上次那样突然出现来不及救助的意外?
这是一个持续优化的环节。苏原的同事曹受君说,报警就意味着警方要出警,因此,他们首要的是根据团队所积累的经验,对风险进行综合分析和判断,提高报警的准确率。
快手平台的干预标准和机制要求值班人员在10分钟内完成分析研判和报警。这就要求值班人员在短时间内掌握尽可能多的信息以作出判断,在此过程中,苏原练就了一双侦探一般的眼睛。
2023年3月的一个晚上,一名用户将一张手腕流血的图片发给了平台客服,留言说:“我怀疑这个人可能自残了,你们赶快查查她的信息报警,我们只是网友,不知道对方的信息。”
收到平台客服的预警信息后,苏原迅速在该用户日常发布的内容上来寻找可能留下个人信息的蛛丝马迹。“通常我会去查找用户发布的视频中有无标志性背景,有没有发过病例、就诊单等内容。”
在女子公开发布的内容当中,一张在医院拍摄的封面照片引起了苏原的注意,在翻看时苏原还发现了一张就诊单,虽然就诊单上的个人信息被马赛克遮住了,但是却留下了医生的姓名和医院的相关信息。在另一个作品中,用户晒的一张物流截图,显示了她所在的城市。
在综合考虑用户风险的情况下,苏原决定向110报警,他将搜寻到的上述信息提供给了警方。警方很快就找到了当事人,最终这名女子没有生命危险。
在另一个案例中,一个情绪激动的小伙子在直播中拿出了菜刀自残。在迅速拉停了这场直播之后,苏原开始检索用户的位置。十分巧合的是,用户所在的地方正是苏原兰州老家的附近,画面中出现的加油站正是苏原爸爸经常加油的那家。
于是,苏原迅速而精准地向当地警方提供了位置信息。警方及时干预,制止了一场可能发生的悲剧。当地警方也在回访电话中对苏原进行了表扬。
“这份工作让我更有同理心了”
数据显示,目前生命守护小组成员平均完成一个干预案例的时间在6分钟左右。
这是一个与死神赛跑的过程。曹受君说,这就需要值班人员既能把握好干预的标准,也要根据具体情况及时做出应对。对于一些达不到报警标准的案例,团队成员也会与用户直接沟通,降低用户做出过激行为的可能性。
而各式各样的轻生动机,考验着这群90后“网络生命守护师”的应对能力。
苏原刚入职时,觉得自己的沟通技巧还不够,就去找同事们跟用户沟通的录音来听,从中学习沟通技巧。整个团队则每周都要在例会上对案例进行复盘,总结经验教训。
曹受君说,团队成员需要有较强的风险识别能力、沟通能力,以及心理学专业的知识支撑。她举例说,对用户的某些行为,要判断是真轻生还是开玩笑、威胁性的,这些不仅是心理学的,还要对生活有一定的理解。
26岁的“网络生命守护师”黄蓉总结说,年轻的男生、女生出现轻生、自残的情况,大多和爱情经历、父母矛盾有关,而到了中年,离婚、外遇、经济压力、生活挫折等问题常常成为一些人选择轻生、自残的普遍因素。
有一次接到一条用户自残的系统预警消息,黄蓉被用户突然间砍下自己手指的过激行为吓了一大跳。她马上根据账户信息向当地警方报警求助,所幸警察赶到后将他及时送医,手指也接上了。
回想起那个用户的冲动行为,26岁的黄蓉至今感到后怕。她说,那位大哥是一时情绪上头了,太冲动了,如果没有及时送医,他一定会后悔的。
“看了很难过。”黄蓉说,从事这份工作之前,这些事儿大都在新闻上才看到,而现在自己工作中就频繁接触到,对自己的冲击挺大的。这样的事接触多了,她就时常提醒自己,要对用户和身边的亲人、朋友更有同理心。
轻生者的直播其实是在求救
同济大学附属精神卫生中心特聘教授、“树洞计划”发起人黄智生认为,轻生者在直播中或在社交媒体内容页上发布带有轻生倾向的信息,实则是一种“求救信号”。
“通常轻生者在轻生之前是摇摆不定的,会在生和死之间犹豫,但生是人的本能。”北京回龙观医院心理危机研究与干预中心干预部主任安静说,“而人们往往没有把握住这个信号,没有给他们交流的空间。”
安静认为,倾诉欲跟人的求生本能有关,有的年轻人在社交媒体平台上直播或发布轻生自残的内容,其实是希望有人能关注到他的痛苦。
因此,互联网平台上的轻生干预显得尤为重要。黄智生提到,在“树洞计划”五年来主动干预的6000多个案例中,虽然很遗憾有三十多个人最终离开了,但是大多数人经过专业的干预都继续生活下去。“他们在死亡之前都有走出来的可能。”
据报道,目前,许多互联网平台企业都建立了轻生干预机制。阿里巴巴推出“守护生命”项目,利用人工智能技术联动商家、公安、第三方机构建立轻生干预机制,对有轻生倾向的人予以安抚干预。抖音平台从2018年开始利用AI模型来识别用户发布的疑似高风险轻生内容,并在2021年底组建了一支救助与关怀团队。
林雨介绍,自2018年底平台开始利用AI技术识别发现轻生、自残等人身安全风险,目前预警系统已多次迭代升级,仅今年上半年,通过系统预警结合人工评估,联动警方干预挽救的人数达131人。
干预轻生还需要更多方面的努力
在一些未能干预成功的案例中,“网络生命守护师”们难免无助、失落和难过。他们也感受到,这是一个系统工程,需要社会多方合力才能有效治理。
2021年底,黄蓉曾接到平台客服转来的一条预警,称一名男性用户可能存在轻生倾向,他曾发过一条视频说:“过了15号,如果我回来了,就是有人改变了我和孩子的一生。”
黄蓉注意到,那个用户的负面内容中还夹杂着语义不明或正常生活的内容,难以确认其风险,因此将其纳入长期监测名单。
直到有一天,黄蓉注意到那个日常更新较频繁的账户有好几天没更新了,下面还有人评论“走好”之类的表述,黄蓉意识到,那个用户可能走了。后来的用户反馈证实了这一消息。
对那个用户,团队关注了大约十天,在复盘的时候,其中一张圈出某个日期的日历照片引起了大家的注意。团队确认,那个看似生日的日子,其实是用户为自己选定的轻生日子,那是一种“仪式感”。
“特别特别难过。”黄蓉说。
那次事件之后,守护小组决定,把类似于不明日历这样的可疑、高危信息也纳入报警的标准。曹受君说,哪怕没有发生即时的危险,警察的到来也许会打断用户的轻生进程或“仪式感”,进而挽救他的生命。
林雨透露,平台上半年联合各方救下131名有轻生倾向者的背后,是对5530条确定性风险预警信息的研判。而这5530条确定性风险预警信息,则是从每天近万条被标记为潜在风险的信息中筛查出来的。
“尽管系统的发现预警能力不断的增强,但我们一直处于如履薄冰的状态。”林雨说,很多风险信息事后被证明是无效信号,有些人可能是在开玩笑,也可能是发泄情绪,“但我们却不敢轻易地放过去。”
黄蓉把“保障用户的生命安全”作为自己职业的最根本的准则。不过,联想到轻生、自残者形形色色的人生经历,黄蓉觉得,准则要实现起来还有诸多困难。
她举例说,对于抑郁症患者、家庭陷入经济困境的人,他们需要医生和经济的支持,还需要家人、亲友以及社会方方面面的出手相助,光靠警方、平台的努力是不够的。
“世界预防自杀协会曾经对轻生未遂者进行过采访,他们说如果当时真的有人关心自己,想跟其聊聊轻生这个话题,自己是愿意谈的,这可能就会改变生命的轨迹。”安静说。