门|谢谢
抖音(抖音)(WHO)是一张巨大的网，用绳子捆住短视频，结束评论、赞美和关注，将无数“记录美丽的人”和“欣赏美丽的人”联系在一起。
可总有一群不速之客跑来：鬼鬼祟祟的小贩、戴着面具的骗子、所到之处寸草不生的羊毛党、刷量造假的黑灰产……
那么问题来了：抖音靠什么来保护用户？
答：机制、技术和“警察”。
这并非官方给出的答案，而是我前阵子去参加完抖音的“媒体开放日-平台治理专场”回来后自己归纳总结的。当天他们讲了两三个小时，最后我脑子里就剩下这三个词。
希望我的笔记能帮大家更简单直接地理解抖音治理灰黑产的方法和逻辑。
一、机制
以内容审核机制为例。
每天有好几亿人刷抖音，却少有人知道，一条视频从上传到爆火，要经过怎样的审核流程。
抖音安全中心负责人帅帅（他真的姓帅名帅，以后有机会单独讲讲他的故事）晒出一张流程图：
大意是：先做机器审核，检查有没有明显触碰红线的，比如色情、暴力等等。
通过之后，视频会推送给一小部分用户，如果这条视频很受欢迎，推荐系统将推送给更多的人，在此之前，视频会进入第二道审核工序：人工审核。
人工审核又分成初审、复审、三审和四审，同样是阶梯式审核——视频越受欢迎，推送的人越多，审核也越严格。
比如，初审主要看是否存在底线违规的问题，复审则要检查内容导向是否存在问题，以此类推。
“抖音上一个播放量超过200万的视频，至少经过四层审核。 ”帅帅说，每一层审核可不止是“看一眼”，它可以细分成很多检查项目、类型和流程。“如果真要细说，一天一夜也讲不完。”
例如，抖音有一个特色审核机制：“背对背审核”。
好吧，“背对背审核”并不是说两个审核员像上图Kappa商标一样背对背拥抱，而是指人工审核阶段，每个视频审核时至少推给两位审核员，当两位都通过，视频才算通过，否则就要继续推给第三、第四个审核员。
假如始终存在分歧，还会进入一个多人研判流程，类似投票表决，这里就不继续展开说了。
除了内容审核，抖音安全中心的其他工作也有各自的机制、流程和章法。
抖音安全中心的工作板块
例如他们把“日常巡检”分成“常规巡检”和“专项巡检”两部分。
“常规巡检”主要解决长期普遍存在、危害比较大的问题，他们会代入到用户的视角去刷视频，看搜索，看热点榜单等等，一旦发现问题立马处理（如果每天的日常工作就是躺在沙发上刷抖音，想想还挺爽）。
“专项巡检”则针对短期较为突出的问题，对同类内容进行回扫，举一反三，触类旁通。
比如2020年10月份，有媒体报导“假靳东事件”——有人利用追星心理，冒充演员靳东对中老年易受片群体进行诈骗。
事件发酵后，抖音在两天内对冒充靳东相关账户进行速查，清查了5000多个疑似靳东仿冒账号，当月下架话题143个，处理问题存量视频195万。
这就属于典型的“专项巡检”。
再说“用户反馈”环节，抖音也有一套机制和流程。
首先是把各种举报入口铺开，让用户想举报时，转角就能遇到举报入口。
除了站内举报、邮箱举报、违法和不良信息举报电话，啄木鸟小程序等等，我们刷抖音时，点击分享按钮之后弹出的那个菜单，里头也有举报按钮。
“举报”
用户举报之后，同样要进入一个非常复杂的处理流程，先用机器识别，确认有效再由人介入。
一旦人工审核确认属于违法违规，则会按照规则进行处理，下架、禁止投稿、充值用户资料、封号等等。
这里多说一句，之所以先让机器识别，是因为一方面举报审核的工作量太大，另一方面是也有人会滥用举报功能，不断消耗平台的审核资源。
根据抖音官方给的数据：2020年1月至12月初，光是“啄木鸟举报平台”小程序就累计处理了违法违规账号159.5万个。
这还只是单个渠道的有效举报，再算上无效举报和其他渠道，如此庞大的工作量，如果没有风控模型的帮助，审核小哥恐怕是要当场阵亡。
二、技术
既然已经讲到“风控模型”，咱就说说技术对抗。
黑色产业链发展到今天，早就过了“刀耕火种”的时代，团伙作战、专业分工、技术流……成熟程度超出许多人想象。
他们会用各种技术来武装自己，比如模拟器——一台机器上模拟出很多个APP，各自开着账户；比如云手机——直接远程购买或租用成千上万台手机，不用买回来。还有群控，按键精灵等等……
抖音安全中心的技术小哥张曦盛在讲PPT
既然黑产都用上“技术流”，打击黑灰产的一方自然也要“道高一丈”。
就拿抖音最常见的业务安全挑战“刷粉刷赞”来说，平台要怎么在茫茫人海之中发现哪些利用大规模机器作弊的人呢？
最早期，或者叫第一阶段，抖音主要使用“名单频控策略”。
“名单”可以简单理解为“黑名单”—— 发现一个坏人就记录下来，下次再来就预警。
“频控”就是频率控制——比如一个人一分钟内给60 个视频点赞，且每一次点赞的间隔时间都毫秒不差，正常人显然干不出这种骚操作。
到了第二阶段，就慢慢发展出更复杂的“决策引擎”，同时引入“专家规则”。
“决策引擎”就相当于一个打分机制，用多种维度给内容打分，超过一定阈值就自动处理。
“专家规则”就是找一些常年跟黑灰产打交道的“老湿敷”，让他们把黑灰产常见的特征、规则输入到机器里。就好比是工作多年的反扒刑警，一个眼神就能知道谁是小偷。
再到第三阶段，“决策引擎”就发展成了“风控系统”，单车变摩托，军舰变航母，战斗力又上一个台阶。
这一阶段最主要变化主要在于引入了人工智能技术。如前所述，哪怕老师傅们阅片无数，毕竟也还是个人类，经验有限，且每个人都有认知盲区，而机器学习则可以一定程度上弥补人类的认知“缺陷”。
就像当年阿尔法狗横空出世时，棋手们都惊呆了：“这是什么野路子下法……咦？我怎么好像要输了……” 有时，人工智能非常准确地揪出黑产的机器，人类却完全看不懂它依据的线索。
据抖音安全风控专家张曦盛说，抖音的智能风控系统有很多，最常用的叫“鲨鱼反欺诈系统”。
黑产为了刷粉刷量薅羊毛等，经常需要屯很多账号在手里，而“鲨鱼反欺诈系统”专门用来识别真人和大规模机器注册。
问题又来了：那鲨鱼反欺诈系统具体是怎么分辨人和机器的呢？
1）行为
首先是通过行为来判断。
“用户在平台上的行为特征，是有规律可循的。”张曦盛举了个例子：一位用户打开抖音，看了5秒钟视频，不太喜欢，于是下滑切换，第二个视频比较有意思，看了大概15 秒，并点进视频创作者的主页，用了20 秒钟浏览资料后，点了关注。
“通过模型训练及数据分析，我们可以判断这是一个正常用户，平台上大部分用户的行为规律都是类似这样的规律。”张曦盛说，但如果有一个用户的操作是这样的：
“他打开抖音，搜索视频界面，进入主页，马上点关注，然后重复一系列的行为，那么就很可能是一个作弊用户。”
2）群组相似性
其次还可以“群组相似性”来分辨异常用户。
正如《战争与和平》里的那句名言“幸福的人总是相似的，不幸的人各有各的不幸”，张曦盛和小伙伴们在与灰黑产对抗的过程中，发现了一个很有意思的现象：
“坏人总是相似的，而好人则有各种样的不同”——欺诈团伙总是在许多信息上都有高度的相似性，而好人没有相似性。
这是因为灰黑产团伙在作恶的时候追求规模化效益，通常会同时操作许多设备进行作弊，很多时候就避免不了有这样那样的相似性。
基于无监督算法的“群组模型”可以顺着这个思路自动挖掘出一些相似度很高的异常团伙。
张曦盛向我展示了一组案例：
这五个账号分别在不同的时间点赞，看似没有什么问题，但是这五个帐号的注册时间是同一天，系统版本号相同，并且昵称是数字连号，安装、注册时间也是同一天。 显然，正常的用户很难有如此高的相似度。
除了行为和群组，人工智能技术在对抗灰黑产的过程中，还有其他不同维度的识别能力。 比如：
1 ）文本识别
早期的灰黑产发送广告主要以文本的形式，在评论、昵称、个人签名里添加导流信息，这时“文本识别模型”和“敏感词检测”就能进行有效识别打击。
2 ）图片识别
后来灰黑产开始使用图片的形式，比如在头像和个人资料内加入一些引诱性感的图片，并在图片里添加联系方式的数字水印来发送色情、招嫖类信息。
这时，“图片识别模型”可以对可疑内容进行识别，并且可以利用OCR文字识别技术去识别图中的文字。
至此，图片作弊类黑灰产也被逐个击破。
（此处我不敢添加示例图，就是怕稿子发在网上各个平台被机器审核误伤……
）
3 ）视频识别
再后来，灰黑产开始使用视频来导流，本质上，视频其实也是一帧一帧的图片，内容识别系统可以截取视频中的一些帧，再重新利用图片识别模型来检测。
4 ）语音识别
视频、图片类不良信息都被打击掉之后，又出现了一类新的色情导流形式：画面正常，但语音里夹杂色情淫秽内容，并且会念出联系方式。于是抖音平台又引入语音识别技术，先将语音转成文字，再进行识别和打击。
就抖音目前的用户和内容体量来看，内容审查需要投入大量的人力，张曦盛说：“风控模型贡献了一半的拦截量。”
为了在跟黑灰产的持久战斗中“节省体力”，抖音平台建设了风控数据库，这些数据库类似于人体免疫系统的“抗体”。 包括：
风险文本库——黑灰产、欺诈话术等
风险链接库——色情、赌博、木马网站
风险设备库——黑灰产手里的硬件设备
这些资料库可以帮助抖音用很小的成本代价拦住大量坏人。
张曦盛告诉我，抖音有百亿级别的风险设备库。
“可能有人要说了，全世界网民加起来都没有一百亿，抖音怎么有百亿级别的风险设备库？原因正是因为灰黑产通过技术手段大量伪造移动设备。 ”
三 、警察
正儿八经的称呼应该是“联合公安机关打击违法犯罪”之类的，但“警察”二字显然更直观易懂 —— 打击黑灰产方法五花八门，不及警察叔叔直接敲门。
在2020年7月至11月的短短四个月里，抖音安全中心团队联合公安机关打掉黑灰产团伙25个，拘留87人。
周冉在抖音安全中心主要负责平台上违法行为的联动打击工作，她分享了几个联合警方打击黑灰产的故事。
1）色情导流
色情导流是行业里最常见的黑灰产行为。不要问我为什么。
色情导流黑灰产通常先购买或批量注册大量帐号，然后发布带有性暗示信息的视频进行导流，吸引用户加微信、QQ等社交软件，再将用户导流到黄色网站、赌博站点甚至线下色情场所，完成色情导流。
当然，也许有真·卖片和真·招嫖的，但其中也充斥着大量诈骗信息，收了钱直接拉黑，受骗者也拉不下脸去报警（裸聊诈骗了解一下？）。
打击这类黑灰产，一方面靠前文所述的技术严防死守，提高其作案成本。
但是黑灰产导流的渠道和内容特征变化非常快，比如一开始用露骨的视频，被平台用技术手段防住之后，就改用性暗示的文字、图片，和诱导性视频，类似下面这样的：
看到这种视频，我只想对视频主说：你不对劲。
尽管抖音平台也做了内衣、黄瓜的图像识别，但，人类总能想出这样那样的内涵表达。风控模型做得太严格又容易误伤正常创作者。
那咋办呢？抓人，斩草除根。
2020年7 月，抖音安全中心对拦截到的10万级别的数据样本进行分析，包括评论、视频、导流的渠道去向等，抽丝剥茧、寻踪觅源，发现了一些违法违规的线索。
之后他们联合公安机关，锁定了长沙一个色情犯罪团伙的窝点位置，配合公安机关在窝点位置进行了连续3 天的摸排，最终抓获嫌疑人11名，拿到他们发布二维码或链接贩卖淫秽视频的铁证，扣押多个群控设备，手机设备2000多个。这些嫌疑人后来被定为“帮助信息网络犯罪活动罪”。
2 ）刷单诈骗
9月份，抖音安全中心发现刷单类诈骗线索，提供给公安机关。10 月初，公安机关通过精密分析，去实体位置勘查，锁定位于广西南宁西塘区的窝点。
最终抓获嫌疑人17 人，扣押作案使用的手机300余个，笔记本电脑1 台，台式电脑1 台。
周冉告诉我，刷单诈骗通常是“分级代理”模式，整个犯罪链条和网络有时会非常庞大，“一网打尽”难度很大。
“因为和传统犯罪手法相比，互联网犯罪嫌疑人都是跨平台，作案地点、作案时间非常不固定，同时还会使用一些技术手段隐藏自己、躲避追踪，这也就是为什么会称为‘新型违法违规行为’。”周冉说。
抖音安全中心的技术同事经过细心研究，发现诈骗团伙和分级代理在平台的行为特征是非常类似的，基于人工智能技术的风控模型可以通过微小的特征差异，识别出顶级诈骗团伙，可以给持续性打击工作带来很大帮助。
有了技术模型的深度结合，11月，抖音平台又输出一批新的刷单线索，经公安机关认定，是10 月份那个案子里逃跑的几个嫌疑人。
11 月19日，广西南宁公安机关将其头目和其他人员全部抓获，主犯认定为“诈骗罪”，其余人员为“帮助信息网络犯罪活动罪”。
3 ）宠粉诈骗
“宠粉诈骗”是2020年新发现的一种诈骗类型。主要针对中小学生游戏玩家（小学生都不放过），受害者大多是手游玩家。
7 月份，抖音安全中心发现有人在抖音上利用 “关注送游戏皮肤”、“玩游戏送手机”等方式吸引用户进QQ群。
这群人为了躲避抖音的风控策略，二维码一天都变化很多。
抖音安全中心负责调查的同事顺藤摸瓜加入到某个QQ群，群里声称送手机只需要支付邮费，可是等用户支付完邮费，对方又会称仍需要支付保证金。
于是，他们对这个团伙的引流环节进行技术分析 ，于8 月初将线索提交公安机关，警方通过侦查取证，确认可以实施打击。
8 月下旬，在齐齐哈尔市局刑警支队反诈中心指挥下，将齐齐哈尔宠粉诈骗窝点进行打击。现场扣押笔记本电脑5 台，台式机电脑一台，手机94 部，手机卡85 张，银行卡55 张，U盾8 个，现场抓获7 人，认定为“诈骗罪”，被全部采取刑事强制措施。
一点感想
有句话叫“太阳底下无新事”，频发的“新型违法犯罪”让我越来越意识到，网络平台遇到的这些问题，不光是平台的问题，也是一个社会问题。
十几年前在火车站边问：“小伙要碟嘛？”、“小伙子来玩玩呀”的，和现在“色情导流”的，其实是一类人。
十几年前，在马路边丢一捆假币，跑过来主动跟路人分赃的，和现在做“刷单诈骗”、“宠粉诈骗”的，其实是一类人。
坏人常有，虽然并非网络平台催生出来的，却因为整个社会的信息获取、交流渠道从线下转移到线上，而跟着转移到了网络平台。
未来治理灰黑产必定和从前治理现实世界的犯罪一样，任重而道远。
参考资料：
题图和封面图为 Dota 6.75版本主视觉图
最后再介绍一下我自己吧，我是谢幺，科技科普作者一枚，日常是把各路技术讲得通俗有趣。
