某国民种草APP由于涉及内容违规,从安卓应用市场消失了,应该算是最近最火的话题。

作为C2C的种草平台,该APP不仅允许用户线上分享种草清单,还可以发布购买链接,让消费者接受安利的同时可以直接购买商品。二者相结合,就成了完美的导流神器。

其实平台本身只是一个单纯的内容分享社区,所有人都可以来发布任何内容,像半佛仙人文章里提到的一样,对于一起C2C的UGC平台来说,只要是能够发布内容的地方,内容失控的风险都是存在的。评论区、用户昵称、私信区、论坛.....都可能被不法分子利用成为其发布违禁商品、×××引流、×××诈骗等,从而导致平台内容的失控。
图为:违规信息

内容失控的问题其实也是属于反欺诈风控的一部分,所以本篇文章会从两个方面出发,谈谈企业进行内容治理的现状:一是黑灰产如何利用UGC类平台进行发布违规信息,并进行引流诈骗;二是企业在遇到这类问题的时候,会采取怎样的解决方案。

金三角娱乐HB:一、为什么黑灰产发布大量的违禁信息,企业很难识别?

在互联网黑灰产中,无论是行迹匆匆的羊毛党,还是浪迹论坛的水军,拥有各个平台的账号都是他们进入“职场”的第一步,批量注册大量账号就因此成为了所有恶意行为的源头。目前,这条黑色产业链已经形成上中下游的明确分工。首先,处于中游的号商会从上游的卡商那里购入一批手机号,然后利用接码平台、猫池、打码平台、其他自动化工具等批量注册虚假账号;随后,将账号售卖给下游用于薅羊毛、刷量、传播违禁内容等非法获利行为。




图为:人工审核+机器审核相辅的审核机制

就拿“扫码”这个词儿来说,它可以变成扌彐 石马,少马,扫**码等各种形式,人工智能并不能精准识别所有变体。另外,对敏感内容的过滤规则设置还不能过于严格,不然,就会出现误杀正常内容的情况。

在这样的情况下,人工审核就是一个必不可少的环节。

不同的平台可以利用机器审核机制设置不同的审核策略,然后对违规内容的可判性打上不同程度的标签,然后进行相应的处理。

比如,对于确定是违规的内容,可以标为【高危】,直接删除或封号处理;对于涉嫌违规的内容,可以标为【中危】,然后给予文字警告;对于命中少量违规内容,但无法准确判定性质的可以标为【低危】,对于低危的内容就可以由人工审核处理,避免造成误杀。

人工审核的环节对于所有做内容的平台都至关重要。目前,比较大型的内容平台,甚至会自己设立人审机制,少则十几人,多则数千人,专门审核平台内容。

写在最后


在具体的实践中,不同平台会有不同的内容展示形式,最终的解决方案和规则设定就会因“平台”而异了。但不论什么平台,都需要认识到的一点是,黑产的***手段总是在不断进化,为了躲避拦截策略,会不断出现新的内容发布形式,平台方只有持续关注内容管理解决方案,业务安全方只有不断迭代防护技术,才能在这场“猫鼠游戏”中占据上风。