京东集团的风控实践

什么是风控?互联网企业的风控与传统风控有何区别?京东是怎样构建自己的风控体系?

京东集团的风控实践

转自|公众号「架构头条」(ID:ARchFront)作者|万佳 采访嘉宾|刘宇

作为国内知名的互联网企业,京东集团通过构建自己的风控体系,不仅成功地抵御了黑灰产的攻击,而且改善了用户体验,甚至为公司带来实实在在的效益。

什么是风控?互联网企业的风控与传统风控有何区别?京东是怎样构建自己的风控体系?……

带着这些问题,InfoQ记者专访了京东集团风控负责人、资深架构师刘宇。据悉,刘宇于2018年正式加入京东集团,与团队一起建设京东的风控体系,2020年起负责京东集团风控中台的规划及建设。

1、风控那些事

风控的定义、起源

风控,顾名思义,即风险控制,风险管理。根据维基百科,风控是一个管理过程,包括对风险的定义、测量、评估和发展因应风险的策略。目的是将可避免的风险、成本及损失极小化。

据刘宇介绍,风控最早起源于金融、保险等行业的大中型企业,它们使用风控来规避企业经营风险,保障企业的健康发展。但是,随着传统企业的数字化转型和移动互联网的发展,越来越多的企业开始将业务转移至线上,并投入大量的营销成本去做用户增长和提升用户活跃度。

正所谓,“哪里有利益,哪里就会有欺诈”。同时,大量黑灰产从业人员利用各种非法手段通过平台的业务漏洞获利。为应对这种情况,业务风控应运而生,还有人称之为业务安全或OFD(Online Fraud Detection)

风控的核心、构成

对企业来说,风控最核心的是“人”。通常,企业的业务风控由风控运营和风控研发两个团队组成,而一个完备的风控体系,还会涉及公司里的其他团队,比如客服、业务治理等。在刘宇看来,这是一个非常庞大的体系。

具体而言,风控运营人员要对业务有深入的了解,具备较强的逻辑分析和数据分析能力,其核心职责是通过对业务的了解和黑灰产的对抗经验,利用数据分析、研判工具等手段,及时发现业务风险,升级风控策略,对风险进行处置。

京东集团的风控实践

一般的风控流程

而风控研发团队有算法人员、BI人员、系统开发人员和产品经理等角色,主要职责是负责整个风控体系的搭建,包括风险识别、决策和风险处置等。

从系统的角度,风控系统一般自下而上分为几层:

  • 最下层是数据层,包含实时数据、离线数据等。在数据层之上是数据处理层或数据指标层,它主要的工作是把原始数据进行加工、处理,形成指标。
  • 这一层的上面是模型层/工具层,主要基于底层的数据做一些模型的工作,输出一些模型的结果。
  • 在这之上,就是风控的核心层,也是风控最核心的部分,包含识别、决策和处置。这一层对外提供风险识别的能力,接入一些数据,基于此做一些风险识别,并按照运营人员配置的一些策略做决策,最终对风险进行处置。
  • 在核心层之上是服务层,有风控对外提供的一些服务,比如风险识别服务。最上层是工具类的产品,比如给各个业务提供的风险查询工具、策略管理工具。

互联网风控与传统风控的差异

实际上,风控并非“新鲜事”,它在金融机构存在多年。但是,在互联网出现后,出现了互联网风控。

刘宇表示,首先,传统风控更多的依赖专家经验,容易被黑灰产绕过,而且,传统风控更侧重于“事后”,因为它们对实时性要求不是很高。但是,如果是移动互联网企业,时效性对用户体验就有极大的影响,“如果还是传统方式,那用户体验无疑会非常糟糕。并且,当钱被黑灰产‘薅走’时,风控才应对,那么这就晚了。”他说,“我们希望将所有的风控前移。”

其次,传统风控的防御点彼此割裂,防护能力弱。相对而言,互联网企业的风控从线上、面上着手,因此强于传统的风控能力。

第三,传统风控更多的是欺诈个体识别,无法对抗团伙作案。并且,传统风控更多的基于专家经验和一些经验积累,一旦黑灰产掌握这些规则,就会想方设法绕过规则,“此时,传统风控的自我学习能力相对差一些,无法快速应对新型威胁”。

因此,针对传统风控的一些问题,刘宇和团队在搭建新的风控体系时提出下列要求:

大数据为基础,人工智能技术为核心,去搭建风控体系。目标是打通各个节点,做到全链路的风险识别。并且,不使用单一技术去识别风险,他们使用多种技术组合,侦测逻辑复杂,构建一个立体的风控体系。这样,黑灰产就很难识别出平台的风控逻辑。

此外,采用更多的数据维度,这样便于发现一些未知欺诈风险。同时,提升风控识别的准确率,避免影响到正常用户的使用体验,比如对用户的验证希望实现无感验证。最后,对整个系统识别的实时性要求非常高,希望实现实时识别。

2、风控实践详情

京东业务覆盖零售、数字科技、物流、健康、保险、AI等,规模较大,业务复杂。但是,对于业务风控,最核心的目标仍旧是控制业务风险,保障各个业务的健康发展。同时,利用风控的核心能力,帮助业务实现精准营销,将平台的优惠返给真正的用户,而非黑灰产。

刘宇称,2020年起,京东风控形成了“前台和中台”的组织形式。京东各个业务板块,包括零售、数科、物流、智联云、保险、健康、国际等,分别搭建各自的风控业务前台,集团风控研发部则负责风控中台的搭建。

京东集团的风控实践

风控前台贴近业务,所以更了解业务,进而可以更快速的发现风险并对风险进行处置,从而最大限度的止损;从另一个角度看,风控能和业务结合的更紧密,帮助业务将更多的资源投给信用好的用户和商家,从而帮助业务快速增长。

而风控中台以“共建共享、联防联控”的思路进行构建:

  • 一方面联合风控体系较成熟的业务沉淀并开放其风控能力及组件,从而加快新业务风控体系的搭建,避免了重复“造轮子”。
  • 另外一方面,风控中台协同各个业务板块完成风险识别及处置的联动,避免风险识别“死角”。

刘宇举了一个例子,一个用户对京东零售或京东物流来说,可能是一个正常用户,但是从京东数科来看可能就是风险用户,因此要整体看。

具体到风控系统上,京东的风控系统最早是业务驱动,后来转向技术驱动。他说:“在起步阶段,数据、系统、工具都相对薄弱,有些风险处置逻辑、识别逻辑混在业务系统里。”这一阶段的主要工作是解决线上的业务问题,风控运营和研发人员疲于应付各种临时的风险事件。

随着风控体系的逐步完善,风控运营人员可以基于风控系统进行日常的数据分析和黑灰产对抗工作。此时,风控体系逐渐转向技术驱动,聚焦到识别模型,研发高可用的系统。随着京东业务量不断增长,京东的黑灰产对抗经验也逐渐丰富起来,风控系统日趋完善。

风控系统的核心是规则引擎。某种程度上,规则引擎的好坏关系重大。由于京东整体的业务量、数据量较大,风控系统的规则引擎必须具备以下特点:

  • 支持风控运营灵活配置复杂规则;
  • 支持高并发、低延迟,保证事前风控的时效性;
  • 支持机器学习模型的部署。

经过详细调研之后,京东选择了自研规则引擎。

规则引擎的主要功能是特征提取和规则管理。其中,规则管理有着较高的复杂性和灵活性。经过长期的黑产对抗实践,京东总结出了多套规则体系,基于不同的风控场景将通用规则与该场景的定制化规则进行合并。这样可以基于场景自由切换。比如,在双十一时,采用一套规则,在其他活动中采用另一套规则。

刘宇称,京东的规则引擎已经实现完全可视化配置,针对不同人群,能提供不同层次的策略配置工具。比如,对一线业务人员,提供完全傻瓜式的配置,业务人员只需选择低风险、中风险、高风险等简单选项。这样就能解决他们绝大多数的业务问题,并且学习门槛不高,上手快。

对于风控运营人员,风控系统可以提供完全可视化的复杂配置工具,运营人员可以自行配置数据源、配置规则、配置策略等,并且可以做线上的一些规则验证。不过,这已经可以通过零代码的方式解决黑灰产对抗90%的问题。

对于特别复杂的问题,风控系统也提供了高级模式,但高级模式需要风控运营人员将需求提给研发,通过编写代码来生效。这样既保证了足够的灵活性,也能解决高度复杂性的问题。

京东集团的风控实践

在他看来,由于风控体系的存在,不仅能够直接帮助业务避免风险,而且也间接地帮助业务部门做用户增长、精准营销。“像618、双十一这样的活动,如果没做好风控,那真正的促销优惠就会被黑灰产‘薅走’,不仅会伤害好用户,而且影响了用户体验。”他说。事实上,风控不仅是一个技术问题,也是流程、管理问题。

对风控来说,制度的建设非常有必要。作为风控行业的老兵,刘宇也给搭建自己风控系统的企业提出三点建议:

  • 风控系统涉及的流程比较长,比如数据采集、数据打通、数据融合、模型优化、规则引擎和场景应用等。任何一个流程出问题,都会导致误杀或漏杀。漏杀会造成一些经济损失,误杀则会对用户体验造成影响。因此,需要在所有环节做好监控和预警。一旦发现数据异常,及时处理。
  • 其次,规则管控非常重要。规则版本的管理,特别是规则上线,对新规则要进行严格测试。不然,容易导致误杀率上升,影响用户体验。
  • 最后,风控的核心是数据。风控系统是企业中涉及数据维度最多的系统,所以数据融合的问题是最突出的,尤其是不同的系统对数据的标准。如果同样的数据,大家的定义不同就会带来一些问题。

3、新尝试

在风控上,京东正在做一些新的尝试。

一是无感验证。为了最大程度地提升用户体验,不打扰正常用户的前提下,京东正在尝试新的验证方式,而非常见的短信验证码、电话验证码等。京东会尝试基于多业务场景行为数据打通,以实现无感验证。

二是风险定价。京东具有非常庞大复杂的业务体系。同样的一个用户,不同的业务对他的衡量结果并不完全相同。“我们希望从集团角度对每个用户实现更加精准的定价机制”。

三是风险感知。刘宇表示,风险感知是一个比较难的课题,“我们希望能够尽早预判风险的来临,这样就可以有充足的时间做准备,包括预防策略,以帮助业务尽可能地减少损失。”他说。

四是智能调控。京东希望做一些尝试,对不同的组织、不同的人有一些更加柔性、更加弹性的管控,而非运营人员手动调控。

4、未来发展方向

关于风控技术的未来,刘宇提到几个趋势:

一是5G、IoT技术(可穿戴设备、智能家居)的普及,会产生海量行为数据。基于此可以产生动态的、基于场景的超高精用户画像,用于精细化的风险干预。当然,挑战在于如何利用海量的数据打造精准的用户画像。

二是利用AI技术自动挖掘算法特征、模型迭代、策略推荐,做到零人工干预,根据风险场景和用户状态自动调整策略,改变现在的人为特征选取、建模周期长的问题。

未来10年,国家会加大社会信用体系的建设,开放政务数据,京东也正在探索利用联邦学习等新兴技术,保证用户隐私和数据安全的前提下,让数据在风控方面发挥更大价值。

本文转载自架构头条,内容可能有删改,文章观点不代表天府财经网立场,转载请联系原作者。

(1)
上一篇 2020-12-16
下一篇 2020-12-24

相关推荐

  • 美法院称SHEIN公然撒谎,22个跨境商家组团维权获初步胜利

    3月5日,22个跨境商家组团应诉SHEIN的美国官司有了新进展。据美国伊利诺伊州地方法院公布的文件显示,法院支持商家反驳SHEIN临时禁令(TRO)的初步申请,并调整了商家账户的冻结金额,多个商家的冻结金额降至0美元、10美元,获得了组团诉讼的初步胜利。 在一个名为“赃物熊(Swag Bear)”的服装设计中,SHEIN利用版权漏洞发起的虚假投诉被美法院无情戳破。法院指出,事实毫无疑问地证实了,SHEIN新加坡总部公司明知道其不拥有“赃物熊”的版权,仍然两次向版权局谎称其拥有版权,并发起虚假的注册信息,这让美国版权局产生了错误的判断。 去年12月,SHEIN向美国伊利诺伊州地方法院申请,对Temu平台的29个中小商家发布临时禁令,导致中小商家集体遭遇资金冻结,裁员破产等损失。 一位卖家律师指出,这家总部位于新加坡的公司一直“利用TRO作为反竞争计划的工具,迫使商家通过SHEIN而不是其竞争对手供应商品。 据法院文件显示,一家名为“广州德贤服饰”的卖家律师称,该公司销售的被指控产品的利润不到1500美元,但SHEIN向其提出了40万美元的和解要求,如果商家同意停止在TEMU平台上销售,并在SHEIN独家销售,则可以进一步协商解决。 此外,一家拥有500 名员工的商家在遭遇禁令后裁员了300多人,另一个商家的1000名工人都在面临失业,还有商家只能依靠个人信用卡来支付工人的工资。 为了维护自身权益,22名商家组团聘请海外律师,对SHEIN的临时禁令发起反驳。经过两个多月的诉讼,法院发布的最新裁决支持了中小商家的权益,并大幅调整了商家被冻结资金的金额,一家名为“广州慧听网电子商务”的公司被冻结资金降至0美元,成功获得解冻,多个商家的被冻结资金降至100美元以下,SHEIN利用法律漏洞过度冻结商家账户的行径遭遇有效打击。 值得关注的是,法院文件还显示,SHEIN正在将广州公司的版权…

    2024-03-11
    2.2K
  • 英法院最新裁决:驳回SHEIN虚假投诉,终止中小商家临时禁令

    2月17日,SHEIN与Temu两家跨境电商平台的诉讼又有新进展。据一位法律界的博主爆料,英国高等法院向双方律师发布了一条新裁决,Temu反驳SHEIN关于使用商家图片投诉的申请悉数有效,法院全部予以批准,此前的临时限制令也从法令发布之日起予以终止,遭遇此类投诉的商家更无需下架相关产品。 英法院驳回SHEIN对Temu商家的虚假投诉 去年8月,SHEIN在伦敦对Temu提起诉讼,声称Temu商家的产品图片涉嫌侵权,并向法院申请临时限制令,要求Temu商家下架相关产品。同年9月,法院按照惯例向TEMU商家发布了临时限制令。 为了维护平台中小商家的权益,Temu积极应诉,并对SHEIN的版权投诉发起反驳。经过双方举证,法院驳回了SHEIN此前使用商家图片进行举证的投诉,认定SHEIN未能有效证明其拥有商家的图片版权,Temu对SHEIN侵权投诉的反驳全部有效。 在判决理由中,英国高等法院的法官表示,花了这么多时间和律师费,SHEIN对于Temu提出质疑的图片,竟然没能提供一张完整的版权证明,令人非常吃惊。 英法院对SHEIN未能出示一张完整版权证明表示吃惊 据法院文件显示,SHEIN为了证明其拥有商家的图片版权,在举证中出示了商家入驻平台时签署的“独家经营协议”,但遭到了英国高等法院的否决。法院认为,因为商家会同时在多个平台进行销售,仅依赖商家协议中的承诺条款并不足以证明SHEIN享有版权的所有权。 此外,法院还对SHEIN如何证明其拥有的商家版权进行了重新界定。法院要求,针对商家拍摄的图片,SHEIN在投诉时必须提交摄影师信息、第一版权所有人证明以及完整的权利转移链条。如果不能提供完整的证明,Temu及商家则不需要再理会SHEIN的投诉。 这对于中小跨境商家来说,无疑是一个令人振奋的好消息。一直以来,跨境商家深受知产霸权及恶意侵权投诉之苦。去年12月,Temu在美再次起诉SH…

    2024-02-20
    795
  • 大吉大利过年吃鸡 成都禽类收货量环比上涨536.06%

    随着春节的日益临近,巴蜀大地到处弥漫着浓浓年味。年货市场更是进入产销旺季,今年四川的年货保供情况如何?与往年相比,又涌现出哪些特色年货?数字货运平台运满满以四川省和成都市的年货运输数据为例,给出了一组答案。 运满满货运大数据显示,今年1月以来,四川省的公路货运量出现上涨。从具体货类来看,麻将机、鲜花、水果的公路发货量均位居全国前列。其中,麻将机发货量排名全国首位。 搓麻将已经成为全国人民春节期间的娱乐项目之一,近几年更是受到了年轻人的喜爱。“独乐乐不如众乐乐”,数据可见,作为最爱搓麻的省份之一,四川人民在分享麻将所带来的快乐这件事情上果然毫不吝啬。 除了娱乐,年货清单上最重要的类别就是食品消费了。《数字物流产业带》报告显示,四川省五大产业带中有三个均与食品相关,分别是凉山西昌的浆果,成都郫都的调料佐料,和攀枝花米易的茄果。 今年成都人最爱置办的年货是什么?答案还是食品。运满满货运大数据显示,2024年1月以来,成都市收货量最大的年货品类Top5为糖、水果、玩具、服装、坚果。与上月同期对比,涨幅最大的年货Top5分别是禽类、鲜活水产品、水果、玩具和鲜花。其中,禽类环比涨幅高达536.06%。 具体来看,成都的禽类主要来自巴中、渭南、白银、宿迁、宿州,鲜活水产品主要来自南京、上饶、江门、汉中、自贡,水果主要来自桂林、 眉山、河池、南宁、赣州。从运输线路的分布可以看出,在今年涨幅较大的年货品类里,四川本省的公路运输十分频繁,年货消费热,带动了省内的供需两旺。 据运满满数据显示,1月以来,成都市发货量最大的货类也是食品饮料,“食在中国,味在四川”,舌尖上的巴蜀果然名不虚传。特别是冬季,从12月中旬起,四川特色水果耙耙柑开始成熟,眉山、蒲江等地种植的耙耙柑进入采摘季,一箱箱果香四溢的耙耙柑通过公路货运,流向全国各地。运满满货运大数据显示,1月以来,成都市发货量最大的货物排名里,水果位…

    2024-02-05
    969
  • 大专毕业后,他选择了干货运,“不努力连媳妇都娶不到”

    “3年入行5年懂行10年成王”。91年的货车司机左师傅一直信奉这句话,在他看来,勤能补拙。不管干哪行,只要踏实肯干,勤学好问,有向上的思想,总能做出成绩来。 “弃医从运” 出生于云南昭通的左师傅,家境并不富裕。在他的印象中,同龄人中甚至还有文盲。大专毕业的他学的是中医,左师傅坦言,“班里三十多名同学毕业后基本都选择了转行,当医生太压抑。”2015年,左师傅开始开面包车跑58速运,算是正式接触货运行业,可每天几十块的收入连养活自己都难。于是再次转行去干工地。“2017年,无意间接触到了专线物流,我就开始跟公司合作做卸货、分流。”也是在这期间,他接触到了货运平台,知道了运满满。 2020年,左师傅买了一辆4米2的厢货,虽然没有熟人没有资源,但平台上的单子很多,加上疫情等因素,刚开始运价还不错,每个月轻轻松松就能赚到一万。拉了一年整车货之后,行情下滑,左师傅立马开始研究零担拼车。2023年,他换了一辆6米8的高栏。他觉得换车是必然之举。“因为我还想在这行走的更长久一点,6米8的车能让我对货物有更多的选择。” 熟能生巧 左师傅现在月收入至少2万,从最初开小面包月收入两三千,到现在的2万+。他在运输线路、沟通技巧、客户维系、服务等方方面面总结了一套心得。 一、建议刚入行的先跑固定线路。左师傅的运输线路基本固定,主要是佛山到云贵川。80%的货也是固定好的,佛山出来拉瓷砖家具,工地建材门窗,回广东拉水果蔬菜。在他看来,固定线路对司机至关重要,哪个季节有什么货,什么价格,哪条路好走,成本要多少。特别是云贵川一带,路况险峻复杂,对于熟悉这边线路的司机,货主会更放心把货交给你。换句话说,你如果对这条线路足够熟悉,手里也就有了更多谈价的筹码。“之前我刚跑这个线路的时候,会自己拿个笔记本记录,问同行问老板,算运费算成本。现在跑的多了,费用啊货源啊,早就记在脑子里了。” 二、服务好客户最终受益的是自…

    2024-01-29
    1.9K
  • 比视觉中国狠20倍!北京统合信达1张图索要1万,穿越式维权第一案

    自从视觉中国(000681.SZ)打开勒索式维权的潘多拉魔盒后,大大小小的版权公司牛鬼蛇神不断跳将出来。 近日,我们又被告图片侵权了。这不是第一次,却是最离谱的一次。原告北京统合信达文化传播有限公司(法定代表人:邢玉冰)胃口之贪婪、吃相之难看令人叹为观止。 权属证据不足 逮着一只羊往死里薅 根据诉讼材料,本号所谓图片侵权发生在2017年6月18日,而这家北京统合信达文化传播公司2023年6月12日才成立,它对标的图片拥有著作权的权属证据,也仅仅是一张“1TU壹图”网站的截图,如何证明原告拥有该图片著作权?如果原告是该图片原作者或知识产权继承人,为何不在证据材料里提供? 另外想问,是我们穿越到未来“未经原告许可”窃取了你们的图片、P掉版权水印、并对图片大幅修改,再穿越回到2017年发布文章?还是你们穿回6年以前,把图片发布到网上等我们上钩? 进一步查询发现,这张原告所谓的版权图,在百度上有200多张相似图片,且早在2015年就有不止一家网站使用了。 再从原告所谓版权图片上的多国货币元素(未发现人民币),以及从大量英文内容来看,我们很怀疑,原告是不是把外网免费图片据为己有,虚构权属证据?律师表示,原告方如果以虚构的版权索赔,可能涉嫌诈骗罪或者合同诈骗罪。 除了脑洞大开的维权逻辑,北京统合信达文化传播公司的索赔金额也是令人大开眼界。1张图索赔1万,是其线上授权正常售价的222.22倍,新年开门红,你们这是逮住一只羊往死里薅啊! 这恐怕让贵圈的祖师爷视觉中国也自叹不如。2023年8月15日,知名摄影师戴建峰吐槽自己拍的照片被视觉中国告侵权,173张照片被索赔8万,合462元/张。 壹图网扮演什么角色?曾被曝以诉代销“前科” 而前述原告用以证明权属的截图网站“1TU壹图”,主体公司成立时间、ICP备案审核时间、增值电信业务许可证取得时间分别为2018年、2020年和2022年,均在本…

    2024-01-05 TMT
    6.9K
已有 0 条评论