我投了份简历 接到了十八个骚扰电话
都说金三银四,最近打算换工作的苏大强(蹭热点式化名)在各大招聘平台挂上了自己的简历。谁知道刚过两天就接到了十八个骚扰电话,其中只有两个来自猎头。
在接起第十八个贷款推广骚扰电话后,苏大强崩溃了,谁!又是谁TM泄露了我的信息,没钱不贷款还不起还不行吗!
你有没有想过,数据泄露可能源于那份简历。
贴条巧达
先说一起新闻。不久前网上有爆料称简历大数据公司北京巧达科技被查封,全员被抓,随后有部分员工被放出。
3月24日,三言财经也实地走访了巧达位于中关村办公室,发现大门现已被封条封住,办公室内空无一人。该封条由中钢国际广场保安部张贴,时间为2019年3月14日。
于是有人好奇,这家公司做了啥突然被封?
根据公开信息,巧达科技号称拥有中国最大的简历数据库,其主要数据来源是“乔大招”。乔大招旗下则拥有“爱伙伴”、“简历时光机”等在内10多款招聘相关产品。
“乔大招”可以做到通过一款工具汇总多家招聘网站账号信息,企业客户可以统一发布职位、收取简历;其次,该工具可以抓取简历的修改历史,可以查看到对应简历被查阅次数、修改记录等信息;不仅如此,还可以将简历上传至平台,供其他企业、猎头使用。
爱伙伴是一款提供“员工离职预测”的工具软件,该软件可以检测到员工投递简历、员工简历更新情况以及员工简历被查看次数等信息。企业用户购买爱伙伴后,即可查看其收集汇总的简历数据,依此判断公司员工的离职倾向。
简单说,这个一款给老板打小报告的软件,哪个员工有离职的想法都可能被提前知道。
截至2015年6月30日,在乔大招的数据库中,以人为计算,收入自然人的简历超过1.6亿人。以版本来计算,简历超过18亿个版本,超过25亿行为轨迹。说不准你精心准备的简历就在其中!
这些数据都被这家公司用于牟利,甚至涉及违规收集个人信息。封条一帖,巧达凉凉。
不过,一家“巧达”倒下了,还有其他“巧达”站起来,打着智能招聘SaaS系统的简历公司披着伪善外衣,暗地做着吸血勾当。
智能招聘SaaS系统
想要窃取招聘网站的简历数据有什么招数?
1、利用公开数据,通过爬虫工具爬取;
2、合法账号内部获取数据;
3、利用网站平台的漏洞进入系统获取数据。
其中,爬虫技术运用最为广泛,因为不需要网站有任何漏洞,只需要模拟正常用户访问操作,就可以抓取。
瑞数信息CSO马蔚彦告诉雷锋网,一般黑产会通过脚本、自动化框架、手机等工具去访问招聘网站平台,通过分析招聘网站的接口,这些工具可以自动的进行搜索关键字输入、翻页,对招聘网站内容进行抓取,然后通过脚本程序,将抓取到的原始数据进行格式化处理,转换成可阅读的简历。后期爬虫还可以同过定时机制,来进行简历数据的定时获取更新。
这种爬虫技术与爬各大网站低价机票本质是一个套路,不同点在于:机票是全公开的,谁都可以看。但部分简历数据需要登录或者付费后查看的,这时候就需要爬虫组织囤积大量账号进行简历抓取。
这些账号从何而来?于是打着智能招聘SaaS系统的简历公司出现了,声称该SaaS产品可以“帮助一个HR管理多个平台上发布的职位和收到的简历”,只需要登录一个平台就能管理所有渠道的简历信息。
购买该产品后,HR手中各大招聘平台的付费账号都被简历公司所掌握。
(注:目前很多招聘网站的商业模式都包括付费下载简历进行收费,花几万元可以下载几千份简历,可以查看该招聘网站的无限量个人简历。)
雷锋网编辑询问了某做爬虫技术的好友,对方称,通过爬虫技术抓简历一般要解决四个问题:
1、登陆的问题,需要购买一些账号;
2、破解登陆的验证码;
3、购买ip代理、切换ip;
4、控制好爬虫的速度,因为登录后,一般网站后台都会存有日志记录,抓的太快的话,会被封。
而一套卖给HR的智能招聘SaaS系统就能解决前三个问题,把非法的变成合法的,破解账户变成买卖服务。这操作,这脑洞,编辑叹为观止。
有了账号,之后的操作就更简单了。利用HR的账号托管,SaaS方可以去爬取各大招聘平台的简历信息,并做到实时翻新。
马蔚彦表示这种实时可以分为实时和准实时。
实时的:有HR来招聘网站上进行简历检索的时候,除了会显示自己本地的数据,还会将搜索请求转发给其他招聘网站的搜索接口进行数据获取,并且可以将爬来的数据进行智能比对,更新简历。
准实时:每个简历在招聘简历上都一个唯一的ID,爬虫可以定时的,以ID为参数进行简历数据获取。也就是只要你更改简历,对方就会收到数据,同步更改。
这时候,你的简历还只是你的吗?
挂钩黑产
潘多拉魔盒未打开时一片平静,放在黑盒中的简历数据也是一样。
你的简历上都有什么信息?生日、电话、地址、身份证信息、工作经历……这些详细得不能再详细得数据被分销出去,可能卖给大数据分析公司,卖给猎头,卖给贷款公司、卖给诈骗组织,这些都是黑产中的某一环节。
而信息裸奔的你可能接到N个骚扰电话却还不知道问题出自简历。
即使没有这些打着智能招聘SaaS名义的公司,你的简历就安全吗?
不一定,邦盛科技产品总监焦林俊向雷锋网透露,某国内top级别的招聘平台曾表示,有些大商户(付费大企业)利用在招聘平台的账号密码,登录后台通过爬虫刷新数据,爬取简历。
之后将爬取下来的简历放进自己的数据库,在合适时机将这些简历数据出售给需要的机构,相当于二道贩子。
至于是哪些公司,各位可以自由猜测。
反爬颇难
招聘公司面对各种爬虫技术是否有反爬技术呢?
“目前也有多种反爬虫的技术,如验证码,IP黑名单,频率限制,IP限制,单一账号可阅读量、需要购买,通过User-Agent控制等手段都能进行一定限制。但越来越多的高级爬虫,利用大量代理IP,并且与真实浏览器访问的环境相似度很高,传统的反爬技术在面对高级爬虫时已经基本无能为力。”马蔚彦说道。
焦林俊也表示,招聘网站确有采取一些反爬虫技术,比如前端进行加密,后端加入了大数据分析,机器学习等技术。但对大商户爬取数据的行为招聘网站也有些头疼,迫于营收压力,他们不会采取直接拦截的措施。而且先通过后台数据分析谁爬取了数据,再针对不同对象采取相应的反爬措施。
目前来说,爬虫技术仍处于灰色地带,对于利用爬虫技术获取公开数据这一行为的正误,在认知上也各有不同。目前更多的还是在道德层面,而非法律,比如:遵循robots,尽量放慢爬取速度,从而减少对提供数据查询网站的压力,不要造成拒绝服务,不要公开爬虫程序源码,不要分享爬虫数据等等。
(注:robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。)
但这些在马蔚彦看来,缺乏法律保障的约束力非常弱。
随着涉及个人、企业的数据资源越来越多,提供这些数据的平台、系统也越来越多,非常需要通过建立正确的爬虫观念、提升反爬技术手段、建立合理的爬虫相关法律规定等都多方面的综合努力,才能更好地提供对于恶意爬虫的防御,保护企业和客户数据资源。
对于终端用户来说,除了接到手软的骚扰电话,似乎是完全无感知的。
焦林俊表示,用户应该避免在不安全的招聘网站发布简历,遇到打电话称自己是猎头需要提供本人完整信息的说法也不要轻信。而对于招聘网站,应该从业务方面进行规范,搭建自己反爬虫平台,利用前沿的反爬虫技术,如大数据分析,根据访问行为提取特征,通过设备指纹,人机识别,环境检测等技术识别出人还是机器。这样即可以去掉验证码等降低用户体验的操作,也避免了用户有价值的信息被爬取。
做反爬不能误伤正常用户,这是反爬虫技术的关键点。爬虫与反爬虫永远在对抗,没有胜负。