规模效应能带来各种好处，这不言而喻，但与之相对应的价值和风险往往是共存的，任何系统的规模越大，价值越高，伴随而来的安全风险也会越大。对于互联网上的数字化资产，例如大型数字化平台、用户个人信息等，这种价值与风险共存的情况就更加突出。连锁超市和零售商就是如此。

名副其实的“国民级”零售商

某海外知名连锁超市和零售商，主要销售新鲜食物、服装和家居用品，拥有超过3350家实体店，每周为将近2900万客户提供服务。在开展电商业务后，经过一段时间的发展，他们的已注册在线会员数业已达到了1230万人，电商网站日点击量高达8亿次。

蓬勃发展的业务固然让人欣喜，可随之而来的烦心事儿也着实让人头疼。

网络爬虫防不胜防

自疫情爆发以来，大量用户开始转为通过电商服务购买日常所需，该零售商的电商业务迎来了一轮大幅增长，无论注册用户数量和网站点击量都有了显著增加。据统计，他们的网络流量在疫情以来已经增长了200%以上。

面对突增的流量，该零售商并未大意，开始考虑这些流量是否都是真实客户带来的。他们怀疑部分流量可能来自各类怀有一些恶意目的的计算机程序。这种名叫"爬虫"(Bot)的计算机程序会自动访问网站页面，并执行一些恶意操作。然而由于缺乏合适的工具，他们无法通过技术手段验证自己的猜测。

为图省事，很多人习惯于在注册各种网站时使用相同的用户名和密码，而一旦其中一个网站的这些信息被泄漏，用户在其他所有网站注册的账户都会受到威胁。攻击者使用爬虫程序在不同网站上，通过这些泄漏的账户凭据一个个尝试登录的做法就叫撞库。一旦找到可用账户，随后就会消费或转移账户中的余额、积分等有价值资产，甚至直接使用账户捆绑的支付方式进行“盗刷”。

怀疑存在此类威胁，但缺乏验证与核实的技术手段，自然也就对各类流量的具体情况缺乏进一步了解，进而难以有针对性地采取预防措施。

不仅如此，这种怀疑存在的恶意爬虫还对公司的合规运营造成了挑战。根据相关法律法规的要求，企业必须对客户数据加以充分保护。一旦不慎导致客户信息外泄，将要承担极为严重的后果和高额罚款。

除了安全与合规方面的问题，一些爬虫还会对该零售商的业务运营造成麻烦。管理者还怀疑自己的网站遭遇了竞争对手数据爬取，以及被对方自动爬取了产品价格、库存数量等信息。因为他们时常会发现有固定的几个IP地址会定期访问自己的网站，并且都会造成非常大的流量，这看起来完全不像是普通顾客的行为。但是因为缺乏证据，目前他们也仅仅只是怀疑。

也许很多人还不太了解，但实际上，这种Bot爬虫已成为现代互联网Web应用面临的一个最大公敌。根据Akamai的统计，2021 Q2遇到的账户滥用攻击达到了700亿次，Q/Q增长15%。而这种攻击是WAF无法缓解的。更让人担心的是，Akamai已经多次探测到日峰值超过10亿次的恶意登录行为。

除了数量与日俱增，爬虫攻击的形式也越来越丰富，撞库攻击、银行卡攻击、库存囤积、薅羊毛、礼品卡攻击，这都是常见的攻击形式与目标，而且爬虫攻击正变得越来越智能化、分布式，能模拟人类的行为特征，绕过通用的Web安全设备和检测机制（如“验证码”）。

Bot Manager，固若金汤

面对爬虫造成的各类风险，该零售商主要有三个诉求：

·希望能增强针对爬虫的可见性，通过翔实的数据分析和结论更准确地评估并缓解爬虫风险。

·希望尽可能避免竞争对手的数据爬取行为。

·更好地保护客户数据，满足政府和行业相关法规法规的合规要求。

Akamai Bot Manager以灵活的服务模式和强大的功能满足了该零售商的需求。

在可见性方面，Bot Manager有一个自动管理的已知爬虫程序目录，其中已经涵盖超过1500种已知爬虫程序，此外它还能使用AI模型检测未知爬虫程序，进行用户行为分析、浏览器指纹识别等操作。借此，该零售商即可从中获得实时整体趋势、行业洞见以及有关爬虫程序流量的详尽分析，进而更有针对性地制定防御措施。

在防范恶意竞争方面，Bot Manager具备出色的监测能力。结合Akamai全球化平台，Bot Manager每天能够收集115亿项爬虫程序请求和2.8亿次爬虫程序登录，并且可以从丰富的数据分析中得出精准见解。在该零售商尚未开始正式部署，仅仅是进行概念验证的阶段，Bot Manager就已经帮助他们成功发现了一家全球知名电商网站对自己网站进行数据爬取的证据，甚至在此基础上分析出了攻击的行为特征，包括源地址、攻击时间、定向爬取价格的行为特征等。

在合规运营方面，由于能够精准获得与恶意爬虫行为有关的见解，并针对不同行为和目的爬虫采取有针对性的应对措施，该零售商预计自己将能在Bot Manager帮助下更好地预防撞库、凭据滥用，并利用Akamai强大的机器学习算法和全球化规模与洞察改善安全与合规运营态势。

根据Ponemon Institute统计，每年与撞库有关的总成本（包括与欺诈相关的损失、运营安全性、应用程序停机和客户流失）可能达到600万至5400万美元之间。而Akamai自己的观察和统计也发现，爬虫程序已经占据网站总流量的30%-70%之多。

Akamai网络每天会处理全球很大一部分的网络流量，其中包括一些世界上最大和遭受攻击最频繁的网站。Akamai具有独特的优势，能够深入了解合法的应用程序使用情况，以及恶意爬虫程序不断演变的攻击行为。它拥有最新的爬虫程序检测技术，经证明能够识别当今最复杂的爬虫程序。

不仅如此，Bot Manager还使用了多种专利技术，在爬虫程序刚开始接触网站时便及早检测和抵御，避免其进入网站。通过Akamai长期不断的检测与完善，即便威胁不断发展变化，用户也能受到妥善保护。