电商出海符合贸易全球化的趋势，也为中国的电商企业拓展出更广阔的市场和生存空间。本文我们为大家介绍一家出海电商平台在业务扩展中遇到的挑战，以及解决方法的真实案例。

这是一家主营虚拟商品交易的电商平台，致力于打造一个全球化的交易“市场”，供各地用户在这里买卖虚拟商品。由于不像实体商品交易那样牵扯到备货、仓储、物流、配送等大量线下环节，因此他们的出海之路感觉上似乎会容易一点。

然而，只要是业务，只要在线上经营，谁又能逃得脱爬虫的困扰！

爬虫造成的两大难题

泛滥的爬虫让这家平台承受了很多“无意义”的流量，进而在性能和安全性方面遇到重重挑战。

性能

为了更好地服务于各地客户，该平台已在全球多地设立了数据中心，并根据预测的发展速度规划好充沛的容量。然而随着业务逐渐在各地推广开，吸引了大量潜在客户的同时，他们也被各种爬虫盯上了。本来运转正常的平台开始遭遇加载速度缓慢、频繁出错、页面打不开等问题。

虽然最开始由于缺乏相关工具，平台无法分析出自己的流量中有多少来自爬虫，又有多少来自真实用户，但结合业务量来推算，猜测很大比例的流量其实都来自爬虫，不仅无法为业务带来任何价值，反而会造成不小的麻烦。

这些无意义的流量占用了宝贵的数据中心资源，平台被迫只能不断斥资扩容数据中心，但扩容速度依然跟不上爬虫流量的增长。不仅如此，频繁的扩容也导致运维成本居高不下，同时真实用户的体验并未有太大的好转。

安全性

不仅如此，各类恶意爬虫还造成了很大的安全挑战。由于这个平台主要是用于交易高价值的虚拟商品，不涉及任何实物，因此对安全性也就尤为看重。虽然平台在建设时就已经部署了WAF(Web应用程序防火墙）解决方案，但此类解决方案通常只能根据规则行事，针对规则库中存在的现有规则，如果发现匹配的可疑行为，就会自动执行规则中定义的应对措施。

但面对越来越“智能”的爬虫，行为不断变化，并且在一定程度上为了逃避检测识别还会模拟出类似于真实用户的行为，这种传统的WAF就力不从心了。

他们还考虑过通过在页面上添加各种验证码来区分真实用户和爬虫，但验证码除了给真实用户造成各种“麻烦”外，在识别爬虫方面的效果其实并不好。如果验证码太简单，很多爬虫自己就能借助内置的AI算法轻松破解和绕过；如果验证码太复杂，拦住爬虫的同时，绝大部分真实用户也会被拒之门外。

总的来说，该平台所遇到的性能和安全性两大问题，都源自于爬虫的肆虐。那么只要搞定爬虫问题，这两大难题似乎都可以迎刃而解了。现在的问题就变成了：爬虫到底该如何应对？

mPulse+Bot Manager

组合解决爬虫的困扰

Akamai mPulse是一种真实用户监控(RUM)解决方案，通过直接从浏览器收集每个用户事件的数据并进行实时分析。借此，我们可以顺利地通过监控，查找修复网站及应用程序性能问题。不仅如此，还可以通过mPulse和Bot Manager的结合，展示出爬虫流量对网站性能的影响，最终同时解决爬虫的查杀、性能和安全的问题。

mPulse集成了Bot Manager的识别能力，让客户能够排除爬虫流量的干扰，精确分析出真实的用户性能和业务指标。再之，这是一个很好的手段，诊断爬虫对性能的影响，找到影响性能的根本原因。

mPulse中Bot流量和Non Bot流量占比图

Akamai Bot Manager Premier是Akamai专有的恶意爬虫防护解决方案。对于电商平台可以针对每个请求的流量进行细致的识别和智能的归类；对于真实用户的合法流量，自然可以不受阻碍直接放行；对于爬虫流量，则可根据爬虫目录中丰富的信息判断其用途，并有针对性地采取措施，例如对于爬取网页数据的爬虫，并不会简单地一刀切拦截（这会导致爬虫的管理者警觉并开始研究规避措施），而是会用虚假数据欺骗爬虫并拖慢爬虫的反应速度。

同时，Bot Manager还能结合自己的洞察和分析提供详细分析报告，帮助用户实时获取整体趋势、行业洞见以及有关爬虫流量的详细分析。

mPulse+Bot Manager Premier组合的方案，不仅帮助客户在出海的道路上找到了一个性能和安全的平衡点，还解决了多云的基础架构上的爬虫解决方案。目前，业界很多爬虫解决方案使用了基于源站的防护策略，要求将爬虫防护能力植入源站，但这种方式部署不够灵活，集成难度比较高，并且扩展性很有限。而Akamai Bot Manager完全可以支持这种多云部署的架构，用户可以方便地在多云环境中，通过一个界面配置统一的安全防护策略，随后即可自动应用到在不同公有云平台上部署的系统中。这就是边缘平台的好处，在源站之前就部署了爬虫屏障和策略，因此也很好地解决了后端源站扩展性方面的问题。

其实对任何一家企业，无论是希望立足本土开展业务，还是想走向海外触及更庞大的市场，这些经验都值得借鉴。