（Credit to New York Times）

在过去几年中，Twitter（推特）一直是生成有效潜在客户、病毒式广告营销和建立高质量社交网络的最强大平台之一。Twitter上有大约3.26亿活跃用户，支持40种语言的交流。

而对社交媒体上的信息抓取将有助于我们跟踪、分析消费者和品牌的动态，并对这些数据进行仔细的审视，产生重要的商业洞见。Twitter作为一个最能记录每天都在发生着什么的平台，你可以抓取上面的数据来理解用户行为、竞争对手的策略；进行情绪分析（sentiment analysis）；并通过用户、同行以及产业链上相关企业的推文来实时了解这世界上正在发生的事情。

不过，我们也都明白一个事实：虽然我们都同意并理解密切关注这些信息的重要性，但在Twitter爬取（twitter scraping）中最关键的挑战还是如何去抓取以及处理大量的信息。

为什么要爬取Twitter数据？

你需要的数据不应该只是手头上一小撮通过阅读和分析推文的分享量、点赞量，或是看看大众和企业关注的兴趣所在就能被轻易收集到的信息。你需要的数据量非常庞大，而手动去收集它们是无法帮助你在一个合理的时间范围内制定出策略并采取行动的。

Twitter拥有实时的数据，这些数据对你的业务有着很大的价值。如果你是一名数字营销员，请思考一下爬取Twitter上的信息会如何帮助到你——你可以连接到社交网络上所有的influencer，你可以持续监控你的竞争对手，你可以对推文内容执行情绪分析，以及你还可以对消费者行为进行研究。

爬取Twitter数据可以获取五大商业洞察

1.理解消费者

在社交媒体上，消费者可以对它们热爱的产品或服务品牌大加称赞；而当他们不满意时，也可以立马进行狂轰滥炸，使品牌名声一落千丈。Twitter很强大，尤其是对于非常擅长利用社交网络平台的千禧一代来说，他们会在平台上迅速找到相关客服并在底下留言，表达不满，还会在你的推特账号后面加上各种标签来大肆宣扬。可以说，Twitter是能让你了解客户，进行社媒聆听，知道他们的需求以及对你表达最诚实评价的地方。想想看仅仅通过掌握这些用户对你品牌的看法，你就能从中得到很多洞见来帮助你调整策略。

2.影响者营销/网红营销（Influencer Marketing）

与influencer（Twitter大V）取得联系的最佳方式就是通过推特，而且通过在推特上向Influencer发送私信，你的成功率会更高。Influencer与自己的粉丝建立了牢固的关系，并且始终会积极地在Twitter上定期发布内容。爬取这些你所在行业的influencers和他们的推文将帮助你更好地理解并分析能引起病毒式传播的内容。如此，你也可以更加了解他们平常的发推活动，并且在精确知道他们的兴趣和惯例以后，就能带着更多自信心去接近他们，与你达成合作。

3.品牌监控

品牌在社交网络中是有属于自己的形象的。尤其是在Twitter上，当消费者分享了一些关于你品牌的内容并且@你，希望引起你注意的时候，去追踪这部分的相关数据就很重要了。虽然现在，这样的提及可能一开始会是你Twitter主页上的一个提醒标志，但当这个数字扩大起来以后，你肯定就无法一一查看，只能选择对用户设置一些自动回复。但去爬取这些提及品牌的内容，无论好坏，都将帮助你了解品牌声誉，识别新的营销机会，甚至是解决用户之间的不满，然后采取进一步行动。这块信息的抓取不需要每天都进行，以每周的频率去追踪一下就有助于你不断改进品牌形象。

4.情绪分析

我们为客户设计产品并进行营销，确保产品能够触达恰当的受众并产生转化。Twitter情绪分析将帮助你了解目标受众的整体体验和意见。抓取他们的推文，包括对产品或服务的提及、点赞、分享以及其他在社交平台上的互动将帮助你研究消费者行为，并通过衡量这些意见可以了解用户之后的行为趋势。这部分数据将有助你做出一些重大决策，例如设计产品，根据用户不同喜好来定制化，并通过有效的营销方式和内容来迎合用户实际需求。

（Credit to Medium）

5.竞争对手监控

不需要直接关注你的竞争对手来监控他们在Twitter上的一举一动，你可以定期去抓取这部分数据。这些信息将帮助你更好地熟知他们的策略，哪些帖子吸引到了用户参与，竞争对手的社交关系网以及许多其他的见解。分析这部分数据可以帮助你总结社交媒体营销的最佳实践并做出正确决策，从而保持自身竞争优势。因此，密切关注竞争对手在社交平台上的行动是非常有必要的！

如何用Python来爬取Twitter数据？

尽管Twitter能帮助你衡量相关信息从而更好地制定策略、做出决策，它并不是唯一可以收集信息的地方。还有许多其他的平台和媒体也在实时地发生新闻信息的发布和交换。但是，考虑到Twitter所拥有的用户数量以及它能提供的商业机会和用户洞察，Twitter绝对是在这些方面最具影响力的平台之一。因此，你不能就这样让这个能为你的企业带来商业潜力的机会溜掉。

那我们首先就得了解要抓取和监控的信息或推文有哪些。对需要抓取的相关术语、话题标签和关键词做调研。接着就需要利用Python这门语言来设计一个爬虫程序，将上述要求输入，并通过Twitter提供的API（应用程序接口）使设计的程序能够自动抓取到Twitter平台上所有你需要的内容，并以一个结构化的格式输出这些数据。看你自己的方便，你可以每天、每周或每月抓取一次Twitter上的数据。

下面让我们来看一个例子。

这个例子是一家媒体服务提供商，我们假设该公司可能是一家刚刚起步的或者是一家很受欢迎、很成功的媒体服务提供商（比如网飞）的竞争对手。所以，下面这段python代码的例子是用来爬取网飞公司的Twitter帐号上最近发布的十条帖子的数据。当然我们也可以爬取任意数量的数据来进行更深入的分析。

以下示例代码将提取到最基本的一些数据点，比如网飞账户上前10条帖子里的话题标签、帖子内容、点赞数量、转发数量、以及照片。提取到的数据可以被用来做进一步分析，找出网飞经常分享的内容类型，哪些是最吸引人的内容，了解他们的受众等等重要信息。

如下所示是用在这个例子上的代码：

sess = requests.Session()

sess.headers["User-Agent"] = "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"

url = "https://twitter.com/netflix"

res = sess.get(url)

data = res.content

f=open("Cont.html","w")

f.write("%s"%data)

f.close()

authorNameregex=re.compile(r"<span/s*class/=/"FullNameGroup/">/s*<strong[^>]*?>/s*([^>]*?)/s*<//strong>",re.M|re.I|re.S)

authorList=authorNameregex.findall(str(data))

for authors in authorList:

print authors

with open ("Twitter.txt", "a") as fh:

fh.write ("%s"%authors+"/n")

提取的数据会直接以一个结构化的格式输出和呈现，从而方便营销分析师实现快速的分析：

不过，你是否对要制定出一个可靠的经营策略而需要爬取大量的Twitter内容感到恐惧？其实学习python爬虫没有你想的那么困难，相反，学会了这个技能，你在商业上能进一步实现的目标就会变得更多。这也是许多营销分析人员在意识到他们目前所能分析的用户和品牌数据存在许多局限，并且预算也有限的情况以后积极迈出的关键一步。