爬虫学习笔记：天猫（淘宝）评论数据爬虫

最新推荐文章于 2025-09-15 15:12:28 发布

原创

最新推荐文章于 2025-09-15 15:12:28 发布 · 7k 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细记录了使用Python爬虫爬取天猫商品评论的步骤，包括获取cookie、请求头信息user-agent，解析评论数据并保存为表格文件。通过对商品评论的爬取，实现了对评论数据的初步收集，为后续的数据分析和情感分析奠定了基础。

1、杂语

近期课程需要爬取淘宝、天猫商品评论信息，进行数据挖掘分析和情感分析。在网上查找相关资料，翻阅一些博客和csdn文章，对淘宝天猫商品评论爬虫有了一些了解，并且成功爬取到需要的数据。因此，在此对这几天的学习做个总结，也给有同样需求的朋友一点参考。

本文目的很明确，爬取天猫（淘宝）中某个商品的评论信息，信息包括商品的型号、用户评论（主要分析这两个信息）。

爬虫说简单也简单，说难也难。掌握了爬虫程序的逻辑，你就能实现爬虫，当然这一切还需要你有相关知识作为基石支撑。爬虫本质上是在模仿人的操作，请求网页，获取数据。爬虫天猫（淘宝）商品评论的这个过程，其实与你查看天猫（淘宝）评论的过程是一致的。下面具体介绍每一步操作，我会尽量介绍的详细一些：

解释：cookie是用目标网站返回的验证密钥，当你申请访问某个网站时，该网站会核对你的cookie，验证成功才会将该网站的数据传输给你。因此，如果我们想要使用代码访问天猫商品评论，就需要天猫网站发送给我们的cookie，模拟登陆。

1、登陆天猫（账户、密码登陆）

2、选中某款商品，如本文中选择了美的的一款热水器。然后点击右键（Google浏览器右键）检查，查看网页源码。

3、在network中找到list_detail_rate.htm文件，并在该文件中抓取header包。具体操作为：检查后，得到出现下面页面，点击network，选择显示js文件，然后在name中寻找list_detail_rate.htm文件，查询一遍.

如果发现没有，则点击刷新，在点击累计评论，name中就会自动加载出list_detail_rate.htm文件。PS：如果还没有找到，在评论里面翻页，这样name中一定2会出现该文件。

4、抓取cookie信息

在上一步中已经抓取到list_detail_rate.htm文件的header，在header中包含了许多信息，包括cookie，每一页评论url地址，以及你的浏览器信息。但是我们暂时只需要cookie信息和评论的url地址。

如下图：该url地址即为该页评论的url地址，分析其组成我们很容易就可以发现，该url地址中的Page控制页数。因此，每一页评论的url地址我们就能确定了。下拉即可发现，cookie居然也在这里面。粘贴它，备用。

方法一：网上直接搜索请求头user-agent，随意粘贴一个就能够使用。

方法二：在上一步的header里面下拉，找到user-agent，粘贴即可。