很多研究需要爬取社交平台上评论区的数据,而大众点评的评论区的数据具有评价对象清晰、评论内容更有价值等优点。下面,小编就手把手教你如何爬取大众点评评论区的数据。(完整代码附在最后了,需要的请自取)
1.了解大众点评的link的结构
Step 1:登录大众点评,任意搜索一个你感兴趣的评论区,比如“宽窄巷子”。
Step 2:点击进入宽窄巷子的评论区。
Step 3:点击F12查看抓包工具。如果没有在右边的抓包工具页面没有看到东西的话,点击F5刷新就可以了。然后在右边的搜索框中任意搜索一条评论中的关键词,输入完回车就行。
Step 4:点击右边搜索出来的内容,然后点击标头,可以看到其页面链接是:
https://www.dianping.com/shop/k6uPaJKKCBJEBLfA/review_all
Step 5:继续查看第二页评论和第三页评论的代码。下拉之后,点击评论的第2页、第3页,然后重复Step3-Step4就可以得到链接为:
第2页评论的链接:https://www.dianping.com/shop/k6uPaJKKCBJEBLfA/review_all/p2
第3页评论的链接:https://www.dianping.com/shop/k6uPaJKKCBJEBLfA/review_all/p3
再来看一下第1页评论的链接: