使用 rvest 抓取 Javascript

Question

我一直在尝试从保存为 JavaScript 的网站中抓取轮询时间序列。到目前为止，一旦选择“圆形”节点，我最终会得到一个空列表。下面的代码，任何一点都非常感谢。

library(rvest)

library(V8)

url = 'https://www.politico.eu/europe-poll-of-polls/belgium/'

dta = read_html(url) %>% 

  html_node('svg') %>% 

  html_node('g') %>% 

  html_node('circle')

Answer 1

其实很简单。数据来自您可以在网络选项卡中找到的 json 端点library(jsonlite)data <- jsonlite::read_json('https://www.politico.eu/wp-json/politico/v1/poll-of-polls/BE-parliament')info <- data$polls您可以转换为数据框。例如：library(purrr)df <- map_df(info, function(x) {&nbsp; data.frame(date = x$`date`,&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;party = x$parties,&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;stringsAsFactors=FALSE)})names(df) <- gsub( 'party.','',names(df))您始终可以转置并进行任何其他您想要的转换等，例如df <- t(df)