如何在php中获取包含外部API的网页

Question

我有一个 php 脚本，可以加载此网页以从其表中提取一些数据。

以下方法无法获取其表内容：

使用 file_get_contents：

$document -> file_get_contents("http://www.webpage.com/");

print_r($document);

使用卷曲：

$document = curl_init('http://www.webpage.com/');

curl_setopt($document, CURLOPT_RETURNTRANSFER, true);

$html = curl_exec($document);

print_r($html);

使用loadHTMLFile：

$document->loadHTMLFile('http://www.webpage.com/');

print_r($document);

我究竟做错了什么？

以及它们如何阻止某些内容加载？

Answer 1

这不是您可能想听到的答案，但您描述的方法都不会像普通浏览器客户端那样评估 JavaScript 和其他浏览器资源。相反，每个方法仅检索您指定的文件的内容。快速浏览一下您所定位的网站，可以清楚地看到该表是作为 AJAX 调用的结果填充的，而您尝试过的任何方法都无法评估该结果。您需要依赖具有此类模拟功能的库或脚本；即Selenium webdriverlaravel/dusk的 PHP 绑定，或类似的东西。

Answer 2

这就是我使用 php curl 从网页中抓取数据的方法：    // Defining the basic cURL function    function curl($url) {        $ch = curl_init();  // Initialising cURL        curl_setopt($ch, CURLOPT_URL, $url);    // Setting cURL's URL option with the $url variable passed into the function        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Setting cURL's option to return the webpage data        $data = curl_exec($ch); // Executing the cURL request and assigning the returned data to the $data variable        curl_close($ch);    // Closing cURL        return $data;   // Returning the data from the function    }// Defining the basic scraping function    function scrape_between($data, $start, $end){        $data = stristr($data, $start); // Stripping all data from before $start        $data = substr($data, strlen($start));  // Stripping $start        $stop = stripos($data, $end);   // Getting the position of the $end of the data to scrape        $data = substr($data, 0, $stop);    // Stripping all data from after and including the $end of the data to scrape        return $data;   // Returning the scraped data from the function    }$target_url = "https://www.somesite.com";                                $scraped_website = curl($target_url);  $data_set_1 = scrape_between($scraped_website, "%before%", "%after%");$data_set_2 = scrape_between($scraped_website, "%before%", "%after%");%before% 和 %after% 是始终显示在网页上您要抓取的数据之前和之后的数据。可能是 div 标签或一些其他 html 标签，这些标签对于您想要获取的数据来说是唯一的。

Answer 3

那么也许可以考虑使用curl 并模仿该网站正在使用的相同ajax 请求？当我搜索时，这就是我发现的： Mimicing an ajax call with Curl PHP