如何使用网络抓取获取推文的内容

Question

我尝试过使用 puppeteer，但是我会尝试通过传入 x-path 来获取信息，它永远不会返回任何信息。完全相同的程序适用于不同的网站，但不适用于 Twitter。有没有办法使用 Cheerio 或其他方法获取推文的内容？我可以访问 twitter API，但是文档很难理解。

编辑代码：这是我的 pupputeer 代码，它出于某种原因挂在 await page.waitfornavigation() 仅用于 twitter。对于任何其他网站，这都有效。

const Apify = require('apify');

 

var OldAlphaAIData = {TICKER:"", REF:"", SIGNAL:""} 

Apify.main(async () => {

    const input = await Apify.getValue('INPUT');

 

    const browser = await Apify.launchPuppeteer();

    const page = await browser.newPage();

    await page.goto('https://twitter.com/MarketsTicker');

    await page.waitForNavigation();

    do

    {

        console.log('ffff');

        var timenow = new Date(); //Get Date

        timenow.setHours(timenow.getHours() + 1);

        var AlphaAIData = {TICKER:"", REF:"", SIGNAL:""};

        var everything;

        var everythingarray = [];

 

        //xpath to 1st twitter message      

        const [el0] = await page.$x('/html/body/div/div/div/div[2]/main/div/div/div/div[1]/div/div[2]/div/div/div[2]/section/div/div/div/div[1]');    

        const txt0 = await el0.getProperty('textContent');

        everything = await txt0.jsonValue();

        console.log(everything);

    }while(true);

});

Answer 1

不确定您尝试从每条推文中提取的确切内容以及您如何解决问题，但twitter 模块的文档非常简单，假设您正在使用基于问题标签的节点。var Twitter = require('twitter'); var client = new Twitter({  consumer_key: '',  consumer_secret: '',  access_token_key: '',  access_token_secret: ''}); var params = {screen_name: 'nodejs'};client.get('statuses/user_timeline', params, function(error, tweets, response) {  if (!error) {    console.log(tweets);  }});当然，要实现这一点，您需要注册访问 API 并使用适当的变量（如 consumer_key、consumer_secret 等）提供这些详细信息。更新：我已经设法让您的代码在 twitter 上运行，请查看以下更改，最重要的是await page.waitForXPath(xpath);，它在尝试获取其内容之前等待 xpath 首先加载。xpath 也不同，我在 DOM 内部进一步指出了保存消息的跨度。const Apify = require('apify');var OldAlphaAIData = { TICKER: "", REF: "", SIGNAL: "" }Apify.main(async () => {    const input = await Apify.getValue('INPUT');    const browser = await Apify.launchPuppeteer();    const page = await browser.newPage();    const navigationPromise = page.waitForNavigation();    await page.goto('https://twitter.com/MarketsTicker')    await navigationPromise    console.log('ffff');    var timenow = new Date(); //Get Date    timenow.setHours(timenow.getHours() + 1);    var AlphaAIData = { TICKER: "", REF: "", SIGNAL: "" };    var everything;    var everythingarray = [];    //xpath to 1st twitter message          const xpath = '/html/body/div/div/div/div[2]/main/div/div/div/div/div/div/div/div/div[2]/section/div/div/div/div[1]/div/div/article/div/div/div/div[2]/div[2]/div[2]/div[1]/div/span';    await page.waitForXPath(xpath);    const [el0] = await page.$x(xpath);    const txt0 = await el0.getProperty('textContent');    everything = await txt0.jsonValue();    console.log(everything);});为简单起见，我删除了无限循环，因为它无限期地打印第一条推文。