“无法将“pipenv”项识别为 cmdlet、函数、脚本文件或可运行程序的名称”,不行
在谷歌的扩展应用中直接搜索xpath就可以了
软件包安装管理工具 YUM,类似于应用商店的东西。开发环境是CentOS,基于Linux的系统。不是在window系统环境
这里是设置代理访问的,你可以去网上找找免费或者收费的代理。照猫画虎就可以了。
不写这里的话,那就是根据你运行环境的ip去爬取的
你好,请问你这边解决了嘛
"C:\Program Files\Python38\python.exe" C:/Users/Administrator/Desktop/study_python/douban/douban/main.py
Traceback (most recent call last):
File "C:/Users/Administrator/Desktop/study_python/douban/douban/main.py", line 2, in <module>
cmdline.execute('scrapy crawl douban_sprider'.split())
File "C:\Program Files\Python38\lib\site-packages\scrapy\cmdline.py", line 112, in execute
settings = get_project_settings()
File "C:\Program Files\Python38\lib\site-packages\scrapy\utils\project.py", line 69, in get_project_settings
settings.setmodule(settings_module_path, priority='project')
File "C:\Program Files\Python38\lib\site-packages\scrapy\settings\__init__.py", line 287, in setmodule
module = import_module(module)
File "C:\Program Files\Python38\lib\importlib\__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
File "<frozen importlib._bootstrap>", line 991, in _find_and_load
File "<frozen importlib._bootstrap>", line 973, in _find_and_load_unlocked
ModuleNotFoundError: No module named 'douban.settings'
Process finished with exit code 1
应该是个crx扩展,可以自行搜索一下。
在元素标签ctrl F 可以直接搜索xpath语法
从编辑模式切换到命令模式,方法:按下ESC键,即可在编辑屏幕上开一个命令行小窗,然后:w回车。返回编辑模式,在命令模式下按下a键。
在settings.py中添加以下配置,再重新导出 FEED_EXPORT_ENCODING = 'UTF-8'
对呢,确实是只取了一行,因为两行中间有个<br>换行,xpath提取之后每一行是一个元素为2的列表,但是视频循环一层默认就取了提取列表最后一项导致取得是后面一行,我加了一层循环好了,你可以试试
content = i_item.xpath(".//div[@class='info']//div[@class='bd']/p[1]/text()").extract() for i_content in content: print(i_content) for i in i_content: content_s = "".join(i.split('\n')) douban_item['introduce'] = content_s print(douban_item['introduce'])
应该是把数据用python提取出来?
首先看你的电脑系统是什么呢win7/10 苹果系统都不同的呀
浏览器里打开F12选中那一行右键copy,然后copy xpath也可以