跪求！一个大型网络爬虫应该需要满足那些功能？

Question

最近想用node写个爬虫工具，一来属性下nodejs，二来提升下知识面（个人认为爬虫是个提升前端知识面不错的学例），但是自己工作经验也不多，工作中也没了解或用过爬虫，想问下大佬们：
1、一个大型的爬虫应该是怎样的？2、需要具体具备哪些功能？（一个爬虫程序的需求？）3、一般公司是怎么使用爬虫的？