爬虫只能爬实时数据吗
发布网友
共1个回答
热心网友
是的。
网络爬虫抓取页面信息，提取其中的链接，顺着链接依次爬行，一般深度优先或者广度优先。
这样一层一层的抓取，但是网页上的信息可能会涉及版权，如果对方不允许爬虫抓取，robot协议里禁止抓取，或者设置权限为登陆状态才可以，这些都会阻碍爬虫抓取数据。
