Tag: 网页 刮

从网站上抓取数据的最好方法是什么？

我需要从网站中提取内容，但应用程序不提供任何应用程序编程接口或其他机制以编程方式访问该数据。 我发现了一个名为Import.io的有用的第三方工具，它提供了用于抓取网页和构build数据集的点击和移动function，唯一的是我想在本地保存数据，而且我不想订阅任何订阅计划。 这家公司使用什么样的技术来抓取网页和build立他们的数据集？ 我发现一些网页抓取框架pjscrape和Scrapy可以提供这样的function