ScrapeWebsiteTool

Experimental

我们仍在改进工具，因此未来可能会出现意外行为或更改。

Description

一个用于提取和读取指定网站内容的工具。它能够通过发送HTTP请求并解析接收到的HTML内容来处理各种类型的网页。此工具对于网络爬取任务、数据收集或从网站中提取特定信息特别有用。

Installation

安装crewai_tools包

pip install 'crewai[tools]'

Example

from crewai_tools import ScrapeWebsiteTool

# 以便在其执行过程中抓取任何网站
tool = ScrapeWebsiteTool()

# 使用网站URL初始化工具，以便代理只能抓取指定网站的内容
tool = ScrapeWebsiteTool(website_url='https://www.example.com')

# 从网站提取文本
text = tool.run()
print(text)

Arguments

• website_url : 必须的网站URL，用于读取文件。这是工具的主要输入，指定应抓取和读取哪个网站的内容。