​基于 AG2 多智能体框架，实现一套动态网页数据自动化采集流水线原创

哈喽，大家好，今天给大家介绍一下AG two智能体如何实现实施网页搜索、反扒、内容抓取、数据解析、生成结构化报告、自动化工作流。A g two是一款开源的agent OS框架，让多个智能体自主协作解决复杂任务。然而其自身依赖的大模型训练数据是静态的，不能实时进行网页访问，获取外部最新数据。然而将bridge data的s erpa API和web unlocker API封装为自定义工具，赋于智能体实时搜索、网页抓取的能力，同时编排不同智能体的写作流程，让整个工作流从搜索目标页面抓取、内容分析、数据生成报告全程自动化，无需人工干预，让AG two从实验级的智能体框架变成具备实用价值的生产级多智能体系统。接下来我们看一下如何实现。首先我们需要在电脑上安装pen3.1或者更高的版本，需要配置bread web unlocker apis ER PA API以及获取bread API key, 还需要大模型的apik，可以选择open API或者其他大模型也是可以的。接下来就可以创建A季two项目了，我们进入到项目目录之后需要创建虚拟环境。

那在项目录下，我们创建一个agent.python的文件，接下来就是启动系统环境以及安装所需要的依赖。接下来我们需要配置大模型。我们在dearll jesson的文件中来配置大模型的名称以及a pik, 这里我选择的是deeppick。这是它的API请求地址以及它的APK。第三步，我们需要读取环境变量，比如我这里在点en文件中配置的brand API key, 接下来我们需要在agentend de Python文件中读取，通过os.gaenv拿到这个环境变量。4需要配置bra的服务。我们需要到bra控制面板来创建web alocker API以及s erpa API, 登录到bra用户控制面板之后，选择左侧菜单web s s.

然后点击quit an API.这里我们选择搜索引擎爬虫SERP，点击继续。这里我们数据格式选择完整的Jason，然后点击添加API，可以看到s erpa API正在创建。这里我们可以查看我们刚刚创建的API。可以看到API密钥就在这里，然后我们点击复制，可以复制到代码里边，接下来我们创建另外一个API。网络解锁API，点击继续，这里我们可以修改名称以及添加描述，然后点击添加API。可以看到web andlocker API已经创建成功，我们查看一下。

接下来我们可以在代码中将我们的区域名称，然后改为我们现在的这个SERPAPI以及web unlock API创建完成之后，需要为h two智能体来定义bright的工具，这里我们通过两个函数来实现。比如这里我定义了AC PA API two, 它用来连接braz的ACPAAPI，执行谷歌搜索。还定义了一个weblocker API two连接bra的weblocker API抓取网页内容并绕过反扒系统。接下来就可以创建a g two智能体了，这里我们需要创建3个智能体。第一个是它作为执行层来负责工具的调用，第二个是负责网页数据发现与获取，第三个它需要分析收集到的数据。比如我这里第一个创建的是user。

它用来执行工具调用和协调工作流，无需人工干预。第二个智能体是web data agent, 它负责网页数据发现与获取。这个智能体它通过data scpa API进行网页搜索，并通过weblocker API来获取网页面的数据。第三个是report agent, 它用来分析收集到的数据，并将其转化为面向决策者的结构化。接下来，我们开始在h two注册budget的工具。也就是第一个是SL PA API two, 还有第二个是weblocker API two.接下来引入AG two多智能体编排逻辑，这里我使用的是group chat的模式。Goatd的核心思想是所有智能体共同参与一个绘画线程，分享同一个向下文，这种方式非常适合需要多个智能体协作的任务。比如我这里定义一个多智能体组聊天。

然后管理员负责协调智能体的交互。接下来，我们就可以启动智能体工作流，并导出结果。这里我们可以看到最终的报告会输出为markdown的文件。我们来执行一下上面的代码。我们可以看到它生成了一个report.md的文件，这里就是它的最终的分析的报告，我将它转成中文，这里我们可以看到它的分析报告，并且非常详细。并且他给出了战略建议以及他的预算的建议。我们可以发现AG two是框架和编排者，定义智能体的分工和协作流程，S erpa API是搜索入口，为AG two找到目标网页的精准，Ul web unlocker API是数据抓取核心，为AG two突破反扒限制获取目标网页的结构化内容。三者结合彻底解决了AG two智能体静态数据无实施网页访问能力的核心痛点。

如果想要了解更多详细内容，可以关注bad date csdn官方账号以及微信公众号。