AI 浪潮这么大，为啥没有一个小白也可以直接上手的数据抓取工具呢？

happydebug · 发表于 2026-7-9 16:46:28

最近一直想抓一些舆情文章然后沉淀到自己的本地知识库中。尝试了各种工具，codex 控制浏览器，小龙虾控制浏览器，codex + 各种 skills 。都无法高效批量抓取目标数据。是我看的世界不够大吗？只能写代码？

xy2401 · 发表于 2026-7-9 16:47:39

因为目标站也很辛苦在做反爬啊
-----
codex 控制浏览器手动登录后应该就没什么限制了吧？

x86 · 发表于 2026-7-9 16:49:25

AI 爬虫 VS AI 反爬虫，魔法对魔法

ota · 发表于 2026-7-9 17:16:51

firecrawl 对开放的网站适配程度还行，可以试试。清洗入库最终还是得自己（ AI ）写代码的