robots

2024/4/25 13:26:44

Requests库适用于爬取网页，小规模，数据量小，爬取速度不敏感。 Scrapy库适用于爬取网站，中规模，数据规模较大，爬取速度敏感爬虫的限制来源审查：判断User‐Agent进行限制检查来访HTTP协议头…

LLM：chatgpt不知道自己不知道，如何缓和这个问题，还有幻觉问题。 VLM：效率问题、精确问题 Robots: 效率问题、精确问题 Simulation_Env：通用性(Unity)、方便易用性现实问题：成本、等等