FetchURL

使用服务

FetchURL是SAE为开发者提供的分布式网页抓取服务,用来同步的抓取http页面。

    FetchURL是SAE为开发者提供的分布式网页抓取服务,用来同步抓取http页面。FetchURL针对国内的网络做了优化,优化后的网络内部含有调度系统,用来尽可能保证用户快速的抓取到目标页面。在SAE上使用FetchURL非常简单,只需要调用sae_std_lib中的几个简单的函数即可。

    SAE目前已经完全兼容cURL模块(内部用FetchURL实现),所以用户可以使用cURL*函数进行HTTP请求。但需要特别注意的是,为了平台安全性,SAE对FetchURL也做了一些限制。

    另外,SAE规定FetchURL的user-agent默认包含SAE/fetchurl-accesskey,其中的accesskey指的是用户的accesskey。用户可以自行添加user-agent,Referer用户也可以自行定义。

    FetchURL服务详情请参看:http://sae.sina.com.cn/doc/php/fetchurl.html#fetchurl