在网站上线时,站长最希望的是可以跟踪到各大搜索引擎的爬虫收录,可以更方便的为网站的关键字进行优化和改进。
下面为ASP.NET CORE版本的爬虫蜘蛛的记录。
//判断蜘蛛开始
//从配置文件或数据库取出爬虫UA标识
var ApiderArr="[{ID:\"Baiduspider\",Value:\"百度蜘蛛\"},{ID:\"Googlebot\",Value:\"谷歌蜘蛛\"},{ID:\"Yahoo\",Value:\"雅虎蜘蛛\"},{ID:\"iaskspider\",Value:\"新浪爱问蜘蛛\"},{ID:\"Sogou\",Value:\"搜狗蜘蛛\"},{ID:\"Sosospider\",Value:\"SOSO蜘蛛\"},{ID:\"YoudaoBot\",Value:\"网易有道蜘蛛\"},{ID:\"360Spider\",Value:\"360蜘蛛\"},{ID:\"msnbot\",Value:\"Msn蜘蛛\"},{ID:\"bingbot\",Value:\"必应蜘蛛\"}]";//获取访问UA
var userAgent = httpContext.Request.Headers["User-Agent"];
try
{
var Spider = JsonConvert.DeserializeObject<List<Val>>(ApiderArr);
foreach (var s in Spider)
{
Regex spider = new Regex(s.ID, RegexOptions.IgnoreCase | RegexOptions.Multiline);
if (spider.IsMatch(userAgent))//判断爬虫标识
{
backup1 = s.Value;
}
}
}
catch(Exception e) {
Logger.Error("判断蜘蛛出错" + e.ToString());
}
//判断蜘蛛结束
//标识模型
public class Val
{
public string ID { set; get; }
public string Value { set; get; }
}
这篇文档对您是否有帮助?