通过本案各犯罪嫌疑人口供、证人证言的对比，我们对当事人的职务情况有了更加清晰的了解。
，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

通过阅卷，我们了解到了我们当事人虽然入职时间比较早，但前期公司都处于P2P软件平台研发阶段，并没有正式上线。我们当事人实际开展业务的时间并非像公安起诉意见书认定的之久。这个辩点我们当事人不论是在口供中还是在会见时均为提及。经过我们向当事人核实，得到当事人的确认。
大家是不是有很熟悉的感觉？没错，像谷歌、百度这样的搜索引擎其实就是个大型的爬虫，它们的内容都是爬虫采集下来的，然后归集，整理并按照一定规律存储，最后展现在网页中。而网页爬虫作为一种计算机技术而言，

我们立刻就此展开工作，经过数日得加班加点，一篇经反复修改、多达20余页的法律意见书撰写完成，当日即邮寄给了承办检察官。
这里必须要说一下Robots协议（爬虫协议、机器人协议），它的全称叫“网络爬虫排除标准”（Robots Exclusion Protocol），属于国际互联网界通行的道德规范,读懂了它，你采集数据才算基本安全。

随后，我们争取机会与检察官当面进行了沟通。承办检察官后面也对我们的提出的开展业务时间进行了进一步核实，我们的其他意见均被采信，并体现在了起诉书中。
最简单的 Sitemap就是XML 文件，XML 文件中会列出网站中的网址以及关于每个网址的其他元数据（上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等），以便搜索引擎可以更加智能地抓取网站

三、数月努力终判缓刑
然而，在大数据时代，网页爬虫所赚取的利益已经非常单薄，于是数据爬虫又变成了新的逐利手段。尤其是在电子商务行业，可以说没有一家不用爬虫，这已经变成了斗智斗勇的“猫捉老鼠”的游戏。

时间在焦急的等待中过去。九月的一天，我团队收到消息，本案已经起诉至普陀法院。团队律师第一时间联系了法院刑庭，随后与审理本案的主审法官预约阅卷。
电商企业一方面希望阻止竞争对手爬取自己的网站，另一方面又想渗透到对手的网站进行采集数据。例如电商的实时比价，它采集竞争对手的实时的产品价格数据，然后自动对自己的价格数据进行调整。

拿到新阅取案卷中的起诉书后，我们发现向检察院提出的意见被采纳，当事人在本案中被认定为起次要作用的从犯，又属于如实供述的依法从轻情节，其退赔的金额也得到了认定！连续数个月紧绷的弦终于放下。