On Wed, Oct 13, 2010 at 11:10 PM, Anton Korobeynikov <span dir="ltr"><<a href="mailto:anton@korobeynikov.info">anton@korobeynikov.info</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div class="im">> indexing the <a href="http://llvm.org" target="_blank">llvm.org</a> svn archive. This means that when you search for an<br>
> LLVM-related symbol in code search, you get one of the many (possibly<br>
> out-of-date) mirrors, rather than the up-to-date <a href="http://llvm.org" target="_blank">llvm.org</a> version. This is<br>
> sad.<br>
</div>This is intentional. The workload of the server was pretty huge w/o this.<br></blockquote><div><br></div><div>Could we at least add a rule allowing the codesearch crawler, rather than opening it up to all crawlers? The user agent string is SVN/1.5.4/GoogleCodeSearch. </div>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<font color="#888888"><br>
--<br>
With best regards, Anton Korobeynikov<br>
Faculty of Mathematics and Mechanics, Saint Petersburg State University<br>
</font></blockquote></div><br><br clear="all"><br>-- <br>-- Talin<br>