<div dir="auto"><div>It probably could be setup to whitelist some of the well-behaved search engine bots. If it's set to disallow by default then the broken bots should not try to index it.<br><br><div class="gmail_quote"><div dir="ltr">On Sun, Oct 7, 2018, 12:57 Anton Korobeynikov via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello<br>
<br>
We explicitly disallow indexing of bugzilla due to lots of bogus<br>
requests from broken bots which create major workload on <a href="http://llvm.org" rel="noreferrer noreferrer" target="_blank">llvm.org</a>.<br>
On Sun, Oct 7, 2018 at 7:21 PM Ties Stuij via llvm-dev<br>
<<a href="mailto:llvm-dev@lists.llvm.org" target="_blank" rel="noreferrer">llvm-dev@lists.llvm.org</a>> wrote:<br>
><br>
> Hi all,<br>
><br>
><br>
> As I was perusing LLVM Bugzilla, I noticed that it's not indexed by search engines, probably thanks to the robots.txt file* which inhibits all indexing.<br>
><br>
><br>
> I think that it's extremely useful for these issues to show up in say google search queries, so I wonder if it's just an oversight or if there's another reason for this.<br>
><br>
><br>
> Thanks,<br>
><br>
> /Ties<br>
><br>
><br>
><br>
> * <a href="http://bugs.llvm.org/robots.txt" rel="noreferrer noreferrer" target="_blank">http://bugs.llvm.org/robots.txt</a>:<br>
><br>
> User-agent: *<br>
> Allow: /index.cgi<br>
> Disallow: /<br>
><br>
> IMPORTANT NOTICE: The contents of this email and any attachments are confidential and may also be privileged. If you are not the intended recipient, please notify the sender immediately and do not disclose the contents to any other person, use it for any purpose, or store or copy the information in any medium. Thank you.<br>
> _______________________________________________<br>
> LLVM Developers mailing list<br>
> <a href="mailto:llvm-dev@lists.llvm.org" target="_blank" rel="noreferrer">llvm-dev@lists.llvm.org</a><br>
> <a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
<br>
<br>
<br>
--<br>
With best regards, Anton Korobeynikov<br>
Department of Statistical Modelling, Saint Petersburg State University<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank" rel="noreferrer">llvm-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div></div></div>