<div dir="ltr">Here is the table of your benchmark results. It seems they aren't different to me.<div><br></div><div><div><font face="monospace, monospace">--threads</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Index          w/o Index</font></div><div><font face="monospace, monospace">3.128589132    3.128069636    1.000</font></div><div><font face="monospace, monospace">3.302902865    3.294943688    1.002</font></div><div><font face="monospace, monospace">4.842033728    4.852418117    0.997</font></div><div><font face="monospace, monospace">5.031806070    5.007721261    1.004</font></div><div><font face="monospace, monospace">5.061450822    5.067567389    0.998</font></div><div><font face="monospace, monospace">5.223625773    5.213661213    1.001</font></div><div><font face="monospace, monospace">2.777111220    2.770632998    1.002</font></div><div><font face="monospace, monospace">2.870435296    2.876185518    0.998</font></div><div><font face="monospace, monospace">2.041417779    2.043296975    0.999</font></div><div><font face="monospace, monospace">2.120939637    2.121668866    0.999</font></div><div><font face="monospace, monospace">1.543028971    1.551262595    0.994</font></div><div><font face="monospace, monospace">1.556195605    1.559701231    0.997</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">--no-threads</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Index          w/o Index</font></div><div><font face="monospace, monospace">4.648823604    4.634666491    1.003</font></div><div><font face="monospace, monospace">4.656633102    4.656090134    1.000</font></div><div><font face="monospace, monospace">7.298663474    7.288234015    1.001</font></div><div><font face="monospace, monospace">7.310040628    7.303389055    1.000</font></div><div><font face="monospace, monospace">7.508681533    7.496336533    1.001</font></div><div><font face="monospace, monospace">7.517153977    7.512991823    1.000</font></div><div><font face="monospace, monospace">4.089264337    4.097596474    0.997</font></div><div><font face="monospace, monospace">4.082382992    4.089621870    0.998</font></div><div><font face="monospace, monospace">2.202735522    2.210372640    0.996</font></div><div><font face="monospace, monospace">2.205530082    2.216226573    0.995</font></div><div><font face="monospace, monospace">3.156375368    3.165926995    0.996</font></div><div><font face="monospace, monospace">3.158119913    3.166431410    0.997</font></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 22, 2017 at 9:36 AM, Rafael Espíndola <span dir="ltr"><<a href="mailto:rafael.espindola@gmail.com" target="_blank">rafael.espindola@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I finally got the time to setup a local machine. It is an mac pro<br>
running linux. I used the tests in<br>
<a href="https://drive.google.com/open?id=0B7iRtublysV6RjFBcVJhSjg1eHM" rel="noreferrer" target="_blank">https://drive.google.com/open?<wbr>id=<wbr>0B7iRtublysV6RjFBcVJhSjg1eHM</a>, but<br>
excluded the ones that use thin archives.<br>
<br>
The results are attached.  The results are as stable as it gets and<br>
they still show a regression.<br>
<br>
Cheers,<br>
Rafael<br>
<div class="HOEnZb"><div class="h5"><br>
On 5 May 2017 at 13:06, Rui Ueyama <<a href="mailto:ruiu@google.com">ruiu@google.com</a>> wrote:<br>
> VPS isn't a good environment to collect benchmark numbers as it is noisy due<br>
> to other virtual machine sharing the same machine.<br>
><br>
><br>
> On Fri, May 5, 2017 at 12:34 PM, Rafael Avila de Espindola<br>
> <<a href="mailto:rafael.espindola@gmail.com">rafael.espindola@gmail.com</a>> wrote:<br>
>><br>
>> Rui Ueyama via Phabricator <<a href="mailto:reviews@reviews.llvm.org">reviews@reviews.llvm.org</a>> writes:<br>
>><br>
>> > ruiu added a comment.<br>
>> ><br>
>> > I think the testcase is the same. Probably that's due to difference of<br>
>> > machines. My workstation is beefy -- 2-socket Xeon with 10 physical cores<br>
>> > each. What's your machine and your numbers?<br>
>><br>
>> I tested on a c4.8 large on ec2, which looks to have 18 cores.<br>
>><br>
>> Cheers,<br>
>> Rafael<br>
><br>
><br>
</div></div></blockquote></div><br></div>