SPEC2006 benchmarks are single-threaded, but this single thread can be scheduled by the operating system on different CPUs (cores, hyperthreads, etc.) in different time slices. I used to encounter fluctuation too and fixed that using the taskset command. Not sure if that can help you too. <div><br></div><div>Also, I don't think x86 matters because this pass is only enabled in AArch64 and NVPTX for now. I do feel a little worried on the 1%-2% regression you observed on AArch64. It would be great if you can get a more stable result. <br><div><br></div><div>Jingyue<br><br><div class="gmail_quote">On Tue Nov 18 2014 at 11:01:24 PM Hao Liu <<a href="mailto:Hao.Liu@arm.com">Hao.Liu@arm.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">>>! In D5864#58, @jingyue wrote:<br>
> Did you try pinning the benchmark on one CPU? Scheduling can significantly<br>
> disturb the benchmark results. Also, if your CPU has any boosting feature<br>
> (similar to Intel's turbo boost), try disabling that. One of our folks,<br>
> Mark, found that can make benchmarking sensitive too.<br>
><br>
> Jingyue<br>
<br>
<br>
<br>
>>! In D5864#58, @jingyue wrote:<br>
> Did you try pinning the benchmark on one CPU? Scheduling can significantly<br>
> disturb the benchmark results. Also, if your CPU has any boosting feature<br>
> (similar to Intel's turbo boost), try disabling that. One of our folks,<br>
> Mark, found that can make benchmarking sensitive too.<br>
><br>
> Jingyue<br>
<br>
I think SPEC2006 benchmarks always run on one CPU, so I didn't pin to one CPU. For the boosting feature, I tested on an old x86 machine, so I'm not sure about the features. Anyway, I'm not familiar with x86 performance tests, so I think it's better to let other experts to have a try.<br>
<br>
Thanks,<br>
-Hao<br>
<br>
<a href="http://reviews.llvm.org/D5864" target="_blank">http://reviews.llvm.org/D5864</a><br>
<br>
<br>
</blockquote></div></div></div>