<div dir="ltr">When I re-ran the TSVC tests 100 times on a quieter machine, all the differences were less than 2%.</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 21, 2016 at 12:43 PM, Kyle Butt <span dir="ltr"><<a href="mailto:kyle+llvm@iteratee.net" target="_blank">kyle+llvm@iteratee.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">iteratee added a comment.<br>
<br>
Key: for each run avg, median, stddev (stddev as a percent), 10th percentile.<br>
%Change: avg, median, 10th percentile.  %Change is change in runtime, so negative percent is an improvement.<br>
<br>
Unchanged is listed first.<br>
<br>
I'm only showing the tests with a difference of more than 2 percent.<br>
I ran each of these benchmarks 50 times.<br>
<br>
The only significant results are in TSVC. I'll see how many benchmarks that is and maybe run them more times.<br>
<br>
test-suite :: MultiSource/Benchmarks/7zip/7zip-benchmark.test  Â 7.014  Â 7.012  Â 0.290  Â (4.130%)  Â  Â  Â  6.672<br>
test-suite :: MultiSource/Benchmarks/7zip/7zip-benchmark.test  Â 7.021  Â 7.011  Â 0.199  Â (2.835%)  Â  Â  Â  6.807<br>
% Change: -0.016 %  Â  Â  -0.016 %  Â  Â  Â  2.013 %<br>
test-suite :: MultiSource/Benchmarks/MallocBench/cfrac/cfrac.test  Â  Â  Â 0.924  Â 0.926  Â 0.054  Â (5.828%)  Â  Â  Â  0.857<br>
test-suite :: MultiSource/Benchmarks/MallocBench/cfrac/cfrac.test  Â  Â  Â 0.914  Â 0.907  Â 0.042  Â (4.616%)  Â  Â  Â  0.858<br>
% Change: -1.993 %  Â  Â  -1.993 %  Â  Â  Â  0.163 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Equivalencing-dbl/Equivalencing-dbl.test  Â  Â  1.976  Â 1.964  Â 0.109  Â (5.525%)  Â  Â  Â  1.840<br>
test-suite :: MultiSource/Benchmarks/TSVC/Equivalencing-dbl/Equivalencing-dbl.test  Â  Â  2.000  Â 1.959  Â 0.122  Â (6.075%)  Â  Â  Â  1.882<br>
% Change: -0.242 %  Â  Â  -0.242 %  Â  Â  Â  2.288 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Equivalencing-flt/Equivalencing-flt.test  Â  Â  1.246  Â 1.233  Â 0.091  Â (7.321%)  Â  Â  Â  1.144<br>
test-suite :: MultiSource/Benchmarks/TSVC/Equivalencing-flt/Equivalencing-flt.test  Â  Â  1.239  Â 1.219  Â 0.066  Â (5.311%)  Â  Â  Â  1.169<br>
% Change: -1.172 %  Â  Â  -1.172 %  Â  Â  Â  2.211 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Expansion-flt/Expansion-flt.test  Â  Â  1.745  Â 1.751  Â 0.096  Â (5.491%)  Â  Â  Â  1.628<br>
test-suite :: MultiSource/Benchmarks/TSVC/Expansion-flt/Expansion-flt.test  Â  Â  1.732  Â 1.706  Â 0.095  Â (5.460%)  Â  Â  Â  1.630<br>
% Change: -2.601 %  Â  Â  -2.601 %  Â  Â  Â  0.086 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/GlobalDataFlow-dbl/GlobalDataFlow-dbl.test  Â  3.115  Â 3.097  Â 0.110  Â (3.546%)  Â  Â  Â  2.982<br>
test-suite :: MultiSource/Benchmarks/TSVC/GlobalDataFlow-dbl/GlobalDataFlow-dbl.test  Â  3.190  Â 3.171  Â 0.124  Â (3.872%)  Â  Â  Â  3.048<br>
% Change: 2.392 %  Â  Â  Â 2.392 % 2.220 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/InductionVariable-dbl/InductionVariable-dbl.test  Â  Â  3.691  Â 3.673  Â 0.177  Â (4.787%)  Â  Â  Â  3.512<br>
test-suite :: MultiSource/Benchmarks/TSVC/InductionVariable-dbl/InductionVariable-dbl.test  Â  Â  3.685  Â 3.667  Â 0.181  Â (4.925%)  Â  Â  Â  3.442<br>
% Change: -0.162 %  Â  Â  -0.162 %  Â  Â  Â  -1.988 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/LinearDependence-dbl/LinearDependence-dbl.test  Â  Â  Â  3.191  Â 3.140  Â 0.193  Â (6.044%)  Â  Â  Â  2.978<br>
test-suite :: MultiSource/Benchmarks/TSVC/LinearDependence-dbl/LinearDependence-dbl.test  Â  Â  Â  3.233  Â 3.236  Â 0.159  Â (4.908%)  Â  Â  Â  3.051<br>
% Change: 3.070 %  Â  Â  Â 3.070 % 2.478 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/LoopRerolling-dbl/LoopRerolling-dbl.test  Â  Â  3.557  Â 3.524  Â 0.166  Â (4.669%)  Â  Â  Â  3.378<br>
test-suite :: MultiSource/Benchmarks/TSVC/LoopRerolling-dbl/LoopRerolling-dbl.test  Â  Â  3.577  Â 3.556  Â 0.118  Â (3.286%)  Â  Â  Â  3.458<br>
% Change: 0.899 %  Â  Â  Â 0.899 % 2.374 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/LoopRestructuring-flt/LoopRestructuring-flt.test  Â  Â  3.480  Â 3.457  Â 0.161  Â (4.639%)  Â  Â  Â  3.292<br>
test-suite :: MultiSource/Benchmarks/TSVC/LoopRestructuring-flt/LoopRestructuring-flt.test  Â  Â  3.520  Â 3.493  Â 0.128  Â (3.642%)  Â  Â  Â  3.382<br>
% Change: 1.053 %  Â  Â  Â 1.053 % 2.721 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/NodeSplitting-dbl/NodeSplitting-dbl.test  Â  Â  3.411  Â 3.379  Â 0.176  Â (5.147%)  Â  Â  Â  3.211<br>
test-suite :: MultiSource/Benchmarks/TSVC/NodeSplitting-dbl/NodeSplitting-dbl.test  Â  Â  3.469  Â 3.459  Â 0.168  Â (4.856%)  Â  Â  Â  3.275<br>
% Change: 2.372 %  Â  Â  Â 2.372 % 2.009 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Packing-flt/Packing-flt.test  2.399  Â 2.354  Â 0.156  Â (6.496%)  Â  Â  Â  2.228<br>
test-suite :: MultiSource/Benchmarks/TSVC/Packing-flt/Packing-flt.test  2.415  Â 2.415  Â 0.099  Â (4.110%)  Â  Â  Â  2.266<br>
% Change: 2.594 %  Â  Â  Â 2.594 % 1.705 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Recurrences-flt/Recurrences-flt.test  3.480  Â 3.449  Â 0.142  Â (4.087%)  Â  Â  Â  3.349<br>
test-suite :: MultiSource/Benchmarks/TSVC/Recurrences-flt/Recurrences-flt.test  3.409  Â 3.412  Â 0.110  Â (3.237%)  Â  Â  Â  3.266<br>
% Change: -1.089 %  Â  Â  -1.089 %  Â  Â  Â  -2.467 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Searching-dbl/Searching-dbl.test  Â  Â  2.778  Â 2.749  Â 0.137  Â (4.941%)  Â  Â  Â  2.632<br>
test-suite :: MultiSource/Benchmarks/TSVC/Searching-dbl/Searching-dbl.test  Â  Â  2.825  Â 2.824  Â 0.135  Â (4.784%)  Â  Â  Â  2.648<br>
% Change: 2.715 %  Â  Â  Â 2.715 % 0.581 %<br>
test-suite :: MultiSource/Benchmarks/TSVC/Symbolics-flt/Symbolics-flt.test  Â  Â  1.002  Â 1.002  Â 0.077  Â (7.686%)  Â  Â  Â  0.919<br>
test-suite :: MultiSource/Benchmarks/TSVC/Symbolics-flt/Symbolics-flt.test  Â  Â  1.041  Â 1.043  Â 0.069  Â (6.591%)  Â  Â  Â  0.962<br>
% Change: 4.099 %  Â  Â  Â 4.099 % 4.579 %<br>
<br>
<br>
<a href="http://reviews.llvm.org/D18223" rel="noreferrer" target="_blank">http://reviews.llvm.org/D18223</a><br>
<br>
<br>
<br>
</blockquote></div><br></div>