<div dir="ltr">Hello llvm-dev,<div><br></div><div>We recently collected some data on the test-suite using cfl=steens AA compared to BasicAA and wanted to report the results.  There is one failing test (SingleSource/Benchmarks/Shootout/Shootout-lists.exec) which we are looking into.  All unlisted tests show no statistical difference.  There are additional details about the testing methodology at the bottom of the email.</div><div><br></div><div>- Brian Homerding</div><div><br></div><div>The format of the results is: (negative means BasicAA is better)</div><div><b>Test</b></div><div>Absolute Difference</div><div>Percentage Difference</div><div><br></div><div>**************** Execution Differences ****************</div><div><div><b>SingleSource/Benchmarks/Shootout/Shootout-matrix.exe</b></div><div>0.104083 +/- 0.0617407</div><div>7.14886% +/- 4.2406%</div><div><br></div><div><b>SingleSource/Benchmarks/CoyoteBench/huffbench.exec</b></div><div>0.408713 +/- 0.174997</div><div>3.21233% +/- 1.37541%</div></div><div><br></div><div>**************** Compilation Differences ****************</div><div><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><b>MultiSource/Benchmarks/DOE-ProxyApps-C/SimpleMOC/SimpleMOC.compile</b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-0.176327 +/- 0.0750171</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-6.18574% +/- 2.63169%</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><b>MultiSource/Benchmarks/tramp3d-v4/tramp3d-v4.compile</b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-0.599067 +/- 0.49799</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-1.23398% +/- 1.02577%</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><b>MultiSource/Benchmarks/nbench/nbench.compile</b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">0.31194 +/- 0.137726</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">7.0723% +/- 3.12252%</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif"><b>MultiSource/Benchmarks/MallocBench/gs/gs.compile</b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-0.0901467 +/- 0.0737197</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt"><font face="Calibri, sans-serif">-0.85973% +/- 0.703066%</font></p></div><div><br></div><div><div><b>MultiSource/Benchmarks/MiBench/consumer-typeset/consumer-typeset.compile</b></div><div>-0.542867 +/- 0.511135</div><div>-1.72053% +/- 1.61996%</div></div><div><br></div><div>**************** Link Differences ****************</div><div><div><b>MultiSource/Benchmarks/TSVC/ControlFlow-dbl/ControlFlow-dbl-link.compile</b></div><div>-0.00284333 +/- 0.0026716</div><div>-9.62319% +/- 9.04198%</div></div><div><b><br></b></div><div><div><b>SingleSource/Benchmarks/Shootout-C++/</b><b>Shootout-C++-ary3-link.compile</b></div><div>-0.0039 +/- 0.00380256</div><div>-8.40819% +/- 8.19811%</div></div><div><br></div><div><div><b>MultiSource/Benchmarks/SciMark2-C/s</b><b>cimark2-link.compile</b></div><div>-0.00320667 +/- 0.00242367</div><div>-12.8335% +/- 9.69987%</div><div><b><br></b></div><div><b style="font-family:Calibri,sans-serif">MultiSource/Benchmarks/tramp3d-v4/t</b><b>ramp3d-v4-link.compile</b></div><div>-0.00392 +/- 0.0036359</div><div>-4.30517% +/- 3.99315%</div><div><br></div><div><b style="font-family:Calibri,sans-serif">MultiSource/Benchmarks/TSVC/NodeSplitting-dbl/</b><b>NodeSplitting-dbl-link.compile</b></div><div>-0.00362667 +/- 0.00287988</div><div>-12.9957% +/- 10.3197%</div></div><div><br></div><div><br></div><div>** Notes on the testing methodology **</div><div>We collected 30 compilation and execution samples on an Intel(R) Xeon(R) Platinum 8180M CPU @ 2.50GHz Skylake machine using revision 348151.  Beyond the "-use-cfl-aa=steens" flag we also used "-march=native -O3".  The results were compared using a python version of the ministat tool. </div></div>