<div dir="ltr">Hi Min,<div><br></div><div>Your question assumes that an acceptance criterion for a patch is that the LLVM test-suite improves. That is incorrect; patches do not need to improve the test-suite in order to be accepted.</div><div><br></div><div>As a community we care about a very diverse range of workloads. Not all of those (and probably not most!) are represented in the test-suite. What the test-suite aims to do is cover a range of publicly available benchmarks and programs to attempt to give a more representative slice of the "real world" than some other benchmark suites do.</div><div><br></div><div>It is very often the case that workloads (be they real world applications or benchmarks) have a hot, dominating section of code that if it is optimized well, or in a specific way, the workload improves drastically. It is not expected that all these possible optimizations would improve tests in the test-suite. If they do - fantastic, but that's not a blocker.</div><div><br></div><div>However, the test-suite can give an indication that a patch is *not* good in the general case. It has a more diverse set of workloads than any other suite I've come across, and so can provide a decent indication of how a patch would behave on "more real world" code than whatever workload you're targetting. It can tell you if your patch even triggers in real world code, and can tell you if it regresses.</div><div><br></div><div>So regressing the test-suite may block your patch, but improving the test-suite is not a requirement.</div><div><br></div><div>Cheers,</div><div><br></div><div>James</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, 11 Dec 2015 at 06:32 김민성 via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div>
<p>Hi~ Guys,</p>
<p> </p>
<p>Could anyone tell me what is the positive percentage of performance increase from llvm test-suite, which can be considered worth patching ?</p>
<p> </p>
<p>Cheers</p>
<p>--Min</p>
<p> </p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">
<p><span style="FONT-FAMILY:나눔고딕;FONT-SIZE:8pt"><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">------------------------------------------------------</span></span></p>
<p></p></span><strong><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">MinSeong KIM</span></strong>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">Software Engineer</span></p>
<p><span style="FONT-FAMILY:나눔고딕;FONT-SIZE:8pt"></span><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">S/W Platform Development Team</span></p>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">S.LSI Business</span></p>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt"></span> </p>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">SAMSUNG ELECTRONICS</span></p>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">Mobile: +82-10-5636-7974</span></p>
<p><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">E-mail: </span><a href="mailto:min.s.kim@samsung.com" target="_blank"><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">min.s.kim@samsung.com</span></a></p><span style="FONT-FAMILY:나눔고딕;FONT-SIZE:8pt">
<p><span style="FONT-FAMILY:나눔고딕;FONT-SIZE:8pt"><span style="FONT-FAMILY:Calibri;FONT-SIZE:8pt">------------------------------------------------------</span></span></p></span>
<p> </p>
<table>
<tbody>
<tr>
<td>
<p><img border="0" src="cid:ZPZQ39MRZQS8@namo.co.kr"></p></td></tr></tbody></table></div><img src="http://ext.samsung.net/mailcheck/SeenTimeChecker?do=b6ee01ef39bdd5c0155dafbf5ac2220aec4458246ad3245ae853daf4dfac91992c11cccbcff58b3932f89054731b278ff4bcdeced46ed5ee08cece8541bc14eacf878f9a26ce15a0" border="0" width="0" height="0">_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">http://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div>