<div style="line-height:1.7;color:#000000;font-size:14px;font-family:arial">At 2013-05-04 02:24:41,"Sebastian Pop" <spop@codeaurora.org> wrote:<br><pre>>Star Tan wrote:
>> >> #### Stage1 -- Set up a Polly performance tester to track the compile time. [Week 1]
>> >>
>> >> The first important work is to pick criteria to evaluate my work in
>> >> this project. This project targets to reduce compile-time overhead,
>> >> but at the same time it must not degrade the performance. To simplify
>> >> the testing, I will use the number of scops that optimized by Polly as
>> >> the performance criteria. As a result, our Polly performance tester
>> >> should contains two parts:
>> >>
>> >> * Code performance: the number of scops optimized by Polly should not
>> >> be degraded.
>> >> * Compile-time Overhead: both the total compile-time overhead and the
>> >> percentage of each Polly pass are both important.
>> >>
>> >> Furthermore, I currently use some scripts to collect the compile-time
>> >> statistics, but it still requires some tricky and manual work. My plan
>> >> is to set up an automation testing environment and integrate it into
>> >> Polly.
>> >
>> >Yes, this is nice. It would be great if we could get some hardware to
>> >run such tests regularly. I will check if we can find a sponsor for
>> >this?
>
>I will ask if we can have a machine to run a polly perf build-bot.</pre><pre>></pre><pre>Thanks,  Sebastian. Waiting for the further news.</pre><pre><br></pre><pre>>> Thank you. That would be great if we can find a sponsor.
>> Otherwise, I think I have to run all test on my laptop.
>> 
>
>An alternative is to set up an automatic tester in the gcc compile farm
>http://gcc.gnu.org/wiki/CompileFarm
></pre><pre>I have sent a request email to the CompileFarm committees. Hope my request can be approved!</pre><pre>
>and run the perf measurements on several different machines: collect all the
>data and use a noise filter to discard any hiccups due to the use of the system
>by another process, etc.
>
>http://repo.or.cz/w/gcc-perf-regression-tester.git/blob_plain/HEAD:/analyze.R
>http://repo.or.cz/w/gcc-perf-regression-tester.git/blob_plain/HEAD:/analyze-core.R
>
>Note that even on a dedicated system you would have the same noise problem.</pre><pre>You are right. A good noise filter is important in our testing. Thanks for your helpful scripts.</pre><pre>
>
>Sebastian
>-- 
>Qualcomm Innovation Center, Inc. is a member of Code Aurora Forum,
>hosted by The Linux Foundation
</pre><pre><br></pre><pre>Best wishes!</pre><pre>Star Tan</pre></div><br><br><span title="neteasefooter"><span id="netease_mail_footer"><span title="neteasefooter"><span id="netease_mail_footer"><a href="#" target="_blank"></a></span></span>
</span></span>