<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Nov 4, 2013 at 11:57 AM, Rick Foos <span dir="ltr"><<a href="mailto:rfoos@codeaurora.org" target="_blank">rfoos@codeaurora.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="im">On 11/04/2013 10:35 AM, Shankar Easwaran wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
On 10/29/2013 6:46 PM, Dmitri Gribenko wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
On Tue, Oct 29, 2013 at 4:34 PM, Shankar Easwaran<br>
<<a href="mailto:shankare@codeaurora.org" target="_blank">shankare@codeaurora.org</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
On 10/29/2013 6:32 PM, Dmitri Gribenko wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
But that patch adds the builders to the fast schedule, doesn't it?..<br>
</blockquote>
Yes, can you point me to the schedule that you want to add ?<br>
<br>
Is there a seperate category of builders where I need to add this ?<br>
</blockquote>
Sorry, I don't have an in-depth experience of working with zorg<br>
scripts to do something non-standard, so I don't think I can give any<br>
concrete advice.  I remember that when I was setting up the clang_fast<br>
schedule, someone on IRC was helping me.<br>
</blockquote>
What we have been doing over the last week is to run the clang-lld fast build, with sanitize options on the buildbots that we have.<br>
<br>
They do run fine, except that we see very high cpu usage (load average : 149).  We used a *ninja* environment for building and running tests.<br>
<br>
Do you have any suggestions to get a environment, where the load average is much saner ?<br>
<br>
Ccing Rick Foos here, who was able to setup the complete environment, if you have any questions.<br>
<br>
Thanks<br>
<br>
Shankar Easwaran<br>
<br>
</blockquote></div>
My thought for config was to use the existing sanitizer category in builders.py, and add an Ubuntu 13.04 slave to run the sanitizers.<br>
<br>
To stabilize the server, the maximum load of both ninja and ninja running asan needs to be controlled. The sanitizer jobs need to be serialized to avoid resource limits on the server.<br>
<br>
First removing the nice -10's, which may have limited what the OS could do to reduce the load.<br>
Second, ninja -j for the main build.<br></blockquote><div><br></div><div>Ninja also has a -l option which will not start new jobs until system load falls below a set target.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

Third, for asan, defining pools may be a way to control the load, but pools look to be hardcoded rather than tunable for a machine.<br></blockquote><div><br></div><div>You can always process the ninja files and add the pools yourself. I wrote a node.js module that makes this sort of thing trivially easy to do <<a href="https://github.com/chisophugis/ninja-build-parser">https://github.com/chisophugis/ninja-build-parser</a>> (check out examples/identity.js for a 70-line round-tripping example); just modify the rules in the object stream to add a pool binding to the relevant rules, and add pool declarations at th beginning (examples/toJson.js can be used to inspect the object format; examples/identity.js shows how all the fields relate back to the .ninja file).</div>
<div><br></div><div>-- Sean Silva</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<br>
The second problem is to prevent both sanitizers from running at the same time.<br>
<br>
Is there a scheduler method in zorg to serialize two builders?<br>
<br>
Any thoughts on this, or suggestions on how to do this better would be appreciated.<span class=""><font color="#888888"><br>
<br>
-rick<br>
<br>
-- <br>
Rick Foos</font></span><div class=""><div class="h5"><br>
Qualcomm Innovation Center, Inc. is a member of Code Aurora Forum, hosted by The Linux Foundation<br>
<br>
______________________________<u></u>_________________<br>
llvm-commits mailing list<br>
<a href="mailto:llvm-commits@cs.uiuc.edu" target="_blank">llvm-commits@cs.uiuc.edu</a><br>
<a href="http://lists.cs.uiuc.edu/mailman/listinfo/llvm-commits" target="_blank">http://lists.cs.uiuc.edu/<u></u>mailman/listinfo/llvm-commits</a><br>
</div></div></blockquote></div><br></div></div>