<div><div dir="auto">This is also the case with the Visual Studio generators. Custom commands in a single cmake file essentially get written out line by line into a single batch file that gets processed as a custom build step. In the VS case this means that it can, for example, run X86 and Aarch64 tablegen steps in parallel with each other but all of the individual X86 invocations get processed serially. I can well imagine that the Xcode situation is similar although I've no experience with it myself to know for sure.</div></div><div dir="auto"><br></div><div dir="auto">As previously mentioned, the best solution is probably to try to adjust your workflow to use the Ninja ( <div><a href="https://ninja-build.org">https://ninja-build.org</a></div> ) CMake generator if at all possible.  It's a bit of an adjustment but it does work very nicely with the LLVM build system.</div><div dir="auto"><br></div><div dir="auto">-Greg</div><div dir="auto"><br></div><div dir="auto"><br></div><div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, 30 Jun 2019 at 12:08, Nicolai Hähnle via llvm-dev <<a href="mailto:llvm-dev@lists.llvm.org">llvm-dev@lists.llvm.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Are you saying that the TableGen execution isn't parallelized? That <br>
seems like an obvious Xcode-specific problem...<br>
<br>
The TableGen executions are parallelized with cmake/ninja just fine.<br>
<br>
Cheers,<br>
Nicolai<br>
<br>
On 30.06.19 11:28, Joan Lluch via llvm-dev wrote:<br>
> Hi Praveen,<br>
> <br>
> Thanks for the tip, but Xcode seems to spend all the time running <br>
> tablegen "custom shell scripts", one by one at a time, not linking. <br>
> Linking is actually very fast, possibly less than a second. The <br>
> “scripts” that take longer are  “AArch64CommonTableGen" and <br>
> “AMDGPUCommonTableGen”.  As said this is on LLVM 9.0.<br>
> <br>
> However, on LLVM 7.0.1, the same process takes just 5-6 seconds in <br>
> total, with individual “scripts” taking significantly less than 1 second <br>
> each. There must be some difference between LLVM 9.0 and LLVM 7.0 that <br>
> might cause this (?)<br>
> <br>
> John<br>
> <br>
> <br>
>> On 30 Jun 2019, at 11:17, Praveen Velliengiri <br>
>> <<a href="mailto:praveenvelliengiri@gmail.com" target="_blank">praveenvelliengiri@gmail.com</a> <mailto:<a href="mailto:praveenvelliengiri@gmail.com" target="_blank">praveenvelliengiri@gmail.com</a>>> <br>
>> wrote:<br>
>><br>
>> *<br>
>> *<br>
>> cmake *BUILD_SHARED_LIBS* option, it builds llvm as .so not as .a. It <br>
>> will use less memory during linking so you can increase the link <br>
>> threads and your build time will be lesser.<br>
>> Check this in : <a href="https://llvm.org/docs/CMake.html" rel="noreferrer" target="_blank">https://llvm.org/docs/CMake.html</a><br>
>><br>
>> **<br>
>> **<br>
>><br>
>> On Sun, 30 Jun 2019 at 14:42, Joan Lluch <<a href="mailto:joan.lluch@icloud.com" target="_blank">joan.lluch@icloud.com</a> <br>
>> <mailto:<a href="mailto:joan.lluch@icloud.com" target="_blank">joan.lluch@icloud.com</a>>> wrote:<br>
>><br>
>>     Hi Praveen,<br>
>><br>
>>     Please, can you elaborate on this?. What do do mean by “building<br>
>>     as shared objects”.<br>
>><br>
>>     Thanks,<br>
>><br>
>>     John<br>
>><br>
>><br>
>><br>
>>>     On 30 Jun 2019, at 07:32, Praveen Velliengiri<br>
>>>     <<a href="mailto:praveenvelliengiri@gmail.com" target="_blank">praveenvelliengiri@gmail.com</a><br>
>>>     <mailto:<a href="mailto:praveenvelliengiri@gmail.com" target="_blank">praveenvelliengiri@gmail.com</a>>> wrote:<br>
>>><br>
>>>     Maybe try building llvm as a shared objects..<br>
>>><br>
>>>     On Jun 30, 2019 1:30 AM, "Joan Lluch via llvm-dev"<br>
>>>     <<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a> <mailto:<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>>> wrote:<br>
>>><br>
>>>         Hi Florian,<br>
>>><br>
>>>         Ok, I ran this:<br>
>>><br>
>>>         cmake -S LLVM -DCMAKE_INSTALL_PREFIX=INSTALL<br>
>>>         -DLLVM_OPTIMIZED_TABLEGEN=On -G Xcode<br>
>>><br>
>>>         Compiled it again from clean, and the situation is worse than<br>
>>>         before. Incremental builds take an incredible amount of time<br>
>>>         stuck in running Tablegen scripts for all targets. Now this<br>
>>>         happens both in Release and Debug configurations. Just before<br>
>>>         this, at least Release compiled fine, but that’s no longer<br>
>>>         the case.<br>
>>><br>
>>>         Any other suggestions?  What could actually cause this?<br>
>>><br>
>>>         Thanks<br>
>>>         John<br>
>>><br>
>>><br>
>>><br>
>>>>         On 29 Jun 2019, at 19:37, Florian Hahn<br>
>>>>         <<a href="mailto:florian_hahn@apple.com" target="_blank">florian_hahn@apple.com</a> <mailto:<a href="mailto:florian_hahn@apple.com" target="_blank">florian_hahn@apple.com</a>>> wrote:<br>
>>>><br>
>>>>         Hi,<br>
>>>><br>
>>>>>         On Jun 29, 2019, at 18:26, Joan Lluch via llvm-dev<br>
>>>>>         <<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a> <mailto:<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>>><br>
>>>>>         wrote:<br>
>>>>><br>
>>>>>         Hi all,<br>
>>>>><br>
>>>>>         On LLVM version 7.0.1, incremental builds are very fast for<br>
>>>>>         both Release and Debug. I’m compiling with Xcode<br>
>>>>><br>
>>>>>         I recently downloaded LLVM 9.0 from the LLVM-mirror Github<br>
>>>>>         repository and found that Incremental "Debug” builds take a<br>
>>>>>         ridiculously long time due to Tablegen taking ages<br>
>>>>>         (literally more than 10 minutes) to generate files. This<br>
>>>>>         makes it totally unusable for debug purposes. However,<br>
>>>>>         incremental ‘Release’ builds only take a few seconds.<br>
>>>>><br>
>>>>>         Why is that?. Any suggestions?.<br>
>>>><br>
>>>><br>
>>>><br>
>>>>         You could give setting LLVM_OPTIMIZED_TABLEGEN a try<br>
>>>>         (<a href="https://llvm.org/docs/CMake.html" rel="noreferrer" target="_blank">https://llvm.org/docs/CMake.html</a>).<br>
>>>><br>
>>>>         Cheers,<br>
>>>>         Florian<br>
>>><br>
>>><br>
>>>         _______________________________________________<br>
>>>         LLVM Developers mailing list<br>
>>>         <a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a> <mailto:<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a>><br>
>>>         <a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
>>><br>
>><br>
> <br>
> <br>
> _______________________________________________<br>
> LLVM Developers mailing list<br>
> <a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
> <a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
> <br>
<br>
-- <br>
Lerne, wie die Welt wirklich ist,<br>
Aber vergiss niemals, wie sie sein sollte.<br>
_______________________________________________<br>
LLVM Developers mailing list<br>
<a href="mailto:llvm-dev@lists.llvm.org" target="_blank">llvm-dev@lists.llvm.org</a><br>
<a href="https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev" rel="noreferrer" target="_blank">https://lists.llvm.org/cgi-bin/mailman/listinfo/llvm-dev</a><br>
</blockquote></div></div>