<div dir="ltr">Hey Andy,<div><br></div><div style>Yep I've tested some non-trivial examples with loads of dependencies, </div><div style>both code and data, global, local and external symbol resolution etc..</div><div style>
<br></div><div style>Actually this was truly a piece of cake, nothing to do, the memory manager </div><div style>is working really nicely so far as I can tell.  Relocations to sections are all working </div><div style>as expected (aside from previously mentioned ARM issue which is probably just</div>
<div style>something that I'm doing wrong) with all global symbol relocs managed persistently </div><div style>by the MM between object injections.  All in all it just works ;)  I had to make a few</div><div style>minor adjustments to things like the LLParser for forward dependencies but overall </div>
<div style>really simple stuff.</div><div style><br></div><div style>There certainly are some section management issues that will need to be addressed,</div><div style>but I don't see any major hurdles there.  I was going to take a look into this next week?</div>
<div style><br></div><div style>The biggest issue for multi-module is probably going to be client side not LLVM side,</div><div style>although this has not been a huge problem for me as most of this bookkeeping is </div><div style>
already managed "client side" in extempore.</div><div style><br></div><div style>I'm happy to send you code although it might be more useful for me to write a </div><div style>followup email outlining exactly what changes were made and then let the experts</div>
<div style>decide how best to proceed ;)  Tomorrows a little hectic but I'll try to send a note</div><div style>through on Monday.</div><div style><br></div><div style><br></div><div style>Cheers,</div><div style>Andrew. </div>
<div style><br></div><div style><br></div><div style><br></div><div style><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Feb 16, 2013 at 8:13 AM, Kaylor, Andrew <span dir="ltr"><<a href="mailto:andrew.kaylor@intel.com" target="_blank">andrew.kaylor@intel.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">This is great news.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Do you have any dependencies between your modules?  For instance, one calling a function in another?  If so, how did you handle that?<u></u><u></u></span></p>

<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Any chance you could share some code snippets or the relevant portions?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">-Andy<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Andrew Sorensen [mailto:<a href="mailto:digegoo@gmail.com" target="_blank">digegoo@gmail.com</a>]
<br>
<b>Sent:</b> Thursday, February 14, 2013 11:48 PM</span></p><div><div class="h5"><br>
<b>To:</b> Kaylor, Andrew<br>
<b>Cc:</b> <a href="mailto:llvmdev@cs.uiuc.edu" target="_blank">llvmdev@cs.uiuc.edu</a><br>
<b>Subject:</b> Re: [LLVMdev] MCJIT and Lazy Compilation<u></u><u></u></div></div><p></p><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">OK, so I have some *preliminary* results, which are on the whole quite encouraging!<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I haven't had a great deal of time, but I have managed to get Extempore up and <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">running with function (actually lexical closures so composed of quite a bit of additional<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">guff) level compilation using Andy's multi module suggestion. I also have on-the-fly <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">recompilation of existing closures working (caveats below) so from an end-user <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">perspective this means that Extempore appears functionally equivalent with MCJIT <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">and the old legacy JIT - hot-swapping audio signal processing code on-the-fly using <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">MCJIT for example.<u></u><u></u></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Firstly multi-module definitely proved to be considerably easier than attempting to hack<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal">solutions for incremental *monolithic* module builds - which I also investigated.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">So the only major obstacle that I have run into so far are page permissions in relation<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">to code relocations.  I have a *safe* hack which is to toggle section permissions between<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">rw and exec/ro in-between new object injections - however this is obviously problematic <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">for code that is executing concurrently (i.e. secondary threads).  I also have an *unsafe*<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">hack, (purely for experimentation :-) whereby exec sections are left rw, and although <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">very evil it works for test purposes (i.e. the audio example mentioned above).  These <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">solutions are obviously both inappropriate and I will investigate a *real* solution when <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I find some time.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Also I didn't bother to implement section erasure, at the moment I'm just allocating <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">new sections for each compile regardless of whether the new code replaces existing<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">functionality. Having said that I don't see this as much of an issue, I was just to<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">lazy to bother implementing it.  I'll check this when I have some further free time.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">FYI this is all under x86.  I did try to run under ARM but bombed out on an assertion error <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">in the ARM ELF relocation code - specifically   assert((*TargetPtr & 0x000F0FFF) == 0);<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I assume this is a result of something evil that I have done but I haven't yet had time to <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">investigate any further.  Again I'll let you know when I have some more time.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Just a quick heads up but In general my initial thoughts are that MCJIT is really not <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">that far off.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Cheers,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Andrew.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><u></u> <u></u></p>
<div>
<p class="MsoNormal">On Fri, Feb 8, 2013 at 7:36 AM, Kaylor, Andrew <<a href="mailto:andrew.kaylor@intel.com" target="_blank">andrew.kaylor@intel.com</a>> wrote:<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">That’s awesome!</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I think at this point having people try out various approaches and seeing what works and what doesn’t
 is our biggest need in this area.  Please do keep me informed about what you find out.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">-Andy</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Andrew Sorensen [mailto:<a href="mailto:digegoo@gmail.com" target="_blank">digegoo@gmail.com</a>]
<br>
<b>Sent:</b> Wednesday, February 06, 2013 4:33 PM<br>
<b>To:</b> Kaylor, Andrew<br>
<b>Cc:</b> <a href="mailto:llvmdev@cs.uiuc.edu" target="_blank">llvmdev@cs.uiuc.edu</a><br>
<b>Subject:</b> Re: [LLVMdev] MCJIT and Lazy Compilation</span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal">Thanks for the update Andy.<u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I'm very happy to be involved in anyway that is helpful.  If you would like me to test ideas, or contribute to further discussions, then please let me know.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I currently have extempore running nicely with MCJIT for the "monolithic" case and am working on various LLVM hacks to better understand the issues involved with non-monolithic approaches
 - in particular I'm starting with your multi-module approach.  I will report back when (and if) I have something useful to contribute.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Cheers,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Andrew.<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"> <u></u><u></u></p>
<div>
<p class="MsoNormal">On Wed, Feb 6, 2013 at 4:08 AM, Kaylor, Andrew <<a href="mailto:andrew.kaylor@intel.com" target="_blank">andrew.kaylor@intel.com</a>> wrote:<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hi Andrew,</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I was about to write a belated reply to this message (sorry for the delay), but then I realized that
 pretty much everything useful that I have to say on the subject is contained in this message (which is in a thread Albert Graef already linked to):</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><a href="https://groups.google.com/d/msg/llvm-dev/Rk9cWdRX0Wg/Fa1Mn6cyS9UJ" target="_blank">https://groups.google.com/d/msg/llvm-dev/Rk9cWdRX0Wg/Fa1Mn6cyS9UJ</a></span><u></u><u></u></p>

<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Generally, I do hope that MCJIT will be capable of replacing the old JIT someday soon, though obviously
 it cannot do so until it provides equivalent functionality.  I doubt it will ever be a “drop-in” replacement, but I hope that minimal rework will be needed.  Most significantly, as can be seen in earlier discussions, things will need to be made Module-centric
 rather than Function-centric.  It ought to be possible to write a utility class that takes a monolithic Module and breaks it up into sub-Modules for individual functions, but I think that would need to happen outside of the MCJIT engine because not all clients
 would want that kind of granularity.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">There’s definitely a lot of work to be done here to get this right, and hopefully we’ll get active
 participation in any design discussions to make sure the solution meets everyone’s needs.  I don’t have a time table for this right now.  I will file a Bugzilla report as soon as the LLVM server is ready.</span><u></u><u></u></p>

<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">-Andy</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">
<a href="mailto:llvmdev-bounces@cs.uiuc.edu" target="_blank">llvmdev-bounces@cs.uiuc.edu</a> [mailto:<a href="mailto:llvmdev-bounces@cs.uiuc.edu" target="_blank">llvmdev-bounces@cs.uiuc.edu</a>]
<b>On Behalf Of </b>Andrew Sorensen<br>
<b>Sent:</b> Thursday, January 31, 2013 7:56 PM<br>
<b>To:</b> <a href="mailto:llvmdev@cs.uiuc.edu" target="_blank">llvmdev@cs.uiuc.edu</a><br>
<b>Subject:</b> [LLVMdev] MCJIT and Lazy Compilation</span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<div>
<p class="MsoNormal">Does anyone have a roadmap for MCJIT with what I think people are <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">calling lazy compilation.<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Is this even on the cards?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I spent the last few hours moving my project (<a href="http://extempore.moso.com.au" target="_blank">extempore.moso.com.au</a>) <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">over to MCJIT (particularly for ARM), and am a little horrified to discover <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">no ability to compile, and just as importantly to recompile, at a function level.  <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">This is absolutely mandatory for my project.  <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I have been looking enviously at MCJIT's ARM+DWARF support for a <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">couple of years and was under the misapprehension that MCJIT was <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">attempting to be a *drop-in* replacement for JIT.  So I wasn't overly<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">concerned about the primary JIT being largely neglected. This is obviously<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">my fault, I wasn't paying close enough attention.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I am now wondering what the LLVM project, in the large, plans regarding <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">just-in-time compilation moving forward.  Is MCJIT the future, and<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">if so what kind of roadmap is there to replicate current JIT functionality. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">In my case in relation to function level (re)compilation.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I appreciate everyones efforts, and that we all have our own agendas.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I'm just trying to put my own roadmap in place.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Cheers,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Andrew.<u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div></div></div>
</div>

</blockquote></div><br></div>