<div dir="rtl"><div dir="ltr">Hi,</div><div dir="ltr"><br></div><div dir="ltr">Thanks for your ideas.</div><div dir="ltr"><br></div><div dir="ltr">Memory allocation already exceeds 2x64K in the "working" case so it's not the condition of allocating more than 64K. To be sure I had modified SectionMemoryManager::allocateSection to allocate four time the required memory but it did not trigger more crashes.I debugged through the allocation code including the Win32 code and it seems to work well. I have also tried disabling the MemGroup.FreeMem cache which did not matter.</div>

<div dir="ltr"><div dir="ltr"><br></div><div dir="ltr">An added assert for no Stubs to the end of RuntimeDyldImpl::loadObject</div><div dir="ltr"><font face="courier new, monospace">      processRelocationRef(SectionID, *i, *obj, LocalSections, LocalSymbols,</font></div>

<div dir="ltr"><font face="courier new, monospace"><span class="" style="white-space:pre">                    </span>   Stubs);</font></div><div dir="ltr"><font face="courier new, monospace">      assert(!Stubs.size());</font></div><div dir="ltr">

indeed caught nothing = no stubs created.<br></div><div dir="ltr"><br></div><div dir="ltr">Disabling (de)registerEH did not help.</div><div dir="ltr"><br></div><div dir="ltr">Looking at relocations and sections printouts, the exception is:</div>

<div dir="ltr"><br></div><div dir="ltr"><font face="courier new, monospace">Unhandled exception at 0x0A3600D1 :</font></div><div dir="ltr"><font face="courier new, monospace">0xC0000005: Access violation writing location 0x00BC7680.</font></div>

<div dir="ltr"><br></div><div dir="ltr">which is right after the start of .text:</div><div dir="ltr"><br></div><div dir="ltr"><font face="courier new, monospace">emitSection SectionID: 1 Name: .text obj addr: 0A3F1350 new addr: 0A360000 DataSize: 253203 StubBufSize: 0 Allocate: 253203</font></div>

<div dir="ltr"><font face="courier new, monospace">...</font></div><div dir="ltr"><font face="courier new, monospace">Resolving relocations Section #1        0A360000</font></div><div dir="ltr"><br></div><div dir="ltr">so at least it is running code but tries to write a wrong location.</div>

<div dir="ltr">Another run exhibits similar crash, still in .text but somewhat later.</div><div dir="ltr"><br></div><div dir="ltr">I have checked and the function address I'm running is located in .text towards the end, as expected since it's the last function added to the Module.</div>

<div dir="ltr"><br></div><div dir="ltr">Also I speculated that if it crashes when .text crosses 128K but no, it happens when it's larger.</div><div dir="ltr"><br></div><div>I had attached gdb to the process hoping it will show more information but it showed even less information than the Visual C++ debugger.</div>

<div><br></div><div>Out of ideas... </div><div dir="ltr"><br></div><div>Yaron</div><div><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote"><div dir="ltr">2013/10/22 Kaylor, Andrew <span dir="ltr"><<a href="mailto:andrew.kaylor@intel.com" target="_blank">andrew.kaylor@intel.com</a>></span></div>

<blockquote class="gmail_quote" style="margin:0 .8ex;border-left:1px #ccc solid;border-right:1px #ccc solid;padding-left:1ex;padding-right:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I would guess that it’s crashing somewhere in the generated code.  On Windows we don’t have a way to get call stacks to the generated code (though if you want
 to try it on Linux, that should work).  You can probably look at the address where the crash is occurring and verify that it is in the generated code.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">There are a couple of things I would look for.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">First, I’d take a look at the SectionMemoryManager allocation handling.  The fact that the problem is code size dependent strongly points in this direction. 
 It may be that SectionMemoryManager does something wrong when it hits a page boundary or something.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Second, I’d look at the relocation processing.  If it is generating any stubs, that would be a potential problem spot, but it shouldn’t be generating any stubs. 
 So the obvious thing to look at is whether any of the relocations are writing to the spot where the crash occurs.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">-Andy<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Yaron Keren [mailto:<a href="mailto:yaron.keren@gmail.com" target="_blank">yaron.keren@gmail.com</a>]
<br>
<b>Sent:</b> Tuesday, October 22, 2013 10:17 AM<br>
<b>To:</b> Kaylor, Andrew<br>
<b>Cc:</b> <<a href="mailto:llvmdev@cs.uiuc.edu" target="_blank">llvmdev@cs.uiuc.edu</a>><br>
<b>Subject:</b> Re: Size limitations in MCJIT / ELF Dynamic Linker/ ELF codegen?<u></u><u></u></span></p><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">OS is Windows 7 64 bit OS, compiler is 32 bit Visual C++ 2012 with 32 bit.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">The target which is i686-pc-mingw32-elf so I can use the ELF dynamic loader. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Code model, relocation model and and memory manager are whatever default for this - did not modify.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">The Module comes from clang. The source is 1000 or more lines repeating C++ code in one big function:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  A+1;</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  A*B.t();</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">where A and B are matrices from Armadillo <a href="http://arma.sourceforge.net/" target="_blank">http://arma.sourceforge.net/</a>. This a stress and performance test due to the large number of EH and temporary objects created.<u></u><u></u></p>


</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<div>
<p class="MsoNormal">I am using the Engine Builder and MCJIT unmodified (except the multi-modules patches which are not relevant as there is only one module) like this:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  OwningPtr<llvm::ExecutionEngine> EE(llvm::EngineBuilder(M)</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">                                          .setErrorStr(&Error)</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">                                          .setUseMCJIT(true)</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">                                          .create());</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">to run the function either <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  llvm::Function *F = M->getFunction(Name);</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  void *FN = EE->getPointerToFunction(F);</span><u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal">or<u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  uint64_t FN = EE->getFunctionAddress(Name);</span><u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">followed by <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New""> ((void (*)())FN)();</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">or<u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New"">  EE->runFunction(F, std::vector<llvm::GenericValue>());</span><u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">all work the same with smaller about 1000 lines of the above code module and crash the same with more code. The call stack is unhelpful Visual C++ says: Frames below may be incorrect and/or missing which indicates a real problem with it.
 I have tried to provide less stack space (default is 10M) for the compiled program without any change.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Yaron<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="margin-bottom:12.0pt;text-align:right;direction:rtl">
<span dir="LTR"><u></u> <u></u></span></p>
<div>
<div>
<p class="MsoNormal">2013/10/22 Kaylor, Andrew <<a href="mailto:andrew.kaylor@intel.com" target="_blank">andrew.kaylor@intel.com</a>><span lang="AR-SA" dir="RTL"><u></u><u></u></span></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I’m not aware of such a limitation</span><span dir="RTL"></span><span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"><span dir="RTL"></span>.</span><span dir="LTR"><u></u><u></u></span></p>


<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="RTL"></span><span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"><span dir="RTL"></span> </span><span lang="AR-SA"><u></u><u></u></span></p>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">What architecture, code model and relocation model are you using</span><span dir="RTL"></span><span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"><span dir="RTL"></span>? 
</span><span dir="LTR" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Are you using the SectionMemoryManager</span><span dir="RTL"></span><span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"><span dir="RTL"></span>?</span><span lang="AR-SA"><u></u><u></u></span></p>


<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"> </span><span lang="AR-SA"><u></u><u></u></span></p>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA" style="font-size:11.0pt;color:#1f497d">-</span><span dir="LTR" style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Andy</span><span lang="AR-SA"><u></u><u></u></span></p>


<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA" style="font-size:11.0pt;color:#1f497d"> </span><span lang="AR-SA"><u></u><u></u></span></p>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<b><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From</span></b><span dir="RTL"></span><b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>:</span></b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">
</span><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Yaron Keren [mailto</span><span dir="RTL"></span><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>:<a href="mailto:yaron.keren@gmail.com" target="_blank"><span lang="EN-US" dir="LTR">yaron.keren@gmail.com</span></a><span dir="RTL"></span><span dir="RTL"></span>]
<br>
</span><b><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Sent</span></b><span dir="RTL"></span><b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>:</span></b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">
</span><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Tuesday, October 22, 2013 8:12 AM</span><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><br>


</span><b><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">To</span></b><span dir="RTL"></span><b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>:</span></b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">
 <<a href="mailto:llvmdev@cs.uiuc.edu" target="_blank"><span lang="EN-US" dir="LTR">llvmdev@cs.uiuc.edu</span></a><span dir="RTL"></span><span dir="RTL"></span>>;
</span><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Kaylor, Andrew</span><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><br>


</span><b><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Subject</span></b><span dir="RTL"></span><b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>:</span></b><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">
</span><span dir="LTR" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">Size limitations in MCJIT / ELF Dynamic Linker/ ELF codegen</span><span dir="RTL"></span><span lang="AR-SA" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""><span dir="RTL"></span>?</span><span lang="AR-SA"><u></u><u></u></span></p>


<div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"> <u></u><u></u></span></p>
<div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR">I'm running in MCJIT a module generated from one C</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span>++
</span><span dir="LTR">function. Every line of the source function uses C</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span>++
</span><span dir="LTR">classes and may throw an exception. As long as there are less than (about) 1000 lines, everything works. With more lines the compiled</span><span dir="RTL"></span><span dir="RTL"></span>
<span dir="LTR">code crashes when running it, with no sensible stack trace</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span>.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR">Is there any kind of hard-coded size limitation in</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span> </span><span dir="LTR">MCJIT / ELF Dynamic Linker / ELF codegen / number of EH states in a function</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span>
 ? <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR">I did browse the code but could not find anything obvious</span><span dir="RTL"></span><span lang="AR-SA"><span dir="RTL"></span>. <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span dir="LTR">Yaron</span><span lang="AR-SA"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"> <u></u><u></u></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal" dir="RTL" style="text-align:right;direction:rtl">
<span lang="AR-SA"><u></u> <u></u></span></p>
</div>
</div>
</div></div></div>
</div>

</blockquote></div><br></div>