<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Oct 25, 2016 at 8:36 PM, Mehdi Amini <span dir="ltr"><<a href="mailto:mehdi.amini@apple.com" target="_blank">mehdi.amini@apple.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><br><div><span><blockquote type="cite"><div>On Oct 25, 2016, at 6:28 PM, Peter Collingbourne <<a href="mailto:peter@pcc.me.uk" target="_blank">peter@pcc.me.uk</a>> wrote:</div><br class="gmail-m_238639324108741247m_4038934536777488527m_-4951256109253540825Apple-interchange-newline"><div><div dir="ltr">Hi all,<div><br></div><div>As mentioned in my recent RFC entitled "RFC: a more detailed design for ThinLTO + vcall CFI" I would like to introduce the ability for bitcode files to contain multiple modules. In <a href="https://reviews.llvm.org/D24786" target="_blank">https://reviews.llvm.org/D2478<wbr>6</a> I took a step towards that by proposing a change to the module format so that the block info block is stored at the top level. The next step is to think about what the API would look like for reading and writing multiple modules.</div><div><br></div><div>Here's what I have in mind. To create a multi-module bitcode file, you would create a BitcodeWriter object and add modules to it:</div><div><br></div><div>BitcodeWriter W(OS);</div><div>W.addModule(M1);</div><div>W.addModule(M2);</div><div>W.write();</div></div></div></blockquote><div><br></div></span><div>That requires the two modules to lives longer than the bitcode write, the API could be:</div><div><br></div><div>BitcodeWriter W(OS);<br>W.writeModule(M1);</div><div>// delete M1</div><div>// ...</div><div>// create M2<br>W.writeModule(M2);<br><br></div><div>(Maybe you had this in mind, but the API naming didn’t reflect it so I’m not sure).</div></div></div></blockquote><div><br></div><div>In the API I prototyped, I took the maximum BitsRequiredForTypeIndices value from all the modules, and used it to produce the abbreviations for the top level block info block (without this I was seeing "Unexpected abbrev ordering!" errors in the bitcode writer as a result of emitting the "same" abbreviation multiple times). That would have required us to keep the modules around until the call to write(). However, let me revisit this, because it does not seem necessary (i.e. we can just continue to emit block info blocks within the module block except with different abbreviation numbers for each module).</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="word-wrap:break-word"><div><span><blockquote type="cite"><div><div dir="ltr"><div>Reading a multi-module bitcode file would be supported with a BitcodeReader class. Each of the functional reader APIs in ReaderWriter.h would have a member function on BitcodeReader. We would also have a next() member function which would move to the next module in the file. For example:</div><div><br></div><div>BitcodeReader R(MBRef);</div><div>Expected<bool> B = R.hasGlobalValueSummary();<br></div><div><div>std::unique_ptr<Module> M1 = R.getLazyModule(Ctx); // lazily load the first module</div></div><div><div>R.next();</div></div><div><div><div>std::unique_ptr<Module> M2 = R.parseBitcodeFile(Ctx); // eagerly load the second module</div></div></div></div></div></blockquote><div><br></div><div><br></div></span><div>That makes the API quite stateful, you may have good implementation reason for this, but they’re not clear to me.</div><div>I rather see the bitcode reader as a random access container, iterating over modules.</div></div></div></blockquote><div><br></div><div></div></div><div>Random access seems reasonable to me as well. I will see how feasible that is.</div><div><br></div><div>Thanks,</div>-- <br><div class="gmail-m_238639324108741247m_4038934536777488527gmail_signature"><div dir="ltr">-- <div>Peter</div></div></div>
</div></div>