<div dir="ltr"><div>Thanks for the tips, I now have something that reads the obj file, finds .debug$T sections and global hashes it (proof of concept kind of code). What I can't find is: how does clang itself writes the coff files with global hashes, as that might help me understand how to create the .debug$H section, how to update the file section count and how to properly write this back.<br><br></div>The code on yaml2coff is expecting to be working on the yaml COFFParser struct and I'm having quite a bit of a headache turning the COFFObjectFile into a COFFParser object or compatible... Tomorrow I might try the very non efficient path of coff2yaml and then yaml2coff with the hashes header... but it seems way too inefficient and convoluted.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 19, 2018 at 10:38 PM, Zachary Turner <span dir="ltr"><<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><br><div class="gmail_quote"><span class=""><div dir="ltr">On Fri, Jan 19, 2018 at 1:02 PM Leonardo Santagada <<a href="mailto:santagada@gmail.com" target="_blank">santagada@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">On Fri, Jan 19, 2018 at 9:44 PM, Zachary Turner <span dir="ltr"><<a href="mailto:zturner@google.com" target="_blank">zturner@google.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><br><div class="gmail_quote"><span><div dir="ltr">On Fri, Jan 19, 2018 at 12:29 PM Leonardo Santagada <<a href="mailto:santagada@gmail.com" target="_blank">santagada@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi,</div><div><br></div><div>No I didn't, I used cl.exe from the visual studio toolchain. What I'm proposing is a tool for processing .obj files in COFF format, reading them and generating the GHASH part.</div><div><br></div><div>To make our build faster we use hundreds of unity build files (.cpp's with a lot of other .cpp's in them aka munch files) but still have a lot of single .cpp's as well (in total something like 3.4k .obj files).</div><div><br></div><div>ps: sorry for sending to the wrong list, I was reading about llvm mailing lists and jumped when I saw what I thought was a lld exclusive list.<br></div></div></blockquote><div><br></div></span><div>A tool like this would be useful, yes.  We've talked about it internally as well and agreed it would be useful, we just haven't prioritized it.  If you're interested in submitting a patch along those lines though, I think it would be a good addition.</div><div><br></div><div>I'm not sure what the best place for it would be.  llvm-readobj and llvm-objdump seem like obvious choices, but they are intended to be read-only, so perhaps they wouldn't be a good fit.</div><div><br></div><div>llvm-pdbutil is kind of a hodgepodge of everything else related to PDBs and symbols, so I wouldn't be opposed to making a new subcommand there called "ghash" or something that could process an object file and output a new object file with a .debug$H section.</div><div><br></div><div>A third option would be to make a new tool for it.</div><div><br></div><div>I don't htink it would be that hard to write.  If you're interested in trying to make a patch for this, I can offer some guidance on where to look in the code.  Otherwise it's something that we'll probably get to, I'm just not sure when.</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_extra">
</div></blockquote></div></div>
</blockquote></div></div><div class="gmail_extra"><br></div></div><div dir="ltr"><div class="gmail_extra">I would love to write it and contribute it back, please do tell, I did find some of the code of ghash in lld, but in fuzzy on the llvm codeview part of it and never seen llvm-readobj/objdump or llvm-pdbutil, but I'm not afraid to look :)<br></div></div><div dir="ltr"><div class="gmail_extra"><br></div></div></blockquote><div><br></div></span><div> Luckily all of the important code is hidden behind library calls, and it should already just do the right thing, so I suspect you won't need to know much about CodeView to do this.</div><div><br></div><div>I think Peter has the right idea about putting this in llvm-objcopy.</div><div><br></div><div>You can look at one of the existing CopyBinary functions there, which currently only work for ELF, but you can just make a new overload that accepts a COFFObjectFile.</div><div><br></div><div>I would probably start by iterating over each of the sections (getNumberOfSections / getSectionName) looking for .debug$T and .debug$H sections.  </div><div><br></div><div>If you find a .debug$H section then you can just skip that object file.  </div><div><br></div><div>If you find a .debug$T but not a .debug$H, then basically do the same thing that LLD does in PDBLinker::mergeDebugT  (create a CVTypeArray, and pass it to GloballyHashedType::<wbr>hashTypes.  That will return an array of hash values.  (the format of .debug$H is the header, followed by the hash values).  Then when you're writing the list of sections, just add in the .debug$H section right after the .debug$T section.</div><div><br></div><div>Currently llvm-objcopy only writes ELF files, so it would need to be taught to write COFF files.  We have code to do this in the yaml2obj utility (specifically, in yaml2coff.cpp in the function writeCOFF).  There may be a way to move this code to somewhere else (llvm/Object/COFF.h?) so that it can be re-used by both yaml2coff and llvm-objcopy, but in the worst case scenario you could copy the code and re-write it to work with these new structures.</div><div><br></div><div>Lastly, you'll probably want to put all of this behind an option in llvm-objcopy such as -add-codeview-ghash-section</div><div><br></div></div></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><br>Leonardo Santagada</div>
</div>