<div dir="ltr">Dave, Mark and all,<div><br></div><div>On the OSG front, I am working on testing a workflow that allows direct access to raw data over xrootd. So far things are looking very promising. I have been able to keep 4 threads of hd_ana busy within a single process simply opening the file within a container on an osg worker host over xrootd from where it sits on the uconn xrootd server. This avoids the need to first stage the data, and then run over it once it has been moved to a local disk. The output still goes to local disk and gets returned to the submit host via the normal condor file transfer mechanism, although it should be possible to write files over direct access xrootd as well. All of this runs within Mark's standard GlueX container without modification. I did need to install the xrootd client libraries on oasis. Right now they live outside the /group/halld tree, but I spoke with Mark and he is interested in adding xrootd libraries to our standard /group/halld build tree.  I will report on performance with streaming data at the next meeting.</div><div><br></div><div>-Richard J.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Mar 23, 2018 at 7:37 AM, David Lawrence <span dir="ltr"><<a href="mailto:davidl@jlab.org" target="_blank">davidl@jlab.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word;line-break:after-white-space"><div>Since we’re skipping the meeting this week I’ll give a quick report on a meeting with SciComp</div><div>earlier this week on moving towards production processing of raw data at NERSC.</div><div><br></div><div>1. Chip has received a 50 MCPU-hour allocation along with 50TB of disk space at NERSC</div><div><br></div><div>2. Chris Larrieu is going to start developing system that allows us to submit NERSC jobs from JLAB.</div><div><br></div><div>3. I have asked NERSC about implementing CVMFS so we can try and parallel our OSG efforts.</div><div>  (needs follow up)</div><div><br></div><div>4. SciComp would like to have a system ready to try some type of data challenge this summer. We should</div><div>decide if there is a reconstruction launch that would be useful for this (e.g. Spring 2018 data or</div><div>replay of older data set with newer code/calibrations). If we let them know when we will be ready, they</div><div>can use that as a target date for an initial system.</div><div><br></div><div><br></div><div><br></div><br><div>
<div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">------------------------------<wbr>------------------------------<wbr>-<br>David Lawrence Ph.D.<br>Staff Scientist, Thomas Jefferson National Accelerator Facility<br>Newport News, VA<br><a href="mailto:davidl@jlab.org" target="_blank">davidl@jlab.org</a><br><a href="tel:(757)%20269-5567" value="+17572695567" target="_blank">(757) 269-5567</a> W<br><a href="tel:(757)%20746-6697" value="+17577466697" target="_blank">(757) 746-6697</a> C</div>

</div><div><div class="h5">
<div><br><blockquote type="cite"><div>On Mar 22, 2018, at 10:41 PM, Mark Ito <<a href="mailto:marki@jlab.org" target="_blank">marki@jlab.org</a>> wrote:</div><br class="m_-3927179851962858253Apple-interchange-newline"><div><div>Folks,<br><br>I am traveling and have not made arrangements for a replacement chairman, so I propose we skip this week's offline and container meetings. If you do not hear from me, assume the meeting is off.<br><br>  -- Mark<br><br>______________________________<wbr>_________________<br>Halld-offline mailing list<br><a href="mailto:Halld-offline@jlab.org" target="_blank">Halld-offline@jlab.org</a><br><a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" target="_blank">https://mailman.jlab.org/<wbr>mailman/listinfo/halld-offline</a></div></div></blockquote></div><br></div></div></div><br>______________________________<wbr>_________________<br>
Halld-offline mailing list<br>
<a href="mailto:Halld-offline@jlab.org">Halld-offline@jlab.org</a><br>
<a href="https://mailman.jlab.org/mailman/listinfo/halld-offline" rel="noreferrer" target="_blank">https://mailman.jlab.org/<wbr>mailman/listinfo/halld-offline</a><br></blockquote></div><br></div>