<div dir="ltr">Sean,<div><ul><li>Thanks a lot, this sounds perfect.  I presume the http_proxy changes were made in the container, since the template script wasn't updated?<br></li></ul><div style="font-size:12.8px">Yes, in the container.</div><ul><li>One more comment:  it may be useful to have a default setting for the connection to the RCDB, e.g.  RCDB_CONNECTION=mysql:<a href="mailto://rcdb@hallddb.jlab.org/rcdb" target="_blank" style="font-size:12.8px">//rcdb@<wbr>hallddb.jlab.org/rcdb</a><br></li></ul>Yes, I agree. I have added this. It might take another 30 minutes before the update appears in /cvmfs.</div><div><br></div><div>-Richard J.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 17, 2017 at 3:23 PM, Sean Dobbs <span dir="ltr"><<a href="mailto:s-dobbs@northwestern.edu" target="_blank">s-dobbs@northwestern.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Richard,<div><br></div><div>Thanks a lot, this sounds perfect.  I presume the http_proxy changes were made in the container, since the template script wasn't updated?</div><div>One more comment:  it may be useful to have a default setting for the connection to the RCDB, e.g.  RCDB_CONNECTION=mysql:<a href="mailto://rcdb@hallddb.jlab.org/rcdb" target="_blank">//rcdb@<wbr>hallddb.jlab.org/rcdb</a></div><span class="HOEnZb"><font color="#888888"><div><br></div></font></span><div><span class="HOEnZb"><font color="#888888">---Sean<br><br><br></font></span><div class="gmail_quote"><span class=""><div dir="ltr">On Mon, Jul 17, 2017 at 1:57 PM Richard Jones <<a href="mailto:richard.t.jones@uconn.edu" target="_blank">richard.t.jones@uconn.edu</a>> wrote:<br></div></span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">



<div>
<div dir="ltr">Sean,
<div><span style="font-size:12.8px"><br>
</span></div>
<ul>
<li>[ability to download the latest ccdb.sqlite file from <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__halldweb.jlab.org_dist&d=DwMFaQ&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=y4ZD58I4nPR6tZqjerSGt-WlWVAhqa3FHDMXqQ_5aUc&m=yDkkICgQySpvpZthngnDLMXHfbHiYtlR9GwTTeg0H2U&s=EXwR_dhU_P5byRiLiITjm2p7KAbl57HJimO5BnoaUpw&e=" target="_blank">halldweb.jlab.org/dist</a> <wbr>and
 use it, instead of copying from a standard location on cvmfs, where it is likely to be stale] This is helpful, but is there no good way to automatically update the SQLite file on OASIS (perhaps weekly)?  I worry that when we do a large scale production, having
 every job copying from halldweb would place too much of a load on the server, so that we would need to do some server-side caching/load balancing.<br>
</li></ul>
<div>For things that are expected to be updated on a regular schedule, osg users should use the standard OSG_SQUID_LOCATION variable so that multiple jobs running on a site share a single copy. The cvmfs cache is per-host, whereas the squid cache is per-site,
 so this is much more efficient in terms of occupation of the site cache space for something like the sqlite file. I had forgotten to translate the OSG_SQUID_LOCATION variable into environment variables http_proxy, https_proxy, and this was why you were seeing
 repeated hits on the jlab server for each job. This should be fixed now. The site squid cache will be invalidated on each site once per day, each time the sqlite file is updated, so there should be a max of one download from
<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__halldweb.jlab.org&d=DwMFaQ&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=y4ZD58I4nPR6tZqjerSGt-WlWVAhqa3FHDMXqQ_5aUc&m=yDkkICgQySpvpZthngnDLMXHfbHiYtlR9GwTTeg0H2U&s=hhaIasIMSKCtlNwozKQWuSJ86DpR-UcS05HgpeE3PFY&e=" target="_blank">
halldweb.jlab.org</a> per site per day. Is this going to be ok?</div>
<div>
<div>
<ul style="font-size:12.8px">
<li>[ability to use non-sequential run lists for simulating a series of runs, instead of assuming that you want to fill in a sequential range with every run number; if you supply a plain text file called runsequence.txt with your job then this file will be
 used to look up the run sequence instead of assuming a contiguous sequence.] Could you please add the attached file into some standard location?  I think it would be useful for users to have standard run lists stored somewhere in the CVMFS namespace.</li></ul>
<span style="font-size:12.8px">Ok, this is done. The file you shared with me has been uploaded to /cvmfs/<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__oasis.opensciencegrid.org_gluex_templates&d=DwMFaQ&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=y4ZD58I4nPR6tZqjerSGt-WlWVAhqa3FHDMXqQ_5aUc&m=yDkkICgQySpvpZthngnDLMXHfbHiYtlR9GwTTeg0H2U&s=IDqQxjmiWD_xUBymCJtf1vC2TdntFY8GYoGdovAtCms&e=" target="_blank">oasis.opensciencegrid.<wbr>org/gluex/templates</a></span></div>
<div>
<ul>
<li>[<span style="font-size:12.8px">You also asked if we could have more than one build of sim-recon available simultaneously on the oasis filesystem. That is already a feature of the system I set up, so no updates were required to provide this.] </span><span style="font-size:12.8px">That
 great to hear.  When do you think you can provide a copy of sim-recon branch recon-2017_01-ver01-</span><span style="font-size:12.8px">bat<wbr>ch01-mcsmear?</span></li></ul>
</div>
</div>
<span style="font-size:12.8px">This is available now. Just do "source $GLUEX_TOP/.hdpm/env/</span><span style="font-size:12.8px">recon-<wbr>2017_01-ver01-</span><span style="font-size:12.8px">batch01-mcsmear.<wbr>sh" at the beginning of
 the job script, and the binaries and libraries in your path variables will come from the branch build.</span></div></div><div><div dir="ltr">
<div><span style="font-size:12.8px"><br>
</span></div>
<div><span style="font-size:12.8px">-Richard Jones<br>
</span>
<div>
<div style="font-size:12.8px"><br>
</div>
</div>
</div>
</div></div></span><div>
<div class="gmail_extra"><br>
<div class="gmail_quote"><span class="">On Sun, Jul 16, 2017 at 7:13 PM, Sean Dobbs <span dir="ltr">
<<a href="mailto:s-dobbs@northwestern.edu" target="_blank">s-dobbs@northwestern.edu</a>></span> wrote:<br>
</span><div><div class="h5"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Richard,
<div><br>
</div>
<div>Thanks for adding these features.  I have some comments below:<br>
<br>
<div class="gmail_quote"><span>
<div dir="ltr">On Sat, Jul 15, 2017 at 6:00 AM Richard Jones <<a href="mailto:richard.t.jones@uconn.edu" target="_blank">richard.t.jones@uconn.edu</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><br>
<div>
<ol>
<li>ability to download the latest ccdb.sqlite file from <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__halldweb.jlab.org_dist&d=DwMFaQ&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=y4ZD58I4nPR6tZqjerSGt-WlWVAhqa3FHDMXqQ_5aUc&m=yDkkICgQySpvpZthngnDLMXHfbHiYtlR9GwTTeg0H2U&s=EXwR_dhU_P5byRiLiITjm2p7KAbl57HJimO5BnoaUpw&e=" target="_blank">
halldweb.jlab.org/dist</a> and use it, instead of copying from a standard location on cvmfs, where it is likely to be stale.</li></ol>
</div>
</div>
</blockquote>
<div><br>
</div>
</span>
<div>This is helpful, but is there no good way to automatically update the SQLite file on OASIS (perhaps weekly)?  I worry that when we do a large scale production, having every job copying from halldweb would place too much of a load on the server, so that
 we would need to do some server-side caching/load balancing.</div>
<div><br>
</div>
<div>For what it's worth, in some ~50 test job runs during the week, I noticed that sometimes wget'ing the SQLite file took ~30 minutes (though apparently it's faster during the weekend!)</div>
<span>
<div> </div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<div>
<ol>
<li>ability to use non-sequential run lists for simulating a series of runs, instead of assuming that you want to fill in a sequential range with every run number; if you supply a plain text file called runsequence.txt with your job then this file will be used
 to look up the run sequence instead of assuming a contiguous sequence.</li></ol>
</div>
</div>
</blockquote>
<div><br>
</div>
</span>
<div>Could you please add the attached file into some standard location?  I think it would be useful for users to have standard run lists stored somewhere in the CVMFS namespace.</div>
<span>
<div> </div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<div>You also asked if we could have more than one build of sim-recon available simultaneously on the oasis filesystem. That is already a feature of the system I set up, so no updates were required to provide this.</div>
</div>
<div dir="ltr">
<div><br>
</div>
</div>
</blockquote>
<div><br>
</div>
</span>
<div>That great to hear.  When do you think you can provide a copy of sim-recon branch recon-2017_01-ver01-<wbr>batch01-mcsmear?</div>
<div><br>
</div>
<div><br>
</div>
<div>----Sean</div>
<div><br>
</div>
<div><br>
</div>
<div> </div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">
<div></div>
<div>-Richard Jones</div>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div></div></div>
<br>
</div>
</div></blockquote></div></div></div>
</blockquote></div><br></div>