<div dir="ltr">Sean,<div><span style="font-size:12.8px"><br></span></div><ul><li>[ability to download the latest ccdb.sqlite file from <a href="http://halldweb.jlab.org/dist" target="_blank">halldweb.jlab.org/dist</a> and use it, instead of copying from a standard location on cvmfs, where it is likely to be stale] This is helpful, but is there no good way to automatically update the SQLite file on OASIS (perhaps weekly)?  I worry that when we do a large scale production, having every job copying from halldweb would place too much of a load on the server, so that we would need to do some server-side caching/load balancing.<br></li></ul><div>For things that are expected to be updated on a regular schedule, osg users should use the standard OSG_SQUID_LOCATION variable so that multiple jobs running on a site share a single copy. The cvmfs cache is per-host, whereas the squid cache is per-site, so this is much more efficient in terms of occupation of the site cache space for something like the sqlite file. I had forgotten to translate the OSG_SQUID_LOCATION variable into environment variables http_proxy, https_proxy, and this was why you were seeing repeated hits on the jlab server for each job. This should be fixed now. The site squid cache will be invalidated on each site once per day, each time the sqlite file is updated, so there should be a max of one download from <a href="http://halldweb.jlab.org">halldweb.jlab.org</a> per site per day. Is this going to be ok?</div><div><div><ul style="font-size:12.8px"><li>[ability to use non-sequential run lists for simulating a series of runs, instead of assuming that you want to fill in a sequential range with every run number; if you supply a plain text file called runsequence.txt with your job then this file will be used to look up the run sequence instead of assuming a contiguous sequence.] Could you please add the attached file into some standard location?  I think it would be useful for users to have standard run lists stored somewhere in the CVMFS namespace.</li></ul><span style="font-size:12.8px">Ok, this is done. The file you shared with me has been uploaded to /cvmfs/<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__oasis.opensciencegrid.org_gluex_templates&d=DwMFaQ&c=lz9TcOasaINaaC3U7FbMev2lsutwpI4--09aP8Lu18s&r=oyKV5joTkJsuRYv6hh48IMTw3i-IrYD-ZUAHHU0DdAY&m=YcVmqb371baIBEIyQD4tnCYqWc_jfLFvgFF8LUJUUQc&s=CQXy4liC4ZgLTxmHtprUqEKUQFyW2uIPSXdWxOPZCI8&e=">oasis.opensciencegrid.org/gluex/templates</a></span></div><div><ul><li>[<span style="font-size:12.8px">You also asked if we could have more than one build of sim-recon available simultaneously on the oasis filesystem. That is already a feature of the system I set up, so no updates were required to provide this.] </span><span style="font-size:12.8px">That great to hear.  When do you think you can provide a copy of sim-recon branch recon-2017_01-ver01-</span><wbr style="font-size:12.8px"><span style="font-size:12.8px">batch01-mcsmear?</span></li></ul></div></div><span style="font-size:12.8px">This is available now. Just do "source $GLUEX_TOP/.hdpm/env/</span><span style="font-size:12.8px">recon-2017_01-ver01-</span><wbr style="font-size:12.8px"><span style="font-size:12.8px">batch01-mcsmear.sh" at the beginning of the job script, and the binaries and libraries in your path variables will come from the branch build.</span><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">-Richard Jones<br></span><div><div style="font-size:12.8px"><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Jul 16, 2017 at 7:13 PM, Sean Dobbs <span dir="ltr"><<a href="mailto:s-dobbs@northwestern.edu" target="_blank">s-dobbs@northwestern.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Richard,<div><br></div><div>Thanks for adding these features.  I have some comments below:<br><br><div class="gmail_quote"><span class=""><div dir="ltr">On Sat, Jul 15, 2017 at 6:00 AM Richard Jones <<a href="mailto:richard.t.jones@uconn.edu" target="_blank">richard.t.jones@uconn.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div><ol><li>ability to download the latest ccdb.sqlite file from <a href="http://halldweb.jlab.org/dist" target="_blank">halldweb.jlab.org/dist</a> and use it, instead of copying from a standard location on cvmfs, where it is likely to be stale.</li></ol></div></div></blockquote><div><br></div></span><div>This is helpful, but is there no good way to automatically update the SQLite file on OASIS (perhaps weekly)?  I worry that when we do a large scale production, having every job copying from halldweb would place too much of a load on the server, so that we would need to do some server-side caching/load balancing.</div><div><br></div><div>For what it's worth, in some ~50 test job runs during the week, I noticed that sometimes wget'ing the SQLite file took ~30 minutes (though apparently it's faster during the weekend!)</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><ol><li>ability to use non-sequential run lists for simulating a series of runs, instead of assuming that you want to fill in a sequential range with every run number; if you supply a plain text file called runsequence.txt with your job then this file will be used to look up the run sequence instead of assuming a contiguous sequence.</li></ol></div></div></blockquote><div><br></div></span><div>Could you please add the attached file into some standard location?  I think it would be useful for users to have standard run lists stored somewhere in the CVMFS namespace.</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>You also asked if we could have more than one build of sim-recon available simultaneously on the oasis filesystem. That is already a feature of the system I set up, so no updates were required to provide this.</div></div><div dir="ltr"><div><br></div></div></blockquote><div><br></div></span><div>That great to hear.  When do you think you can provide a copy of sim-recon branch recon-2017_01-ver01-<wbr>batch01-mcsmear?</div><div><br></div><div><br></div><div>----Sean</div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div></div><div>-Richard Jones</div></div></blockquote></div></div></div>
</blockquote></div><br></div>