Logiciels

From Linear_Collider_LAPP

Jump to: navigation, search

Listes et utilisation des logiciels



Contents

Démarrage rapide

1. Démarrer un serveur X si vous êtes sous Windows: Exceed, XWin32 ( CygwinX n'est pas supporté ) 
2. Se connecter  par ssh sur lappsl5.in2p3.fr avec l'option " Enables X11 forwarding"
prompt%> ssh -X lappsl5.in2p3.fr 
3. Positionner les variables d'environnements
 prompt%>  source  /LC/Detecteurs/SiD/lc.csh
4 Pour exécuter la simulation Geant4: slic  
prompt%>  slic.sh -n
5. Pour exécuter Jas3
prompt%>  jas3
6. Pour exécuter netbeans
 prompt%>  netbeans 

Production: Batch sur MUST

Pour reconstruire les fichiers brutes d'un RUN au format ROOT Framework LAPP. Tous les fichiers brutes du Run seront reconstruits.

1. se logger en tant que lcdet sur lappsl5
2. prompt%> cd /lapp_data/LC/Detecteurs/MicroMegas/Batch/micromegasFrameWork/Batch
3. prompt%> source JOBLOCAUX.csh
4. prompt%> qsub -W group_list=LC -m abe -M username@lapp.in2p3.fr batch_reconstruction.tcsh -v outputFilePath="/lapp_data/LC/Detecteurs/MicroMegas/data/XDaq/rebuild/"

Occupation de la ferme MUST

http://lapp-quattor.in2p3.fr/Monitoring/groupview-short.html

Environnement Linear Collider

Le fichier /LC/Detecteurs/SiD/lc.csh contient la définition de variables d'environnements et d'alias facilitant l'utilisation des logiciels des machines interactives lappsl5

  • Contenu au 3 janvier 2012


setenv PATH ${PATH}:${NETBEANS}/bin:${JAS3PATH}:${MAVEN2_HOME}/bin:${GEOMCONVERTER}/bin:${SIMDIST}/scripts:${JAVA_HOME}/bin
lappsl5f{jacquem}(28) 
lappsl5f{jacquem}(28) 
lappsl5f{jacquem}(28) cat /LC/Detecteurs/SiD/lc.csh
setenv NETBEANS /LC/Netbeans/Netbeans_5.5.1/
setenv MAVEN_OPTS "-Xmx1024m -XX:MaxPermSize=256m"
#setenv JASJVM_ARGS -Dawt.toolkit=sun.awt.motif.MToolkit
setenv MAVEN_HOME /grid_sw/soft-dev-lc/Maven/pro
setenv MAVEN2_HOME	/grid_sw/soft-dev-lc/Maven/apache-maven-2.0.9
setenv JAVA_HOME /usr/java/jdk1.6.0_24
setenv GEOMCONVERTER /grid_sw/soft-dev-lc/GeomConverter 
alias GeomConverter  java  -Xms1024m -Xmx1024m -jar /grid_sw/soft-dev-lc/GeomConverter/target/GeomConverter-1.10-SNAPSHOT-bin.jar
##################### JAS3 ###################3####
setenv JAS3PATH /grid_sw/soft-dev-lc/Jas3/jas3-0.8.3 
alias jas3 "jas3&"
setenv SIMDIST /grid_sw/soft-dev-lc/SimDist.11/
setenv _JAVA_OPTIONS "-Xms1024m -Xmx1024m"
alias netbeans 'netbeans --jdkhome /usr/java/jdk1.6.0_24&' 
setenv PATH ${PATH}:${NETBEANS}/bin:${JAS3PATH}:${MAVEN2_HOME}/bin:${GEOMCONVERTER}/bin:${SIMDIST}/scripts:${JAVA_HOME}/bin

Simulation

slic

Simulation du détecteur SiD basé sur GEANT4


  • Emplacement sur lappsl5
/grid_sw/soft-dev-lc/SimDist.11


  • Exécution
prompt%>  /grid_sw/soft-dev-lc/SimDist.11/scripts/slic.sh -h


  • Géométrie

Le format de ficher utilisé pour la géométrie est LCDD XML format

Ces fichiers sont générés à partir de fichier au format Compact Detector

Utiliser GeomConverter pour convertir les fichiers.


  • Fichier d'événements

Le format de sortie pour les événements est lcio.

Les données de ce format sont directement accessibles via le package lcim. Ou par le biais de Jas3


  • Version actuelle

v2r9p3 compiler avec Geant4.9.4

  • Attention.

Le fichier PhysicsListManager.cpp a ete modifier sur demande de Yan blaha et conseil de Michel Maire:

ajout de la ligne
G4ProductionCutsTable::GetProductionCutsTable()->SetEnergyRange(1.*eV,100*GeV);

  • Site officiel
http://www.lcsim.org/software/slic


  • Physic List

La liste des PhysicList utilisables pour la simulation slic pour etre obtenue par la commande /physics/printLists en session interactive ( slic.sh -n )

exemple au 20 javier 2009:

PreInit> /physics/printLists 

----GEANT4 PHYSICS LISTS----

NAME           DESCRIPTION
----------------------------------------------------------------------
FTFC           Fritiof with CHIPS
FTFP           Fritiof with precompound
FTFP_BERT      FTFP with Bertini Cascade
FTF_BIC        FTF with new Bertini developments
LBE            Low backgrounds experiment with low energy EM
LCPhys         ILC Physics List by Dennis Wright.
LHEP           Low and High Energy Parameterised
LHEP_BERT      LHEP with Bertini Cascade
LHEP_BERT_HP   LHEP with Bertini Cascade and high precision neutrons
LHEP_EMV       LHEP with v 7.1 EM processes
LHEP_PRECO_HP  LHEP_PRECO with HP
QBBC           Uses best cross section data within QGSP
QGSC           Quark Gluon-String (QGS) with CHIPS
QGSC_BERT      QGSC with Bertini Cascade
QGSC_EFLOW     QGSC using energy flow methods from CHIPS model
QGSC_EMV       QGSC with v 7.1 EM processes
QGSP           QGS with precompound
QGSP_BERT      QGSP with Bertini Cascade
QGSP_BERT_DIF  QGSP_BERT with CHIPS diffractive scattering
QGSP_BERT_EMV  QGSP_BERT with v 7.1 EM processes
QGSP_BERT_HP   QGSP with Bertini Cascade and high precision neutrons
QGSP_BERT_NQE  QGSP_BERT with quasi-elastic processes removed
QGSP_BERT_TRV  QGSP_BERT with transition to Bertini at 5 GeV
QGSP_BIC       QGSP with Binary Cascade
QGSP_BIC_HP    QGSP with Binary Cascade
QGSP_DIF       QGSP with CHIPS diffractive scattering
QGSP_EMV       LHEP with v 7.1 EM processes
QGSP_EMV_NQE   QGSP with v 7.1 EM processes and quasi-elastic processes removed
QGSP_EMX       QGSP with v 7.2 EM processes
QGSP_NQE       QGSP with quasi-elastic processes removed
QGSP_QEL       QGSP with elastic cross sections and model from CHIPS
QGS_BIC        QGS with new Bertini developments

GeomConverter

GeomConvert permet de convertir les fichiers de géométrie au format Compact Detector au format LCDD XML format

  • Emplacement sur lappsl4
   /grid_sw/soft-dev-lc/GeomConverter
  • Exécution
prompt%> GeomConverter  -o lcdd compact.xml det.lcdd


  • Site officiel
http://www.lcsim.org/software/geomconverter
  • Version actuelle

Reconstruction

De SLCIO vers ROOT

Example how to produce a root file with chosen variables from slcio files


Part I. Produce a root file and check it with ROOT


  • Step 1:

Copy and extract reconstruction program in your home directory:

~$ cp /LC/examples/smallHcalAnalysis.tar.gz ~
~$ tar xzvf smallHcalAnalysis.tar.gz


  • Step 2:

Run the reconstruction code to produce the reconstructed root file

~$ cd smallHcalAnalysis/reco/
~/smallHcalAnalysis/reco$ source env.csh
~/smallHcalAnalysis/reco$ ./bin/SmallHcal

Now you are running the reconstruction over all the events


  • Step 3:

Check the produced root file with ROOT

~/smallHcalAnalysis/reco$ cd ../rootFiles/ 
~/smallHcalAnalysis/rootFiles$ root SmallHcal.root


Now you are in ROOT, so you can open the TBrowser to have a look at the SmallHcal.root

root [1] TBrowser b;


Part II. Modify the reconstruction code and produce new root file

If you modify the reconstruction code you must recompiled it. The reconstruction code is in smallHcalAnalysis/reco/src/SmallHcal.cc


  • Step 1:

Set the correct work directory path in smallHcalAnalysis/reco/makefile and then compile it:

~/smallHcalAnalysis/reco$ make


  • Step 2:

Now you can run the modified reconstruction code:

~/smallHcalAnalysis/reco$ ./bin/SmallHcal


Notes:

1. You can run the reconstruction code also for different geometries. You don't need to recompile it, because the geometry is is defined in separate file

smallHcalAnalysis/reco/ini/geometry.txt

2. Destination for input slcio files is defined in smallHcalAnalysis/reco/ini/SmallHcal.txt

3. The reconstruction code uses the Micromegas digitization program which can be find in smallHcalAnalysis/reco/include/digitization.h

Analyse

Analysis of a ROOT file

Example how to analyse a ROOT file created in reconstruction section. The analysis program will read data from the SmallHcal.root file and create some simple histograms for lateral and longitudinal profiles, total measured energy in calorimeter, etc., and store them in a new ROOT file called analysis.root.

  • Step 1:

Copy and extract reconstruction program in your home directory:

~$ cp /LC/examples/smallHcalAnalysis.tar.gz ~
~$ tar xzvf smallHcalAnalysis.tar.gz
  • Step 2:

Run the ROOT macro analysis.C to produce a new ROOT file with histograms

~$ cd smallHcalAnalysis/ana/
~/smallHcalAnalysis/ana$ root analysis.C

Now you are analysing data stored in the SmallHcal.root file.

  • Step 3:

Check the produced file with ROOT

~/smallHcalAnalysis/ana$ cd ../rootFiles/ 
~/smallHcalAnalysis/rootFiles$ root analysis.root

Now you are in ROOT, so you can open the TBrowser to have a look at the analysis.root file

root [1] TBrowser b;

Notes:

1. The analysis macro can be find in smallHcalAnalysis/ana/analysis.C.

2. The produced root file is in smallHcalAnalysis/rootFiles/analysis.root

Jas3

Jas3 est un outil d'analyse

  • Emplacement pour lappsl5
/grid_sw/soft-dev-lc/Jas3/jas3-0.8.3/jas3


  • Exécution
prompt%> jas3
  • Site officiel
http://jas.freehep.org/jas3
  • Version actuelle

0.8.3

  • Verifier que la geometrie de votre detecteur est connue de jas3.
      Aller dans ~/.lcsim
      Editer le fichier alias.properties et ajouter une ligne du type {name} : file:{donner le path pour trouver le file heprep 
      ex SmallHcalFe: file:/lapp_data/LC/Detecteurs/Sid/detectors/SmallHcal/geom

Netbeans

Nous l'utiliserons pour le développement des logiciels d'analyse. Nécessite les librairies lcsim et Geomconverter ainsi que les plugins mavenide

NetBeans est un environnement de développement intégré IDE pour Java (langage)|Java. Il comprend toutes les caractéristiques d'un IDE moderne (éditeur en couleur, projets multi-langage, refactoring, éditeur graphique d'interfaces et de pages web). Conçu en Java, NetBeans est disponible sous Microsoft Windows|Windows , Linux , ...

  • Emplacement sur lappsl4
   /LC/Netbeans/Netbeans_5.5.1
  • Exécution
prompt%> netbeans --jdkhome /usr/java/jdk1.6.0_24&
  • Site officiel
http://www.netbeans.org
  • Version actuelle

5.5.1

Note: La dernière version de Netbeans, la version 6.1 ne supporte pas mavenide version 1.0.2. Cette version de mavenide étant la seule officiellement supportée par lcsim. Toutefois il semblerait que la version de maven 2.0.9 fonctionne avec lcsim.

maven

Permet la définition de structure de projet

  • Emplacement
   /grid_sw/soft-dev-lc/Maven
  • Exécution
prompt%>/grid_sw/soft-dev-lc/Maven/pro/bin/maven
  • Version

Seule la version 1.0.2 est officielement supporter par les package lcsim


  • Site officiel
http://maven.apache.org/
  • Verision

1.0.2 Note: La version 2.0.9 semble également fonctionné pour la compilation des package lcsim et GeamConverter

mavenide

C'est un plugins pour NetBeans, il permet la définition de structure de projet

  • Emplacement dans votre répertoire HOME
   ~/.netbeans/5.5.1/maven-plugins
  • Exécution
Installé comme plugins de Netbeans
  • Site officiel
http://mevenide.codehaus.org

Librairies

lcsim

org.lcsim is a reconstruction and analysis package for simulation studies for the international linear collider. It is entirely developed in Java for ease of development and cross-platform portabilty. The package is designed to be detector geometry and technology agnostic, so it can be used to work with data for any detector. The package reads and writes data in LCIO format, so can be used with a wide variety of other linear collider software packages.

The org.lcsim software can be used standalone, for running reconstruction and analysis tasks, or can be run inside JAS3 to provide a full interactive analysis toolkit.

  • Emplacement dans votre répertoire HOME
   ~/.netbeans/5.5.1/maven-plugins
  • Exécution
Uilisé comme librarie dans NetBeans
  • Site officiel
http://www.lcsim.org/software/lcsim

Développement collaboratif

Partage de nos codes sources

subversion

Exécution en mode Batch sur Must

qsub

Voici les etapes pour un job batch

  • Créer un fichier d'initialisation batch (obligatoire)qu'il doit etre executé une fois au début de votre session interactive. Un exemple est ici : File d'initialisation batch

La documentation pour soumettre en batch au lapp est ici documentation

Les commandes usuelles sont :

  • qsub {-q flash } -W group_list=LC votre_script
  • showq | grep -i {user} pour voir ou en est de votre job
  • canceljob <job_id>


Tutorial de Jan

      • /lapp_data/LC/Detecteurs/Sid/blaha/tutorial/doc: directory ***

lappsl5h{jacquem}(27) more /lapp_data/LC/Detecteurs/Sid/blaha/tutorial/doc/tutorial.txt

Simulation tutorial at LAPP

1. LC simulation concept:

  - SiD vs ILD simulations
  - slic, lcsim, Jas
  - GeomConvertor

2. Data production

  - using Must
  - using Grid
  - data storage and handing

3. Data analysis

  - with java ad aida
  - with c++ and ROOT

ad. 1.

Linear Collider Simulation Software: http://lcsim.org/software/ SiD vs ILD (java vs c++) SiD: Detector simulation: SLIC (Simulator for the Linear Collider): http://www.lcsim.org/software/slic/ SLIC is a Geant4-based simulations package that uses an XML geometry input format called LCDD (Linear Collider Detector Description) http://lcio.desy.de/v02-00/doc/

Analysis and Reconstruction: org.lcsim - (Java-based reconstruction and analysis framework): http://www.lcsim.org/ https://confluence.slac.stanford.edu/display/ilc/org.lcsim JAS (Java Analysis Studio 3) - An interactive data analysis environment: http://jas.freehep.org/jas3/index.html

	          GeomConverter (Geometry Converter):

http://lcsim.org/software/#reco.java.geom

Other pages: http://forum.linearcollider.org/

main lapp web page: http://lappwiki01.in2p3.fr/Linear_Collider_LAPP/index.php/Main_Page main external web page: http://lcsim.org/software/

main directory: /lapp_data/LC/Detecteurs/Sid/detectors

usefull commands: Must: showq canceljob

Personal tools