TopNLDirectoryScanner.java

  1. /*
  2.  * Copyright (C) 2017 B3Partners B.V.
  3.  */
  4. package nl.b3p.brmo.service.scanner;

  6. import static nl.b3p.brmo.persistence.staging.AutomatischProces.ProcessingStatus.ERROR;
  7. import static nl.b3p.brmo.persistence.staging.AutomatischProces.ProcessingStatus.PROCESSING;
  8. import static nl.b3p.brmo.persistence.staging.AutomatischProces.ProcessingStatus.WAITING;
  9. import static nl.b3p.topnl.TopNLType.*;

  11. import java.io.File;
  12. import java.io.FilenameFilter;
  13. import java.text.SimpleDateFormat;
  14. import java.util.ArrayList;
  15. import java.util.Arrays;
  16. import java.util.Calendar;
  17. import java.util.Collections;
  18. import java.util.Date;
  19. import java.util.HashMap;
  20. import java.util.List;
  21. import java.util.Map;
  22. import javax.persistence.Transient;
  23. import nl.b3p.brmo.loader.util.BrmoException;
  24. import nl.b3p.brmo.persistence.staging.AutomatischProces;
  25. import nl.b3p.brmo.persistence.staging.ClobElement;
  26. import nl.b3p.brmo.persistence.staging.LaadProces;
  27. import nl.b3p.brmo.persistence.staging.TopNLScannerProces;
  28. import org.apache.commons.logging.Log;
  29. import org.apache.commons.logging.LogFactory;
  30. import org.stripesstuff.stripersist.Stripersist;

  32. /**
  33.  * Directory scanner for topNL 10/50/100/250 files.
  34.  *
  35.  * @author Meine Toonen
  36.  */
  37. public class TopNLDirectoryScanner extends AbstractExecutableProces {

  39.   private static final Log LOG = LogFactory.getLog(TopNLDirectoryScanner.class);

  41.   private final TopNLScannerProces config;
  42.   private final int defaultCommitPageSize = 1000;
  43.   @Transient private ProgressUpdateListener listener;

  45.   @Transient private Integer filterAlVerwerkt = 0;
  46.   @Transient private Integer aantalGeladen = 0;
  47.   @Transient private Integer progress = 0;

  49.   public static final String[] subdirectoryNames = {
  50.     TOP10NL.getType(), TOP50NL.getType(), TOP100NL.getType(), TOP250NL.getType()
  51.   };

  53.   public TopNLDirectoryScanner(TopNLScannerProces config) {
  54.     this.config = config;
  55.   }

  57.   @Override
  58.   public void execute() throws BrmoException {
  59.     this.execute(
  60.         new ProgressUpdateListener() {
  61.           @Override
  62.           public void total(long total) {}

  64.           @Override
  65.           public void progress(long progress) {}

  67.           @Override
  68.           public void exception(Throwable t) {
  69.             LOG.error(t);
  70.           }

  72.           @Override
  73.           public void updateStatus(String status) {}

  75.           @Override
  76.           public void addLog(String log) {}
  77.         });
  78.   }

  80.   @Override
  81.   public void execute(ProgressUpdateListener listener) {
  82.     this.listener = listener;
  83.     config.setStatus(PROCESSING);
  84.     StringBuilder sb = new StringBuilder(AutomatischProces.LOG_NEWLINE);
  85.     String oldLog = config.getLogfile();
  86.     if (oldLog != null) {
  87.       if (oldLog.length() > OLD_LOG_LENGTH) {
  88.         sb.append(oldLog.substring(oldLog.length() - OLD_LOG_LENGTH / 10));
  89.       } else {
  90.         sb.append(oldLog);
  91.       }
  92.     }

  94.     String msg =
  95.         String.format(
  96.             "De TopNL scanner met ID %d is gestart op %tc.",
  97.             config.getId(), Calendar.getInstance());
  98.     LOG.info(msg);
  99.     listener.addLog(msg);
  100.     sb.append(msg);

  102.     // validatie van de directories, kunnen we lezen/bladeren en evt. schrijven?
  103.     final File scanDirectory = new File(this.config.getScanDirectory());
  104.     if (!scanDirectory.isDirectory() || !scanDirectory.canExecute()) {
  105.       config.setStatus(ERROR);
  106.       msg = String.format("De scan directory '%s' is geen executable directory", scanDirectory);
  107.       config.setLogfile(msg);
  108.       config.setSamenvatting("Er is een fout opgetreden, details staan in de logs");
  109.       this.listener.exception(new BrmoException(msg));
  110.       return;
  111.     }

  113.     config.setLogfile(sb.toString());
  114.     int total = 0;
  115.     Map<String, List<File>> filesPerDir = new HashMap<>();
  116.     FilenameFilter ff = (dir, name) -> name.toLowerCase().endsWith(".gml");
  117.     for (String topNLDir : subdirectoryNames) {
  118.       File subdir = new File(scanDirectory, topNLDir);
  119.       // File files[] = subdir.listFiles();
  120.       List<File> fs = getFilesFromDirectory(subdir, ff);
  121.       total += fs.size();
  122.       filesPerDir.put(topNLDir, fs);
  123.     }

  125.     listener.total(total);
  126.     for (String topNLDir : subdirectoryNames) {
  127.       List<File> files = filesPerDir.get(topNLDir);
  128.       Collections.sort(files);

  130.       processTopNLDirectory(files, scanDirectory, topNLDir);
  131.     }

  133.     Stripersist.getEntityManager().flush();
  134.     Stripersist.getEntityManager().getTransaction().commit();
  135.     Stripersist.getEntityManager().clear();
  136.   }

  138.   private List<File> getFilesFromDirectory(File dir, FilenameFilter ff) {
  139.     List<File> files = new ArrayList<>();
  140.     File[] fs = dir.listFiles(ff);
  141.     files.addAll(Arrays.asList(fs));

  143.     File[] dirs = dir.listFiles();
  144.     for (File d : dirs) {
  145.       if (d.isDirectory()) {
  146.         files.addAll(getFilesFromDirectory(d, ff));
  147.       }
  148.     }

  150.     return files;
  151.   }

  153.   /**
  154.    * verwerk een bestandenlijst.
  155.    *
  156.    * @param files array met xml bestanden
  157.    * @param scanDirectory directory met xml bestanden
  158.    * @param soort aanduiding
  159.    */
  160.   private void processTopNLDirectory(List<File> files, File scanDirectory, String soort) {
  161.     StringBuilder sb = new StringBuilder(AutomatischProces.LOG_NEWLINE + config.getLogfile());
  162.     String msg;
  163.     SimpleDateFormat sdf = new SimpleDateFormat("dd-MM-yyyy HH:mm:ss");
  164.     int commitPageSize = this.getCommitPageSize();

  166.     msg = String.format("Laden van TopNL type %s.", soort);
  167.     LOG.info(msg);

  169.     listener.addLog(msg);
  170.     for (File f : files) {
  171.       if (f.isDirectory()) {
  172.         continue;
  173.       }
  174.       msg = String.format("Bestand %s is gevonden in %s.", f, scanDirectory);
  175.       LOG.info(msg);
  176.       listener.addLog(msg);
  177.       sb.append(AutomatischProces.LOG_NEWLINE).append(msg).append(AutomatischProces.LOG_NEWLINE);
  178.       if (this.isDuplicaatLaadProces(f, soort)) {
  179.         msg = String.format("  Bestand %s is een duplicaat en wordt overgeslagen.", f);
  180.         listener.addLog(msg);
  181.         LOG.info(msg);
  182.         sb.append(msg).append(AutomatischProces.LOG_NEWLINE);
  183.         filterAlVerwerkt++;
  184.       } else {
  185.         LaadProces lp = new LaadProces();
  186.         lp.setBestand_naam(getBestandsNaam(f));
  187.         lp.setBestand_datum(getBestandsDatum(f));
  188.         lp.setSoort(soort);
  189.         lp.setStatus(LaadProces.STATUS.STAGING_OK);
  190.         lp.setOpmerking(
  191.             String.format(
  192.                 "Type %s bestand geladen van %s op %s",
  193.                 soort, f.getAbsolutePath(), sdf.format(new Date())));
  194.         lp.setAutomatischProces(
  195.             Stripersist.getEntityManager().find(AutomatischProces.class, config.getId()));
  196.         Stripersist.getEntityManager().persist(lp);
  197.         Stripersist.getEntityManager().merge(this.config);

  199.         aantalGeladen++;
  200.         msg =
  201.             String.format(
  202.                 "  Bestand %s is geladen en heeft status: %s. En is van soort: %s",
  203.                 f, lp.getStatus(), soort);
  204.         LOG.info(msg);
  205.         this.listener.addLog(msg);
  206.         sb.append(msg).append(AutomatischProces.LOG_NEWLINE);
  207.         if (aantalGeladen % commitPageSize == 0) {
  208.           LOG.debug("Tussentijds opslaan van berichten, 'commitPageSize' is bereikt");
  209.           Stripersist.getEntityManager().flush();
  210.           Stripersist.getEntityManager().getTransaction().commit();
  211.           Stripersist.getEntityManager().clear();
  212.         }
  213.       }
  214.       listener.progress(++progress);
  215.     }
  216.     msg = String.format("Klaar met run op %tc", Calendar.getInstance());
  217.     LOG.info(msg);
  218.     listener.updateStatus(msg);
  219.     listener.addLog(msg);
  220.     sb.append(msg);

  222.     listener.addLog("\n\n**** resultaat ****");
  223.     listener.addLog("\nAantal bestanden die al waren geladen: " + filterAlVerwerkt);
  224.     listener.addLog("\nAantal bestanden geladen: " + aantalGeladen + "\n");

  226.     config.setStatus(WAITING);
  227.     config.setLogfile(sb.toString());
  228.     config.setLastrun(new Date());
  229.     config.updateSamenvattingEnLogfile(
  230.         "Aantal bestanden die al waren verwerkt: "
  231.             + filterAlVerwerkt
  232.             + AutomatischProces.LOG_NEWLINE
  233.             + "Aantal bestanden geladen: "
  234.             + aantalGeladen
  235.             + AutomatischProces.LOG_NEWLINE);
  236.     Stripersist.getEntityManager().merge(config);
  237.   }

  239.   private int getCommitPageSize() {
  240.     int commitPageSize;
  241.     try {
  242.       String s = ClobElement.nullSafeGet(config.getConfig().get("commitPageSize"));
  243.       commitPageSize = Integer.parseInt(s);
  244.       if (commitPageSize < 1 || commitPageSize > defaultCommitPageSize) {
  245.         commitPageSize = defaultCommitPageSize;
  246.       }
  247.     } catch (NumberFormatException nfe) {
  248.       commitPageSize = defaultCommitPageSize;
  249.     }

  251.     LOG.debug("Instellen van commit page size op: " + commitPageSize);
  252.     return commitPageSize;
  253.   }
  254. }
Created with JaCoCo 0.8.12.202403310830