Module d’import générique¶

Format général des filtres¶

<?xml version="1.0" encoding="utf-8" ?>
<catalogfilter version="2">
        <filter name="" type="xls" ... />

        <zones>
                <zone name="work" level="work" col="1" isactivecol="C" isactiveregex="^(\d+|)$">
                        <field name="title" col="A" ghregex="Title/Alternate Title\(s\)">
                                <helper type="regex" when="beforepost" find="\s+" replace="" />
                        </field>

                        <newrec>
                                <condition type="change" field="title" />
                        </newrec>

                        <onpost>
                                <![CDATA[
                                Begin
                                        if getstring('title')=getstring('subtitle') then
                                                putstring('subtitle','');
                                End.
                                ]]>
                        </onpost>
                </zone>
        </zones>
        <lookups>
                <lookup name="abatprix" valuetype="integer">
                        <entry key="FULL" value="1" />
                </lookup>
        </lookups>

</catalogfilter>

Filter¶

<filter name="filtername" type="xls|csv|fix" />

Attributs :

Attribut	Obligatoire	Explication
name	Oui	Le nom du filtre tel qu’il apparaîtra dans la liste
type	Oui	Le type de fichier : xls ou csv ou fix
maxheader	Non	Le nombre de lignes où chercher les en-têtes (par défaut = 20)
delim	si type=”csv”	Le délimiteur à utiliser (par défaut « , »). tab ou $09 pour les tabulations auto pour détection automatique
engine	Non	Le moteur de lecture à utiliser si type= »xls » : « xlsrw » ou « cx » si type= »csv » ou « fix » : « fileread » ou « memorymap »
reconcile	Non	Par défaut : « Non ». Si le moteur de lecture est « fileread », essayer de « recoller » les lignes qui contiennent des retour chariot.

Zones¶

Lookups (tables de correspondances)¶

Champs (fields)¶

<field name="title" col="A" />

Attributs :

Attribut	Obligatoire	Explication
name	Oui	Le nom du champ tel que défini par l’appelant
col	Oui	La position du champ numéro de colonne colonne Excel (A-Z, AA, AB, etc.) n,l : n = numéro de colonne, l=longueur (pour les types « fix ») +n : numéro de colonne relativement à la zone (+0 pour le premier champ) auto : la colonne sera trouvée avec ghregex
ghregex	Non	Regex de l’en-tête pour contrôle ou découverte (si col=auto)
readasstring	Non	Si « 1 » le champ sera lu/vu comme une chaîne jusqu’à son enregistrement ce qui permet de lui appliquer des regex, eval et autres helpers
defaultvalue	Non	Valeur par défaut si le champ est vide
forcedvalue	Non	Valeur du champ forcée
optional	Non	« 1 » si le champ n’est pas systématiquement présent dans les fichiers
checktype	Non	regex change
checkregex	Oui	Si checktype = regex
onfail	Oui	null : le champ est nullifié empty : le champ est vidé ignorerec : l’enregistrement est ignoré ignoretab : arrêt du traitement de l’onglet courant fatalerror : le traitement est interrompu
onfailmessage	fatalerror	Message affiché en cas d’erreur fatale
acceptif	Non	Raccourci pour checktype=regex + readasstring + OnFail=IgnoreRec
ignoreif	Non	Raccourci pour checktype=regex + readasstring + OnFail=IgnoreRec (regex=!regex)
keytype	Non	primary : ce champ est unique et toujours présent unique : ce champ est unique ou vide fallback
codetype	si keytype	Type de code à associer
sticky	Non	La valeur du champ est mémorisée pour les lignes suivantes où cette valeur serait vide
isactivecol	Non	Colonne où vérifier isactiveregex
isactiveregex	Non	regex à vérifier pour que la ligne soit prise en compte

Contrôles¶

Avant de prendre en compte une donnée, plusieurs contrôles peuvent être effectués :

checkactive

Permet de vérifier, à un autre endroit de la ligne, que le champ qu’on s’apprête à lire est bien celui qu’on croit. Sur les fichiers de type « fix », cela permet par exemple de s’assurer que le type d’enregistrement est celui attendu.

check

Permet de vérifier la validité de la donnée et de déterminer quoi faire dans le cas contraire (ignorer la ligne, le fichier ou interrompre le traitement si l’erreur rencontrée indique un fichier corrompu ou invalide)

Les traitements sont effectués dans cet ordre :

Vérifier que le champ est bien défini (certains champs sont facultatifs)
Appliquer les helpers checkactive
Vérifier que le champ est bien actif (checkactive)
Appliquer les helpers afterread
Vérifier la validité de la donnée (check)
Appliquer les helpers beforepost

Helpers¶

<helper type="regex" when="beforepost" find="xxx" replace="yyy" else="zzz" />

When¶

afterheaderread: N’est utilisé que dans la phase de recherche d’en-têtes, avant de vérifier si ceux-ci répondent au(x) critère(s) attendu(s).
beforecheckactive: Traitement appliqué aux champs checkactive (donc généralement pas le champ lui-même mais peut être utilisé pour opérer une transformation de la donnée uniquement aux fins de vérification en la gardant intacte)
afterread: Effectué avant de vérifier la conformité de la donnée
beforepost: Effectué après vérification de conformité mais avant stockage
userdefined: Non utilisé actuellement

Types¶

lowercase

Force le champ en minuscules.

uppercase

Force le champ en capitales

trim

Élimine les espaces de début et de fin (déjà fait à la lecture du champ)

lpad

remplit à gauche avec un caractère pour atteindre une longueur prédéfinie. Si le champ est déjà trop long, il est tronqué.

fill:	caractère à utiliser pour combler
length:	longueur à atteindre

rpad

remplit à droite avec un caractère pour atteindre une longueur prédéfinie. Si le champ est déjà trop long, il est tronqué.

fill:	caractère à utiliser pour combler
length:	longueur à atteindre

round2

Arrondit le champ (float) à 2 chiffres après la virgule

round8

Arrondit le champ (float) à 8 chiffres après la virgule

eval

Évaluation mathématique du champ (par exemple 100/2)

regex

Recherche un motif et le remplace par une chaîne. Les portions isolées par des parenthèses sont remplacées par $1, $2, etc.

find:	motif à rechercher
replace:	chaîne par laquelle remplacer

regexeval

Combine regex et eval. Par exemple :

find:	`^(.*)$`
replace:	`$1/2`

regexelse

Recherche le motif find et remplace l’ensemble de la chaîne par replace en cas de succès ou par else en cas d’échec ou de champ vide/nul.

find:	motif à rechercher
replace:	chaîne par laquelle remplacer
else:	chaîne alternative

split

Récupère le N-ième élément en séparant le champ lu sur un ou plusieurs caractères

splitchars:	un ou plusieurs caractères qui serviront à séparer les éléments
count:	le N-ième élément à récupérer

userdefined

Permet au module appelant (ImportCatalogues) de définir un helper particulier à appliquer juste avant d’enregistrer les données.

udname:	nom du helper qui sera reconnu par l’appelant

lookup

Permet de transformer une valeur lue par une autre, définie dans une table de correspondance

lookup:	nom de la table de correspondance

Code¶

Actuellement, chaque zone peut avoir un code associé, placé dans une directive <onpost />. Outre le langage Pascal standard, les fonctions suivantes sont disponibles :

getstring(name)

getinteger(name)

getfloat(name)

Récupère la valeur d’un champ

name:	nom du champ à récupérer

putstring(name,value)

putinteger(name,value)

putfloat(name,value)

Stocke des données dans un champ

name:	nom du champ
value:	valeur à stocker

abortzone

Invalide les données de la zone, comme si un check avait échoué et retourné ignorerec

abortthisline

Non implémenté

abortwholefile

Interrompt le traitement du fichier entier

debug(text)

Écrit sur la console lorsque l’utilisateur a choisi de voir les informations de débogage

log(text)

Écrit sur la console