Cr�ation d'un regex avanc�

Version imprimable

Voir 40 message(s) de cette discussion en une page

Bonjour,

Actuellement, j'ai une liste de r�f�rence produit.
Chaque r�f�rence produit est constitu�e des caract�res suivants : lettre en majuscule, chiffres, certains caract�res sp�ciaux (".", "/", "-", "*", "_", "(", ")").
Les r�f�rences produit ne contiennent pas d'espace.

J'ai cr�� un syst�me de recherche qui affiche la liste de produits associ�s en fonction de la valeur d'un champs de recherche renseign�e par l'utilisateur.
Bien que les r�f�rences soient renseign�es dans la BDD qu'avec des lettre en majuscule, si l'utilisateur entre des minuscules, la recherche fonctionne quand m�me.
Bien que les r�f�rences soient renseign�es dans la BDD sans contenir d'espaces, si l'utilisateur entre des espaces, ceux-ci sont ignor�s dans la recherche.
Le caract�re "�" est remplac� dans la recherche par le caract�re "U".

Par exemple, si on a cette BDD :
Code:

1 2 3 4 AAA-123US AAA-124US BBB-124US BBB-124AS
Si l'utilisateur entre dans le champs de recherche "124 �S", �a affiche :
Code:

1 2 AAA-124US BBB-124US
Voici que le code qui g�n�re le regex :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 function getProductRegex(reference){ //console.log(reference); let newReference = reference.replace('µ', 'U') // remplacement µ par U .toUpperCase() // conversion en majuscule .split(' ').join(''); // suppression des espaces //console.log(newReference); let re = $.ui.autocomplete.escapeRegex(newReference); let matcher; matcher = new RegExp(re); return matcher; }
La BDD (Base De Donn�es) est stock�e sous forme de variable dans mon script javascript :

Code:

var bdd = ["AAA-123US", "AAA-124US", "BBB-124US", "BBB-124AS"];

Maintenant, j'aimerai am�liorer le syst�me pour que la recherche fonctionne par mots clefs s�par�s par des espace.
Par exemple si l'utilisateur entre dans le champs de recherche "�S 124 BBB", que �a affiche :

Code:

BBB-124US

... que le regex recherche toutes les chaines de caract�res qui contiennent TOUS les mots clef entr�s (peu importe l'ordre).

Comment faire cela ?

Merci d'avance

04/05/2023, 12h01
SpaceFrog

Tu parles de BDD
Les donn�es sont dans un table MySQL ?

Il serait peut �tre plus int�ressant de faire la recherche en utilisant le fulltext ?
https://www.w3resource.com/mysql/mys...-functions.php
04/05/2023, 12h05
boboss123

Non les donn�es sont enregistr�es dans une variable locale :

Code:

var bdd = ["AAA-123US", "AAA-124US", "BBB-124US", "BBB-124AS"];

... je vais rajouter cette infos dans mon premier message.
04/05/2023, 13h14
SpaceFrog

Ha ok

Donc si on rentre des suites de caract�res s�par�s par des espaces il faudra rechercher selon les "mots" ainsi rentr�s ?

Faut il que tous les mots soient pr�sent ou la recherche est elle "ou" ?

Il suffira de r�cup�rer la chaine de recherche, la splitter et constituer une nouvelle regex avec des pipes ...
04/05/2023, 16h44
boboss123

Malheureusement, c'est un "et" que je veux faire. Je pourrais faire autant de passe regex qu'il y a de mots clefs mais on ne peut pas g�rer �a directement via un regex ?
... et puis faire plusieurs passes, �a ne marche bien pour la gestion des recouvrements (ex: recherche de "AB BC" va matcher la chaine "ABC" alors que �a ne devrait pas).
04/05/2023, 16h48
SpaceFrog

un et OK mais dans l'ordre ?

du coup tu pourrais faire une reg par mot et ainsi faire un score de match
ceux qui matche tous les mots ... =100%
ceux qui matche tous les mots -1 = nbr mots-1 / nbre mots *100 %
etc ...
04/05/2023, 17h19
boboss123
D�sol� mais je n'ai pas compris.

Apr�s j'ai peut-�tre un d�but de solution.

Si l'utilisateur entre " US 124 BBB"

Je transforme la requ�te sous cette forme de regex :
"(US|124|BBB).*(US|124|BBB).*(US|124|BBB)"

�a fonctionne bien avec la liste suivante :
Code:

1 2 3 4 5 AAA-123US AAA-124US BBB-124US BBBUS-124 BBB-124AS
�a me s�lectionne bien :
Code:

1 2 3 AAA-123US BBB-124US BBBUS-124
Par contre, �a s�lectionne aussi la chaine "BBB-BBBUS"... il faudrait arriver � exclure les chaines d�j� trouv�es.
04/05/2023, 17h22
SpaceFrog

La reg devrait plutot ressembler �

Code:

/(US)|(124)|(BBB)/
04/05/2023, 17h37
boboss123

Ce n'est pas un OU que je veux faire mais un ET (mais sans recouvrement des chaines trouv�e).

ce regex semble fonctionner :

Code:

"(BB.*124.*US)|(BB.*US.*124)|(124.*US.*BB)|(124.*BB.*US)|(US.*BB.*124)|(US.*124.*BB)"

... mais le probl�me est que �a taille augmente de mani�re exponentielle en fonction du nombre de mots clefs � rechercher : il y a peut-�tre une autre mani�re de l'�crire ?

PS :

Code:

/(US)|(124)|(BBB)/

c'est la m�me chose que �a ?

Code:

"(US)|(124)|(BBB)"
04/05/2023, 18h38
javatwister

Salut,

Je vois 2 probl�mes dans ce que tu essaies de faire:

1) Comment veux-tu obliger le client � taper des mots cl�s s�par�s par des espaces? (pas tr�s ergonomique et risque de saisie non conforme)
2) Pourquoi utiliser des regexp alors que le client saisira forc�ment des caract�res standards en clair?

Principe � tester:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<div id="search">
<input type="text" size="4" />
<input type="text" size="4" />
<input type="text" size="4" />
</div>
<div>
<input id="go" type="button" value="go" />
</div>
<div id="result"></div>
<script>
 
var bdd = ["AAA-123US", "AAA-124US", "BBB-124US", "BBB-124AS"];
 
document.querySelector("#go").addEventListener("click",()=>{
        let req=Array.from(document.querySelector("#search").getElementsByTagName("input"));
        for(i in bdd){
                let win=0,nbr=req.length;
                req.forEach(v=>{
                        if(v.value.replace(/\s/,"")==""){nbr--}
                        else if(bdd[i].search(v.value.toUpperCase())!=-1){win++}
                });
                if(win==nbr){console.log(bdd[i])}
        }
})
</script>

J'adopterais plut�t une m�thode consistant � faire en amont un registre mettant en rapport les �l�ments des r�f�rences avec les index du tableau de r�f�rences. Voil� ce que �a donne:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
const refs = ["AAA-123US", "AAA-124US", "BBB-124US", "BBBUS-124", "BBB-124AS"];
 
const refs_elts = new Map([
    ["AAA", new Set([0, 1])],
    ["BBB", new Set([2, 3, 4])],
    ["123", new Set([0])],
    ["124", new Set([1, 2, 3, 4])],
    ["US", new Set([0, 1, 2, 3])],
    ["AS", new Set([4])]
]);
 
let usr_input = "US 124 BBB";
let usr_elts = usr_input.split(/ /);
 
let indexes = new Set();
let current_elt = usr_elts.pop();
 
if (refs_elts.has(current_elt)) {
    let elt_indexes = refs_elts.get(current_elt)
    indexes = new Set(elt_indexes);
 
    while (usr_elts.length) {
        current_elt = usr_elts.pop();
 
        if (refs_elts.has(current_elt)) {
            elt_indexes = refs_elts.get(current_elt);
            indexes = new Set([...indexes].filter((index) => elt_indexes.has(index)));
        }
    }
}
 
for (const index of indexes) {
    console.log(refs[index]);
}

De cette mani�re, on obtient les "candidats potentiels" en faisant l'intersection entre les jeux (sets) d'index.

Bien entendu, ce registre devra �tre g�n�r� dynamiquement.

04/05/2023, 22h30
javatwister

En amont, en amont... Oui mais imagine rien qu'un millier de r�f�rences � entrer!
Et puis n'oublions pas que la saisie peut �tre elliptique par rapport aux r�f�rences. On peut saisir "a" et esp�rer un r�sultat comprenant "AAA".
05/05/2023, 09h12
boboss123

Salut,

Citation:

Envoy� par javatwister

1) Comment veux-tu obliger le client � taper des mots cl�s s�par�s par des espaces? (pas tr�s ergonomique et risque de saisie non conforme)

Je m'inspire du syst�me de recherche du logiciel Everything : je n'ai jamais eu besoin de lire la documentation pour comprendre comment il fonctionne, je trouve l'interface plutot intuitive. Tu entres des mots clefs et il t'affiche tous les fichiers qui contiennent ces mots... simple et efficace, je trouve.

Citation:

Envoy� par javatwister

2) Pourquoi utiliser des regexp alors que le client saisira forc�ment des caract�res standards en clair?

L'utilisateur n'entrera pas de regex : je veux juste transformer les mots clefs en regex pour faire la recherche... mais peut-etre que ce n'est pas la bonne solution.
05/05/2023, 09h53
javatwister

Tu peux tester le bout de code ds une page et voir si �a marche?
05/05/2023, 11h49
boboss123
A priori avec cette m�thode �a fonctionne (test� avec le moteur de recherche en mode Regex du logiciel Notepad++) : https://stackoverflow.com/questions/...s-in-any-order
... par contre, je n'ai pas bien comprise comment fonctionne ce regex.

Par exemple :

Code:

^(?=.*US)(?=.*124)(?=.*BBB).*$

Match bien :
Code:

1 2 3 BBB-124US BBBUS-124 BBBUSUS-124
Et ne match pas :
Code:

1 2 3 4 AAA-124US AAA-123US AAA-123US BBB-124AS
05/05/2023, 12h06
javatwister

Je ne comprends toujours pas ce que tu fais...

Je me r�p�te mais tu n'as pas besoin de regexp: l'utilisateur tape 2 ou 3 "mots" cl�s et tu affiches les donn�es qui contiennent ces mots cl�s...
Donc, � peu pr�s rien � coder;
05/05/2023, 12h35
CosmoKnacki

Citation:

Envoy� par javatwister

En amont, en amont... Oui mais imagine rien qu'un millier de r�f�rences � entrer!
Et puis n'oublions pas que la saisie peut �tre elliptique par rapport aux r�f�rences. On peut saisir "a" et esp�rer un r�sultat comprenant "AAA".

Un millier, c'est une broutille!

La g�n�ration de l'objet map ne prend que quelques dixi�mes de seconde (et encore) et est faite une fois pour toutes: sous nodejs, j'atteint la seconde (g�n�ration al�atoire du tableau de r�f�rences et test avec une entr�e utilisateur compris) qu'� partir de 300 000 r�f�rences!

Quant au temps de recherche lui-m�me, il est totalement n�gligeable, m�me avec des entr�es elliptiques.

Il faut bien voir que le nombre de clefs de la map est major�e et ne d�passera pas 19252 entr�es quelque soit le nombre de r�f�rences (19252 = 26^3 + 10^3 + 26^2) et quelles sont associ�es � des Sets de nombres. Donc l'occupation en m�moire ne coutera � quelque chose pr�s pas plus ch�re que le tableau d'origine. Pour illustrer, pass� 10.000 r�f�rences, le nombre d'entr�es de la map devient inf�rieur � celui du tableau.

Par contre, le probl�me de chevauchement des �l�ments de l'entr�e utilisateur reste entier, mais sera plus rapide � r�gler une fois ce premier filtrage effectu� (par exemple pour 1 million de r�f�rences, j'obtiens ~150 r�sultats contenant AI et IA).
05/05/2023, 12h52
CosmoKnacki

Citation:

Envoy� par boboss123

A priori avec cette m�thode �a fonctionne (test� avec le moteur de recherche en mode Regex du logiciel Notepad++) : https://stackoverflow.com/questions/...s-in-any-order
... par contre, je n'ai pas bien comprise comment fonctionne ce regex.

Par exemple :

Code:

^(?=.*US)(?=.*124)(?=.*BBB).*$

C'est simple cette pattern teste en partant du d�but de la cha�ne (^) pour chaque test avant (?=...) (lookahead) si US, 124 et BBB sont bien pr�sent dans la cha�ne. (� noter que .*$ ne sert � rien, on se doute bien que la cha�ne va finir un jour).
Par contre ce qu'elle ne fait pas c'est de r�soudre le probl�me de chevauchement: ^(?=.*AB)(?=.*BA) trouvera ABC-123BA mais aussi ABA-123US.

Accessoirement, il serait utile de savoir de quoi on parle: quel est le format pr�cis des r�f�rences? Est-ce qu'il y en a plusieurs qui coexistent? Quelle est la taille de ton tableau de r�f�rences? Pourquoi sont-elles en dur dans ton javascript, d'o� viennent-elles?
05/05/2023, 14h38
CosmoKnacki

En fait je me suis compliqu� la vie pour rien, j'�tais tellement persuad� que le parcours du tableau allait �tre lent que j'ai cherch� une solution de rechange qui en plus r�soudrait le probl�me de chevauchement, mais en fait il est rapide m�me avec beaucoup d'�l�ments et le probl�me de chevauchement n'est pas r�solu dans le cas de saisies �lliptiques avec ma m�thode. Je vais chercher autre chose.

Voir 40 message(s) de cette discussion en une page