Un problème de consommation de mémoire nous empêchait de faire tourner le crawler trop longtemps sur notre machine Linux. Au bout d'un moment, le programme utilisait plusieurs centaines de Méga-octets, et avec 4 instances simultanées, cela faisait effondrer les performance du petit ordinateur qui le fait tourner.
Nous avons résolu le problème, qui n'était apparemment pas de notre coté, mais plus général à certains types de traitement dans le langage Perl. Nous avons également fixé une limite à la taille des fichiers analysés, considérant que des PDF de 50 Mo (si, si, on en a trouvé) contenaient probablement des scans de partitions papier et ne seraient donc de toute façon pas indexables.
Depuis, l'utilisation mémoire a été réduite à 3 ou 4 Mo par instance, ce qui nous permet de le faire tourner en permanence.
On approche donc de la barre des 100 000 fichiers, trouvés sur une quarantaine de sites. Comme il nous l'a été demandé, nous allons prévoir une option (cachée ou pas) qui permette à l'utilisateur de connaître la liste des sites indexés, et éventuellement de nous en proposer d'autres. |
|
|
| by Olivier Guillion |  |
|
|
Correction du menu déroulant de la grille d'accord
Correction du script doigté pour guitare
Correction du script NoteWorhty
Correction du script Finale |
|
|
| by Didier Guillion |  |
|
|
Nous avons pu laisser tourner le programme d'indexation ce week-end sur la machine Linux, afin de voir si on pourrait le laisser étoffer la base tranquillement 24h/24.
Nouis avons donc mis en place la connexion à distance afin de pouvoir le surveiller, avons sécurisé tout ça avec des mots de passe et un filtrage, et l'avons laissé tourner.
Hélas, pas de chance, samedi après-midi tout s'est arrêté net. De retour sur place lundi matin, npus avons pu constater que l'ordinateur était figé sur un écran bariolé. Au redémarrage, la moitié de la mémoire avait disparu !
Cet ordinateur est resté dans un placard trop longtemps, et une barrette mémoire ne faisait plus bien contact. Après un peu de chauffe, elle s'est déconnectée en pleine opération.
Donc a priori ni Ubuntu ni nos programmes n'étaient en cause ce coup-ci. Après démontage et remontage de la machine, nous avons tout relancé. |
|
|
| by Olivier Guillion | |
|
|
Une nouvelle version du plug-in ( 5.5 beta 8 ) vient d'être mise à disposition ici.
Elle contient une nouvelle version de l'objet ActiveX qui permet l'utilisation du plug-in sur Internet Explorer, et tous les modules, ainsi que l'installateur, sont maintenant signés avec notre signature numérique. A essayer, donc, sur un maximum possible de versions de Windows et d'IE.
De son côté, le "crawler" continue à indexer les fichiers musicaux qu'il trouve sur Internet, et Kooplet a allègrement passé la barre des 80000 fichiers.
Ceci a eu pour conséquence de mettre à l'épreuve les diverses fonction d'importation d'Harmony Assistant. Nous les avons améliorées, et la prochaine version en bénéficiera.
Bon week-end à tous ! |
|
|
| by Olivier Guillion | |
|
|
Nous avons fait les premiers essais de scellement de nos applications avec la signature numérique que nous avons reçue.
Pour info, cette signature est valable 1 an (renouvelable), et le prix d'achat varie d'environ 100$ (mais on peut trouver moins cher, je crois) à 499$ selon le vendeur.
Pour l'obtenir, il faut montrer patte blanche, et envoyer pas mal de documents officiels (extraits du registre de commerces, factures diverses) et répondre à un coup de fil des USA pour valider le numéro de téléphone.
Mais cela a tout de même été plus rapide que nous le craignions, et cela a l'air de fonctionner plutôt bien et simplement jusqu'ici. Une version beta "signée" du plug-in devrait être disponible au test très prochainement.
Nous avons également ressuscité une vielle machine, sur laquelle nous avons installé Ubuntu. C'est la première machine en Linux natif que nous avons ici. D'accord, nous l'utilisons en "bureau à distance", donc elle n'a pas de souris, pas de clavier, et pas d'écran, mais c'est un début 
Elle nous permet de faire tourner le "crawler" de Kooplet sur une machine dédiée, ce qui a deux avantages:
- le langage dans lequel il est écrit (Perl) étant plus stable sur Linux, il vaut mieux le faire tourner sur ce système.
- les calculs, vérifications, balayages de listes utilisant une puissance de calcul non négligeable , une machine dédiée nous permet de ne pas ralentir nos ordinateurs de développement pour cette tâche.
Le PC principal de développement commence à ressembler à la salle de contrôle de la NASA. Sur ses deux écrans, outre ses propres fenêtres, la vue de la tête de pont réseau (mails, intranet, P2P...), celle du crawler sous Linux avec quatre agents tournant en parallèle, et la fenêtre de console SSH de notre serveur Web distant qui héberge Kooplet. Il vaut mieux mettre des fonds d'écran différents pour ne pas s'y perdre  |
|
|
| by Olivier Guillion | |
|
|
Aujourd'hui :
Correction du script TimeCode
Amélioration de l'importateur Tabledit
Correction importateur MIDI quand des tracks étaient illicites, ils sont maintenant ignorés.
Mais aussi :
Nous avons reçu notre certificat authenticode, nous sommes en train de l'essayer. |
|
|
| by Didier Guillion | |
|
|
Correction de la position des fenêtres lors du chargement.
MyrScript ; correction d'un problème lors de l'insertion de paroles
Export MusicXML, correction du traitement des liés
|
|
|
| by Didier Guillion | |
|
|
Nous avons recherché les cause du mauvais fonctionnement du plug-in avec Internet Explorer sur Windows Vista/7.
Après avoir pateaugé un temps dans la gestion des comptes administrateurs, droits d'accès et autres joyeusetés incompréhensibles destinés à assurer la sécurité de l'utilisateur en le forçant à cliquer "Autoriser" toutes les 30 secondes, nous pensions avoir réussi à tout remettre en ordre.
Mais voila-t-y-pas qu'Internet Exporer refuse d'effectuer les recherches sur Kooplet, en expliquant qu'il avait volontairement bloqué l'appel à notre contrôle ActiveX pour "des raisons de sécurité", et en ne permettant pas à l'utilisateur de passer outre?
Seule solution: abaisser le niveau de sécurité de tout IE, ce que nous pouvons difficilement suggérer aux visiteurs de kooplet. Apparemment, les nouvelles versions de Windows sont de plus en plus avides de signatures numériques, et refusent par défaut de laisser faire ce qu'ils veulent aux contrôle ActiveX non authentifiés.
Nous en revenons donc au problème évoqué en mai dernier dans ce billet: acquérir un certificat authenticode afin de pouvoir signer numériquement nos applications. Nous étudions cela, mais ça n'a l'air ni simple ni bon marché chez certains (apparemment les prix varient du simple au quintuple selon le fournisseur)... |
|
|
| by Olivier Guillion | |
|
|
Pour finir la semaine, nous publions une nouvelle bêta du plug-in qui devrait corriger quelques problèmes signalés par les bêta testeurs.
La recherche textuelle est en place. Certains PDF ont des textes illisibles associés, nos robots sont en train de corriger cela, mais cela va prendre du temps.
Nous allons passer du statut de bêta privé à bêta publique par une annonce en ce sens sur le Forum.
Pour répondre à certaines observations formulées dans les commentaires, la recherche avancée se fera sur une page séparée bien qu'il sera également possible d'entrer des commandes dans le champ texte.
La grande différence de la recherche textuelle tel que le propose Kooplet est qu'elle se fait également dans les fichiers musicaux, on peut, par exemple, retrouver un morceau si on connait les paroles de la chanson mais que l'on a oublié le titre. |
|
|
| by Didier Guillion | |
|
|
La recherche de texte est maintenant complètement opérationnelle. Comme prévu, des mots spéciaux, terminés par un deux-points ( : ) permettent de la configurer de manière fine:
partout: ou anywhere:
Recherche les mots suivants n'importe où dans le fichier. C'est le mode opératoire par défaut.
paroles: ou lyrics:
Recherche les mots suivants dans les paroles des chansons
autre: ou other:
Recherche les mots suivants n'importe où, sauf dans les paroles des chansons
site:
Restreint la recherche à la liste de sites qui suit. (ex. myriad-users.com cpdl.org)
type:
Restreint la recherche à la liste des types de fichiers qui suit. (ex. pdf myr )
Les mots à rechercher sont séparés par des espaces si on veut qu'ils soient recherchés dans n'importe quel ordre et qu'ils peuvent être séparés par d'autre mots, ou entre guillemets si on désire les chercher dans l'ordre, et consécutifs.
Nous en avons également profité pour retraiter les 1600 fichiers PDF déjà dans la base, afin de prendre en compte plus de textes extraits par PDFtoMusic. Cela a permis d'améliorer les résultats de recherche textuelle sur ce type de fichiers.
Je rappelle le lien provisoire:
http://www.kooplet.com/main.html |
|
|
| by Olivier Guillion | |
|
|
En fin de semaine dernière, un ancien client nous re-contacte pour nous demander une réactualisation éventuelle de deux applications que nous avions développé pour lui en... 1996 !
Durant la période 1992-1998 nous avons travaillé sur plusieurs logiciels techniques pour le Conseil Supérieur de la Pêche et la division Etude et Recherche d'EDF. Ces logiciels gravitaient sur le thème des passes à poissons et des débits de rivière.
Les logiciels en question sont Cassiopée et Moulinet. Conçus à la base sur Windows 3.1, ils tournent encore quotidiennement sur le terrain.
Mais si on veut les recompiler, maintenant, il faut retrouver les fichiers sources...
Un après midi est passé à explorer les sauvegardes que nous avons sous la main, une bonne centaine de CD couvrant la période 2002-2009.
Chou blanc.
Dernier espoir, les très anciennes archives que nous gardons dans un grenier. Nous rapatrions 30 bons kilos de CD, nous en avons plus de 1000, la tâche semble titanesque. Mais, grosse question, 14 ans après, les CD seront ils encore lisibles ?
Pour le vérifier, nous en prenons un au hasard, une archive de 1998. Il se monte.
Parmi les dossiers très anciens, (Harmony 2.0 par exemple), un dossier "Dodge", nous nous rappelons, c'était le nom provisoire du projet. Fébrile, on l'ouvre, et là, tous les fichiers sources, soigneusement alignés et parfaitement lisibles.
Mince de coup de bol ! Saint Isidore de Séville était avec nous ! |
|
|
| by Didier Guillion | |
|
|
Aujourd'hui
Melody Player et Plug-In : correction d'un problème de transposition.
Harmony : Correction d'un artefact graphique dans la table de mixage complète.
Des problèmes ont été rapportés sur le mode de fonctionnement Kooplet du plug-in, ils ont été corrigés.
Enfin, nous sommes en train d'implémenter la recherche textuelle dans les partitions tandis que nos robots continuent à collecter des documents, nous en sommes à 52 000. |
|
|
| by Didier Guillion | |
|
Alors que la base de données de Kooplet est proche d'atteindre la barre des 50000 fichiers, nous avons travaillé sur la recherche de texte, qui devrait être mise en place très prochainement.
On pourra effectuer soit des recherches simples, comme par exemple:
fugue Bach
pour trouver tous les morceaux qui contiennent, n'importe où dans leur texte, les deux mots "fugue" et "Bach", soit des recherches complexes, comme celle-ci:
paroles: Domine "in excelsis" autre: bach partout: orgue type: pdf site: superpartitions.net
Cette recherche listera les fichiers satisfaisant à tous ces critères :
- Contient le mot "Domine" et le couple de mots "in excelsis" dans ses paroles
- Contient le mot "Bach" dans ses textes autres que des paroles (titre, compositeur, remarques, noms de portées...)
- Contient le mot "orgue" n'importe où dans ses textes (paroles ou non)
- Le type du fichier est PDF
- Le site sur lequel est le fichier est "superpartitions.net"
- et, bien entendu, si une séquence musicale a été entrée dans le plug-in, le fichier doit également la contenir.
De telles recherches, même complexes, s'avèrent relativement rapides, donc cela ne devrait pas nécessiter des prouesses de programmation pour mettre en place ce nouveau module. |
|
|
| by Olivier Guillion | |
|
Ca y est ! Une première version du moteur de recherche mélodique, Kooplet est ouverte au bêta test. Pour l'instant la recherche de texte n'est pas opérationnelle mais on peut déjà chercher des mélodies.
Bien sur, il faudra installer la dernière version du plug-in et se connecter à l'adresse :
http://www.kooplet.com/main.html
Nos ordinateurs travaillent à fond pour compléter la base qui référence déjà 26 000 documents.
Tout rapport, positif ou négatif est le bienvenu ! |
|
|
| by Didier Guillion | |
|
|
On s'approche peu à peu du but.
Les programmes de construction et maintenance de la base de données ainsi que ceux qui permettent la recherche par l'utilisateur étaient jusqu'ici testés en local, sur les ordinateurs de chez nous.
Ils ont maintenant été transférés sur le serveur distant (www.kooplet.com) mais sont encore sur une page cachée, inaccessible au public.
Nous avons effacé les 30000 morceaux de la base de données et avons recommencé une collecte depuis le départ.
En effet, nos divers tests avaient émaillé les données d'enregistrements incomplets ou abîmés, nous préférons donc repartir sur des bases saines.
Nous allons faire tourner le "crawler" cette nuit, afin de constituer une collection suffiamment importante pour permettre aux utilisateurs de tester tout cela, une fois que la dernière version du plug-in aura été diffusée en beta (ce qui ne saurait tarder). |
|
|
| by Olivier Guillion | |
|
On trouve sur certains sites des partitions archivées en .zip. Ce peut être pour deux raisons, soit le format de fichier n'est pas lui-même compacté, soit plusieurs fichiers sont fournis simultanément. Kooplet traite maintenant les .zip qui sont décomposés en autant de fichiers indépendants. La recherche pourra donc se faire à l'intérieur des archives.
Il reste à traiter le problème particulier du format ABC puisque ce format permet par défaut de faire une collection de musique en un seul fichier. |
|
|
| by Didier Guillion | |
|
Le piano virtuel réagit maintenant comme le manche de guitare virtuel, quand rien ne se joue et qu'une sélection ponctuelle est positionné sur la partition, les notes correspondantes sont affichées sur le piano. Ceci permet aux débutants de déchiffrer pas à pas les accords.
La recherche via Kooplet commence à donner des résultats assez amusants. Quand on recherche des thèmes populaires comme "Au clair de la lune" ou "Ah ! vous dirais je maman." on les retrouve tel quel dans le Carnaval des Animaux, de Camille Saint Saëns, cela ne doit pas étonner les musicologues, mais nous on trouve cela marrant !
Nous espérons pouvoir ouvrir le système aux premiers bêta testeur très très bientôt même si cela restera limité dans un premier temps à des recherches mélodiques (sans rythme et sans texte). |
|
|
| by Didier Guillion | |
|
|
La recherche fonctionne maintenant correctement. La recherche de textes (nom de l'oeuvre ou du compositeur, mots dans les paroles, etc) n'est pas encore écrite, mais ce ne devrait pas être le plus difficile.
Après avoir "séché" un petit moment sur un bug dans notre version du Perl sur PC, pourtant absent de la même version de Perl sur Linux, nous avons écrit les opérations de maintenance en tâche de fond de la base de données.
En effet, il ne suffit pas de parcourir le web pour collecter des informations sur les musiques trouvées, encore faut-il faire le "ménage", en vérifiant que ces musiques sont toujours présentes en ligne, et en compactant la base de données de temps en temps, lorsqu'un nombre suffisant de liens brisés a ainsi été découvert et éliminé.
Même si tout n'est pas encore finalisé, nous avons bon espoir de proposer très bientôt une préversion du plug-in incluant le module de recherche, ainsi qu'une première version de la page d'accueil de Kooplet. |
|
|
| by Olivier Guillion | |
|
Aujourd'hui nous avons corrigées de petites irrégularités sur Harmony et quasiment finalisé la prochaine version de l'importateur NoteWorthy.
Notre logiciel de création de didacticiels vidéo MMBuilder a été recompilé sur Macintosh, cela n'avait pas été fait depuis 2008.
Enfin, la recherche Kooplet a été optimisée en vitesse. Sur la même base de donnée, nous sommes passés de 18 à 1 seconde, ce qui correspond à nos objectifs actuels.
Voici une capture du plug-in en action :
Bien sur ce n'est qu'un design provisoire !
|
|
|
| by Didier Guillion | |
|
|
Nous avons passé la journée à optimiser et accélérer les recherches mélodiques dans la base de données.
Cela a porté sur trois points principaux:
- L'utilisation, dans le langage que nous utilisons (Perl), de fonctions rapides. Pour le même travail, la vitesse peut être multipliée par 10 selon la manière dont on s'y prend.
- La création de tables d'index, permettant des accès rapides à notre base
- La création de "hash-tables", qui permettent, lorsqu'une recherche de mélodie est demandée, d'éliminer très rapidement une très grosse proportion des musiques dans lesquelles on n'a aucune chance de retrouver la mélodie en question.
Nous avons ainsi pu diminuer les temps de recherche de 80%.
Nous nous sommes ensuite attaqués à la réduction de la taille de la base de données, qui prenait trop rapidement des dimensions considérables (plusieurs centaines de méga-octets).
Un simple petit compactage "maison" des enregistrements a déjà permis de la réduire de 75%. Si ce n'est pas suffisant, il faudra alors voir si on peut réduire la quantité de données dont nous avons besoin pour chaque morceau. |
|
|
| by Olivier Guillion | |
|
Nous nous sommes rendu compte que les utilisateurs Windows ne pouvaient changer la langue de l'interface une fois Melody Player lancé comme c'était possible sur Macintosh. Une nouvelle option a donc été ajouté dans la configuration.
Nous avons maintenant une petite liste de points à corriger et à améliorer dans l'importateur NoteWorthy, une nouvelle version est en chantier.
Parallèlement à ceci, nous cherchons maintenant à améliorer la vitesse de la recherche des séquences mélodique, pour l'instant il faut environ 18 secondes pour obtenir un résultat, ce qui est long. L'idéal serait de tomber en dessous des 4 secondes. C'est donc notre nouvel objectif.
Enfin, en dernier mais non des moindres, nous avons créé un domaine spécifique pour la recherche de séquence mélodique.
C'est :
www.kooplet.com |
|
|
| by Didier Guillion | |
|
|
|
Most recent first
Oldest first
|
Mar 10th, 2010 at 05:47pm
Article from Olivier Guillion
Kooplet étape 27
Mar 10th, 2010 at 12:21am
Comment from Pascal
Mar 9th, 2010 at 05:03pm
Article from Didier Guillion
Harmony 9.5 et autre étape 41
Mar 8th, 2010 at 05:04pm
Article from Olivier Guillion
Kooplet étape 26
Mar 8th, 2010 at 03:32pm
Comment from Sylvain
IE6 OK
Mar 5th, 2010 at 05:25pm
Comment from Olivier
Re: Erreur 404
Mar 5th, 2010 at 05:25pm
Comment from Olivier
Re: Erreur 404
Mar 5th, 2010 at 05:25pm
Comment from Olivier
Re: Erreur 404
Mar 5th, 2010 at 05:05pm
Comment from Sylvain Machefert
erreur 404
Mar 5th, 2010 at 04:47pm
Article from Olivier Guillion
Kooplet étape 25
|
|
|
|
Kooplet étape 27
