Zoonix

MySorlServer est un nouveau service web qui propose l'hébergement d'instances Solr sous la forme d'abonnements. Solr en mode SaaS répond entre autres à la difficulté pour un propriétaire de blog ou CMS de pouvoir utiliser les plugins ou extensions existantes pour Solr. En effet, disposer d'un hébergement Tomcat ou Jetty pour accueillir un serveur Solr est souvent compliqué voir impossible sans recourir à la location d'un hébergement mutualisé complémentaire ou d'un serveur dédié.

MySolrServer gère la mise en place et le paramétrage des instances Solr de façon transparente et ne nécessite donc pas de compétences Solr particulières. En quelques cliques de souris, une instance pré-paramétrée pour les plugins ou extensions Solr de WordPress, Joomla, eZ Publish ou Drupal est déployée et prête à l'emploi.

Lire la suite »

Dans l'article Vmware server 2.0 sur hôte OpenSuse 11.1 64 bits d'avril 2009, j'expliquais comment installer Vmware Server 2.0 sur un serveur hôte OpenSuse 11.1 64 bits. Devant prochainement commander plusieurs nouveaux serveurs chez OVH, j'envisage une solution Vmware vSphere Hypervisor qui remplace Vmware Server 2.0 comme solution de virtualisation gratuite. Afin de me faire la main sur cette version, j'ai décidé de migrer mon serveur Vmware Server 2.0 sous OpenSuse vers vSphere Hypervisor.

Lire la suite »

Debian 6.0 Squeeze est disponible depuis aujourd'hui. C'est l'occasion de mettre à jour l'article Installation d'un serveur Linux Debian qui à l'époque a été écrit pour une version Debian 5.0 Lenny.

Pour cet article, je pars d'une image debian-6.0.0-amd64-netinst.iso. Je déroule la procédure d'installation simplement afin d'arriver à un serveur de base vierge d'interface graphique et de tous logiciels sauf SSH. Je vais décrire maintenant les étapes de l'installation des packages complémentaires afin de disposer de Apache, MySQL, PHP, Java et Tomcat. Ceci peut vous intéresser, mais c'est également un aide mémoire pour moi-même. C'est un peu technique, mais je n'entre pas dans les détails.

Dans le précédent article j'utilisais le gestionnaire de package Apt. Je profite de cette mise à jour pour utiliser Aptitude. Afin que la gestion ds dépendance, les mises à jours et les suppressions fonctionnent correctement, il faut éviter d'utiliser alternativement les 2 outils sur un même serveur. Il faut donc faire attention à ne plus utiliser par réflexe apt-get et apt-cache.

Lire la suite »

Voici quelques commandes simples et bien utiles utilisant curl afin de manipuler un index Solr.

• Supprimer un document à partir de sa valeur de clé unique
• Supprimer un document à partir d'une requête
• Vider totalement un index
• Forcer un commit d'un index
• Forcer un optimize d'un index

Lire la suite »

Le temps qui s'écoule entre 2 versions de Solr est plutôt long. Dans l'interval, de nombreux correctifs sont réalisés voir même de nouvelles fonctionnalités implémentées. Il est donc parfois nécessaire d'appliquer un patch à Solr (par exemple avec la version 1.4.1, si on veux que le composant spellchecker fonctionne en recherche distribuée, il faut appliquer le patch SOLR-785).

Voici la méthode pour intégrer le patch suivant : https://issues.apache.org/jira/browse/SOLR-785

• Commencer par récupérer une distribution des sources de Solr (http://www.apache.org/dyn/closer.cgi/lucene/solr/).
• Décompresser l'archive dans un répertoire. Pour l'exemple on utilise /tmp, ce qui donne un répertoire /tmp/apache-solr-1.4.1
• Dans /tmp/apache-solr-1.4.1, placer le fichier correspondant au patch (pour le patch SOLR-785, c'est SOLR-785.patch)
• Patcher
  cd /tmp/apache-solr-1.4.1
patch -p0 -i SOLR-785.patch
• Recompiler
  ant clean
ant dist

Le war compilé est dans le répertoire dist

Cela fait un certain temps que je veux utiliser une solution de gestion de sources pour mes développements. J'ai longtemps tourné en rond autour d'une solution Subversion intégrée dans Eclipse avec les plugins Subversive ou Subclipse. Après plusieurs tentatives au fils des mois, je ne suis jamais parvenu à utiliser Subversion au quotidien et j'ai abandonné à chaque fois. En fait, j'ai trouvé cette solution trop contraignante pour 4 raisons : ma volonté de l'utiliser depuis Eclipse, l'obligation d'installer un serveur subversion, ne pas travailler en équipe sur des sources communs et le fait de faire un apprentissage de l'outil seul.

Depuis quelques semaines je collabore à un projet qui nécessite un travail en équipe et qui impose donc un outil de gestion de sources. N'ayant pas le choix, j'ai bien du m'y mettre et avec l'assistance de mes partenaires de travail, ça c'est finalement passé vite et plutôt facilement. Cet outil, c'est Mercurial (également appelé Hg).

Lire la suite »

Crawl Anywhere est un crawler web, un pipeline de traitement des documents et un indexer Solr. Il offre une interface Web d'administration qui permet de facilement gérer les différentes sources (sites web) à crawler et indexer.

Après plusieurs mises en production chez des clients et les différents retours d'expériences, un certain nombre de nouvelles fonctionnalités ont été ajoutées à Crawl Anywhere. Une liste des principales nouvelles fonctionnalités est disponible sur le wiki dans la release note.

Voici une présentation slideshare de Solr ainsi que des exemples de code PHP avec l'extension Apache Solr PECL.

Un bon rappel des concepts de base.

Je signale l’intéressante étude A Comparison of Open Source Search Engines (PDF) de Christian Middleton et Ricardo Baeza-Yates parue en 2008. Les moteurs analysés sont : ht://Dig, Indri, IXE, Lucene, MG4J, IBM OmniFind Yahoo! Edition, Omega, SWISH-E, SWISH++, Terrier, XMLSearch et Zettair. Les moteurs qui sortent du lot sont pour un environnement Java: MG4J, Terrier ou Lucene, et pour un environnement C/C++: Swish-E, Swish++, ht://Dig, XMLSearch ou Zettair.

Lucene se distingue dans tous les domaines sauf celui d'indexer une collection de document de 10 Go. Au vu des progrès réalisés par Lucene ces dernières années, je pense que la version actuelle n'aurait aucun problème.
 

Depuis le début de l'année les sources de Lucene et Solr ont fusionnées. La prochaine version commune aura pour numéro 4.0. Pour ceux qui veulent déjà tester la version en cours de développement, il faut en récupérer les sources et les compiler (java 1.6 requis). En effet, les liens de téléchargement des compilations nocturnes ne fonctionnent pas. En prérequis, il faut disposer de svn client et de ant.

Il existe actuellement 2 versions en cours de développement : Solr 3.1 et Solr 4.0. Ma compréhension est que :

• Solr 3.1 est une version plutôt stable qui devrait la prochaine version de Solr et embarquent Lucene 3.1. Sortie possible : mars ou avril 2011.
• Solr 4.0 est la version de développement (trunk) moins stable et dont le disponibilité dervait être pour 2012.

Pour une explication sur ces 2 versions des sources de Solr, lire ce message de Uwe Schindler : Lucene 3.x branch created et cette discussion : Solr 3.1

Lire la suite »