Commentaires sur : Php Scraping avec fonctions DOM et Xpath

Par : Aero @ Sageo.info

Aero @ Sageo.info — Fri, 30 Apr 2010 00:46:19 +0000

Je n’avais même jamais vu cette fonctionnalité de firebug.

Ayant posté un sujet sur les scrapers sur mon blog, j’ai fait un lien vers votre article quand aux solutions possible pour implémenter un scraper.

Par : Clément

Clément — Fri, 02 Apr 2010 13:22:19 +0000

Xpath est un langage vraiment puissant qui m'a fait oublier les regexp compliquées pour extraire des éléments d'un document XML et HTML. Ceci dit plutot que de copier "betement" le chemin via Firebug vous pouvez aussi lire ce tuto qui permet de découvrir pas mal de fonctionnalités interessantes. Tutoriel xPath A bientot

Par : Olivier

Olivier — Sat, 27 Feb 2010 05:33:55 +0000

Bonjour,

Merci pour ce script qui est fantastique. Je ne comprends pas cependant pourquoi je n arrive à extraire les urls de google avec ce script et en utilisant firebug. Quel est le problème ? J’ai l’impression que le code que me donne Firebug n’est pas bon puisqu’aucun résultat ne m’est renvoyé. Auriez vous la gentillesse de m’aider sur ce point ??? par avance, merci !

Par : thoskan

thoskan — Wed, 27 Jan 2010 19:11:31 +0000

Tout simplement excellent, je cherchais comment récupérer des données depuis myspace pour construire un fichier XML….merci mille fois !

ça cartonne, tout simplement.
Votre blog me redonne du baume au coeur .

Par : Eric

Eric — Wed, 27 Jan 2010 10:24:12 +0000

Encore un très bon script ! Merci

Par : Nicolas 2

Nicolas 2 — Tue, 26 Jan 2010 21:39:10 +0000

Merci de ta réponse,

j’avais bien lu la remarque du tbody, il m’a tout simplement échappé

Sinon je disais donc si on veut faire du scraping des positions et extraire toute les places de chaque page.

Ma seule technique mais qui doit être foireuse par manque de connaissance en DOM est de faire un array php temporaire, et faire autant de foreach que j’ai de « capture » à faire pour incrémenter mon tableau récupérant position, titre,domain, video etc..

Je crois que je me complique la vie d’ou la question si il est possible sur un seul foreach de prendre plusieurs « query » ?

Encore merci, tu m’ouvres la porte à pleins de tests

Par : lemoussel

lemoussel — Tue, 26 Jan 2010 16:52:29 +0000

@Nicolas 2 ^^ : Oups ! Petit souci certaines balises sont interprétées !

Je disais donc :

Il faut bien lire ce Tuto. Entre autre les remarques !
En effet les « titres » de google vidéo, sont dans des balises

et comme je l’indique Firebug rajoute des balises qu’il faut supprimer si elles sont non présente dans la structure DOM de la page HTML. Ce qui est le cas pour les « titres » de google vidéo.

Par : lemoussel

lemoussel — Tue, 26 Jan 2010 16:35:06 +0000

@Nicolas 2 ^^ : Il faut bien lire ce Tuto. Entre autre les remarques ! En effet les « titres » de google vidéo, sont dans des balises et comme je l'indique Firebug rajoute des balises qu'il faut supprimer si elles sont non présente dans la structure DOM de la page HTML. Ce qui estle cas içi Pour les « titres » de google vidéo le XPath original est : /html/body/div[7]/div/table[2]/tbody/tr/td/div/div/table/tbody/tr/td/div/div[2]/a qui après suppression des balises devient : /html/body/div[7]/div/table[2]/tr/td/div/div/table/tr/td/div/div[2]/a Pour obtenir les « titres » de google vidéo, on a donc


$url = 'http://video.google.fr/';
$queryXPath = '/html/body/div[7]/div/table[2]/tr/td/div/div/table/tr/td/div/div[2]/a';

@Art : Normalement c'est natif en PHP 5. zend.ze1_compatibility_mod est une directive PHP pour activer Active le mode de compatibilité avec le Zend Engine 1 (PHP 4). D'ou surement l'erreur car ces fonctions DOM ne sont pas dispo. en PHP 4. Selon les informations PHPNet: Description des directives internes du php.ini Cette directive est obsoléte et supprimé en PHP 5.3.0.

Par : Rudy

Rudy — Tue, 26 Jan 2010 11:59:58 +0000

Merci pour ce petit court, je connaissais de nom mais ne savais pas ce qu’était le DOM.

Je serais très friand d’autres tuto de ce type.

Par : Superrefman Gwaradenn

Superrefman Gwaradenn — Tue, 26 Jan 2010 11:32:29 +0000

Merci beaucoup, j’avais bien firebug, mais jamais je ne l’aurais utilisé comme ça. :p