Scraping en PHP con cURL

En este artículo veremos como extraer contenido de una página web con PHP utilizando cURL.

cURL es parte de libcurl, una librería que permite conectarte a servidores mediante muchos tipos diferentes de protocolos. Soporta http, https y otros protocolos. Esta forma de obtener datos de la web es más estable que utilizando file_get_contents(). Si curl() no está instalado, te aconsejo buscar tutoriales para instalarlo. Aquí hay uno en Windows y otro en Linux.

Configurando cURL

Primero, iniciamos el manejador cURL:

$curl = curl_init(“http://testing-ground.extract-web-data.com/textlist”);

Luego hay que indicar que CURLOPT_RETURNTRANSFER sea TRUE para retornar la página transferida como una cadena más que ponerla directamente.

curl_setopt($curl, CURLOPT_RETURNTRANSFER, TRUE); 

Ejecutar la solicitud y revisar errores

Ahora, hacemos la solicitud de la página y chequeamos errores.

$page = curl_exec($curl); 
  
  
if(curl_errno($curl)) // check for execution errors 
  
{  
    echo 'Error del scraper: ' . curl_error($curl);   
    exit; 

} 

Cerrar la conexión

Para cerrar la conexión, escribe lo siguiente:

curl_close($curl); 

Extraer la parte que se necesita e imprimirla

Después que tenemos el contenido de la página, podemos extraer sólo lo que necesitamos bajo el id = “case_textlist”:

$regex = '<div id="case_textlist">(.*?)<\/div>/s'; 
  
if ( preg_match($regex, $page, $list) ) 

    echo $list[0];   
else 

    echo "No se encontró";

Listado completo del scraper

<?php 
  
$curl = curl_init('http://testing-ground.extract-web-data.com/textlist'); 
  
curl_setopt($curl, CURLOPT_RETURNTRANSFER, TRUE);   
$page = curl_exec($curl);   
if(curl_errno($curl)) // check for execution errors 


{   
    echo 'Error del Scraper: ' . curl_error($curl); 

    exit;   
}   
curl_close($curl);   
$regex = '/<div id="case_textlist">(.*?)<\/div>/s'; 
  
if ( preg_match($regex, $page, $list) ) 
  
    echo $list[0]; 
  
else 
  
    print "No se encontró"; 
  
?>

Twittear

No te olvides de seguir las actualizaciones de la página en tu Facebook.