Blog de @jorgevic77

Esta vez vamos con un tema que me interesa bastante últimamente, las bases de datos no relacionales, usadas en servicios tan populares como Facebook o Twitter. Una de las más populares, aunque no la única, es MongoDB. Otras que también habrá que investigar son CouchDB, Redis o Cassandra. Ya habrá tiempo…

Yo voy a detallar el proceso de instalación de MongoDB en CentOS aunque para otras instalaciones es conveniente mirar la guía que MongoDB ofrece.

Para CentOS hay que editar el fichero /etc/yum.repos.d/10gen.repo

vi /etc/yum.repos.d/10gen.repo

Y añadir:

[10gen]
name=10gen Repository
baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64
gpgcheck=0

Ya estamos en disposición de instalar mongoDB

yum install mongo-10gen
curl http://downloads.mongodb.org/linux/mongodb-linux-i686-2.0.2.tgz > mongo.tgz
tar xzf mongo.tgz

Por defecto MongoDB guarda los datos en /data/db pero es un fichero que no se crea automáticamente así que habrá que crearlo.
No obstante, sí, como era mi caso, no tenéis mucho espacio en la partición raíz de vuestro servidor, sugiero hacer un enlace y listos. Por ejemplo:

ln -s /expert/htwebs/mongodb /data
cd /expert/htwebs/mongodb
mkdir db

Aunque también se le puede indicar a MongoDB que use un directorio distinto con la opción –dbpath

/usr/bin/mongodb/bin/mongod --dbpath=/expert/htwebs/mongodb/db

Bueno, pues ya lo tenemos instalado, para levantar la base de datos:

/usr/bin/mongodb/bin/mongod

Y ahora vamos con las instalado de PHPMongo. La información está sacada de la página de php.net.

tar zxvf mongodb-mongo-php-driver-1.2.6-83-gcdb8c36.tar.gz
cd mongodb-mongodb-php-driver-
phpize
./configure
sudo make install

Una vez instalado editamos el php.ini y añadimos la extensión de mongo.

vi php.ini
extension=mongo.so

Localizamos el extension_dir de nuestro php.ini y movemos allí mongo.so

extension_dir = "/usr/local/lib"
mv /usr/local/lib/php/extensions/no-debug-non-zts-20060613/mongo.so /usr/local/lib

Reiniciamos el apache y si hacemos un phpinfo(); ya deberíamos ver el módulo de MongoDB instalado

/usr/local/apache2/bin/apachectl graceful

En el próximo post daré algunas notas del manejo básico de MongoDB que es muy sencillo.

En esta última parte de “Técnicas de crawling” quería compartir un script para aquellas veces que los servidores a los que hacemos las peticiones tienen limitaciones en cuanto a número de peticiones por X tiempo por cada IP. O para aquellos que simplemente nos bloquean el acceso a una IP determinada.

Para ello podemos utilizar la misma opción de CURL que en la vez pasada pero añadiendo la opción de que accedemos a través de un proxy. Lógicamente tenemos que tener un listado de proxys y sus puertos para poder hacer una petición con éxito. Hay varias webs con listados de proxys, por ejemplo: http://hidemyass.com/proxy-list/

La función es muy sencilla y prácticamente idéntica a la anterior

function descarga_proxy($parametros){
  //En este fichero tenemos el listado de ip´s de proxys y su puerto. Ej 127.0.0.1:8080
  $listProxy = file('proxylist.txt');
  $proxy = $listProxy[array_rand($listProxy)];
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, 'http://www.google.com');
  curl_setopt($ch, CURLOPT_POSTFIELDS,'post_variables');
  curl_setopt($ch, CURLOPT_POST, 1);
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  //Aquí añadimos la opción del proxy
  curl_setopt($ch, CURLOPT_PROXY, $proxy);
  curl_setopt($ch, CURLOPT_COOKIEJAR, str_replace('\\','/',dirname(__FILE__)).'/file_cookies.txt');
  curl_setopt($ch, CURLOPT_COOKIEFILE, str_replace('\\','/',dirname(__FILE__)).'/file_cookies.txt');
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6 (.NET CLR 3.5.30729)");
  $data = curl_exec($ch);
}

En la primera parte de “Técnicas de crawling” hemos utilizado la función file_get_contents para guardar en $texto el contenido íntegro de la página a buscar.
Sin embargo, en ocasiones , el servidor destino puede no aceptar una petición o bien necesitamos simular un proceso de registro o guardado de cookies.
Para todo esto usamos CURL. Aquí un script básico para loguearse en Linkedin y coger por ejemplo mi página del muro de Linkedin.

function download_linkedin($loginEmail, $loginPass){
  $ch = curl_init();
  //Accedemos a la página de login y enviamos los parámetros necesarios
  curl_setopt($ch, CURLOPT_URL, 'https://www.linkedin.com/secure/login');
  curl_setopt($ch, CURLOPT_POSTFIELDS,'csrfToken=ajax%3A7770961518878939486&session_key='.$loginEmail.'&session_password='.$loginPass.'&session_login=Ingresa&session_login=&session_rikey=');
  curl_setopt($ch, CURLOPT_POST, 1);
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  curl_setopt($ch, CURLOPT_COOKIEJAR, str_replace('\\','/',dirname(__FILE__)).'/linkedin_cookies.txt');
  curl_setopt($ch, CURLOPT_COOKIEFILE, str_replace('\\','/',dirname(__FILE__)).'/linkedin_cookies.txt');
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6 (.NET CLR 3.5.30729)");
  curl_exec($ch);

  //Accedemos a mi muro de Linkedin
  curl_setopt($ch, CURLOPT_URL, 'http://www.linkedin.com/home?trk=hb_logo');
  curl_setopt($ch, CURLOPT_COOKIEJAR, str_replace('\\','/',dirname(__FILE__)).'/linkedin_cookies.txt');
  curl_setopt($ch, CURLOPT_COOKIEFILE, str_replace('\\','/',dirname(__FILE__)).'/linkedin_cookies.txt');
  curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.0.6) Gecko/2009011913 Firefox/3.0.6 (.NET CLR 3.5.30729)");
  $myProfile = curl_exec($ch);
  $actualizaciones = str_replace('data-contentPermalink','mipermalink',$actualizaciones);
  $err = 0;
  $err = curl_errno($ch);

  //Comprobamos errores y si no los hay guardamos en un fichero el html resultante.
  if ($err != 0){
    echo 'error='.$err."\n";
    return(false);
  } else {
    $file1 = "/myProfile.html";
    $archivo1 = fopen("$file1","w");
    fwrite($file1,$myProfile);
    fclose($file1);
    return(true);
  }
  curl_close($ch);
}

Vuelvo a la carga en mi blog con aquellos aspectos que cada cierto tiempo rondan mi cabeza. Y esta vez le toca un repaso histórico y nostálgico a la prensa online.

Por mi trabajo en Iconoce (http://www.iconoce.com) e Iconoce Sentio, me ha tocado estar pegado a la actualidad de la prensa online durante los últimos 10 años. Y el panorama ha cambiado, vaya si lo ha hecho. Todavía recuerdo con algo de nostalgia aquellos primeros diarios con un html infinito. Con su menú izquierdo, su parte central, su menú derecho. Y cuantos más contenidos mejor. Parecía que cuanto más bajara el scroll de la página mejor periódico era. Eso sí cuidando el tamaño del html que los módems de aquellos tiempos no soportaban cualquier cosa.

Pero poco a poco el diseño y la organización inteligente de los contenidos fue ganando mucho peso. La usabilidad pasó de ser un palabro raro a ser el leit motiv de todo periódico online que se preciara. Y surgieron las redacciones online. Ya no valía con volcar exclusivamente el periódico, había que crear. En este tema uno de los precursores en España fue El Mundo. El diario del polémico Pedro J llevó la voz cantante en la prensa online española durante mucho tiempo.

A principios de la década pasada todavía existía algún gran grupo de comunicación que no había volcado su publicación escrita a internet. El argumento de que internet se iba a cargar a la prensa escrita era poco menos que una profecía de Nostradamus. Y todavía hoy sigue vigente esa amenaza que en parte se ha convertido en realidad.

Pero poco a poco fueron surgiendo estrategias de pago por contenidos. Se desató una guerra mediática por este asunto y por ganar la guerra de las audiencias en internet. Los grandes medios generalistas, lease El País o El Mundo se enfrascaron en esa guerra y se fueron sucediendo varios intentos de pago por contenidos que siguen hasta la fecha (hablaremos más tarde de este asunto).

Cambios de formatos
Y en cuestión de formatos también han acaecido muchos cambios. Tras el html plano, empezó la revolución del flash. Gráficos, animaciones y diseños innovadores fueron poniéndose de moda. Hasta el punto de que varios periódicos se publicaron durante mucho tiempo en formato flash. Quién no recuerda ese formato flash tipo catálogo del supermercado y que todavía subsiste en algún medio como el Alerta Cantabria (http://www.eldiarioalerta.com). Me parecía un sistema muy gráfico, pero no triunfó y en gran parte por la imposibilidad de indexación de los contenidos. Porque ¿qué decir de los contenidos y de la estrategia de los titulares impactantes?. Aparecer en las primeras posiciones de San Google ha provocado quizás una simplificación del arte periodístico y una búsqueda del impacto y el click con el titular, más allá del hecho puramente informativo. Pero bueno, eso sería harina de otro costal…

En cuanto a los formatos también se popularizó el uso de RSS por parte de los medios. La masiva popularización de los agregadores de RSS provocó que la gran mayoría de medios se apuntaran al servicio de los RSS.

Hoy en día la guerra parece apuntar a los nuevos formatos digitales de consumo (smartphones, tabletas, etc…). Las grandes cabeceras del país, con los grupos Vocento, Prisa y Zeta a la cabeza se han metido en el negocio de Kiosko y Mas. En el bando contrario El Mundo, Expansión y Marca entre otros integran la plataforma Orbyt. La primera se limita a una laaaaarga serie de pdf’s de las más variadas publicaciones que tienen una calidad excepcional en su visualización en tabletas. Orbyt va un poco más allá y permite una plataforma de navegación con muchas más funcionalidades que la mera lectura. Pero su abanico de publicaciones es menor. En cualquiera de los dos casos se trata de plataformas de pago que esperan como agua de mayo poder rentabilizar su negocio a través de los nuevos soportes tecnológicos. ¿Lo conseguirán?. He visto ya muchos fracasos en el pago por contenidos como para augurarles un buen destino.

Y hablando de fracasos, durante estos 10 años de experiencias he asistido a un gran número de aperturas de medios online y también a numerosísimos cierres que creo que ya desgranaré en algún post más adelante.