Estas son las notas originales de la instalación en Ubuntu 10. Hay una traducción al inglés para DBpedia aquí (ver las instrucciones generales (e imprecisas) en la página del framework de Extracción de DBpedia).

1)Instalación de IntelliJ IDEA#

Estoy usando la versión 11 de IntelliJ. Hay una versión gratuita (community edition) para Windows y linux.

Descargas un archivo tar.gz que deberás mover donde vaya a instalar el software. Una ver en el directorio de instalación, 'deszipea' (gzip -d) y 'destarea' (tar -xvf). En el directorio bin ejecuta idea.sh.

En Ubuntu hay que instalar el JDK de Sun (no vale el OpenJDK que viene por defecto). Usa tu gestor de paquetes y busca sun-java6-jdk. Si no lo encuentras, añade más fuentes de paquetes a tu gestor de paquetes. Por ejemplo, si usas el gestor gráfico de Ubuntu (Ubuntu package Manager), pulsa Edit-->Software Sources... luego pulsa la pestaña "Otro software" y marca la fuente como muestra la figura (pulsa el icono ). Al final deberás encontrar el paquete (pulsa el icono ).

2) Configuración de IntelliJ IDEA#

Esta versión de IntelliJ trae preinstalado el gestor Mercurial (Version Control --> checkout from version Control --> Mercurial). En la ventana que sale hay que poner:

Mercurial repository URL: http://dbpedia.hg.sourceforge.net:8000/hgroot/dbpedia/extraction_framework 
Parent Directory (dónde guardaré los fuentes obtenidos): 
Directory name: extraction_framework 

2.5) Modifica los fuentes#

Para que las URIs de los recursos tengan la forma http://es.dbpedia.org/resource/loquesea en lugar de http://dbpedia.org/resource/loquesea. Edita el fichero:
extraction_framework/core/src/main/scala
org.dbpedia.extraction.ontology.OntologyNamespaces.scala

Y añade "es" a estas dos líneas:

val specificLanguageDomain = Set("es", "el", "it", "ru")
val encodeAsIRI = Set("es", "el", "ru")

3) Compilación#

Abre la pestaña, en la parte derecha de IntelliJ, llamada "Maven Proyects". Pulsa el botón de reciclado ("Reimport all maven proyects"). Se lanza la compilación de las fuentes. Despliega "Parent POM of the DBpedia framework"-->LifeCycle y secciona (ejecuta) los comandos clean y install. Tarda un buen rato en compilar todo el proyecto. Si no está instalado maven2, lo indicará, y habrá que instalarlo. Usa el gestor de paquetes de Ubuntu para instalar maven2. Una vez compilado todo, en la misma ventana de maven selecciona "DBpedia dump extraction"-->Plugins-->scala-->scala:run

4) Configuración del proceso de extracción#

En IntelliJ se ven ya los ficheros del proyecto. Busca el fichero dump/src/config.properties.default. Copialo y renómbralo como config.properties. Edítalo para que tenga este aspecto:
dumpDir=/home/mrico/DBpedia/WikipediaDumps
outputDir=/home/mrico/DBpedia/ExtractionResult
updateDumps=false

extractors=org.dbpedia.extraction.mappings.LabelExtractor
#           org.dbpedia.extraction.mappings.WikiPageExtractor \
#           org.dbpedia.extraction.mappings.InfoboxExtractor \
#           org.dbpedia.extraction.mappings.PageLinksExtractor \
#           org.dbpedia.extraction.mappings.GeoExtractor
#
#extractors.en=org.dbpedia.extraction.mappings.CategoryLabelExtractor \
#              org.dbpedia.extraction.mappings.ArticleCategoriesExtractor \
#              org.dbpedia.extraction.mappings.ImageExtractor \
#              org.dbpedia.extraction.mappings.ExternalLinksExtractor \
#              org.dbpedia.extraction.mappings.HomepageExtractor \
#              org.dbpedia.extraction.mappings.DisambiguationExtractor \
#              org.dbpedia.extraction.mappings.PersondataExtractor \
#              org.dbpedia.extraction.mappings.PndExtractor \
#              org.dbpedia.extraction.mappings.SkosCategoriesExtractor \
#              org.dbpedia.extraction.mappings.RedirectExtractor \
#              org.dbpedia.extraction.mappings.MappingExtractor \
#              org.dbpedia.extraction.mappings.PageIdExtractor \
#              org.dbpedia.extraction.mappings.RevisionIdExtractor
#
#extractors.de=org.dbpedia.extraction.mappings.HomepageExtractor \
#              org.dbpedia.extraction.mappings.PersondataExtractor \
#              org.dbpedia.extraction.mappings.PndExtractor \
#
#extractors.fr=org.dbpedia.extraction.mappings.HomepageExtractor
#

extractors.es=org.dbpedia.extraction.mappings.MappingExtractor
languages=es

El directorio indicado por dumpDir debe tener el directorio es/aaaammdd Ahí se guardará el dump de wikipedia en español de la fecha aaaammdd llamado pages-articles.xml (ojo, la versión zipeada son 1.4GB ) que se saca de http://dumps.wikimedia.org/eswiki/20110712/ (la fecha es un ejemplo)


Se generan los siguientes ficheros:

instance_types_es. {nt|nq}
labels_es. {nt|nq}   (no quites la linea de extractors=org.dbpedia.extraction.mappings.LabelExtractor o no se generará nada de nada)

mappingbased_properties_es. {nt|nq}
specific_mappingbased_properties_es. {nt|nq}

Si cambiamos el properties para que genere más datos, por ejemplo, desambiguaciones, de forma que quede así:

extractors.es=org.dbpedia.extraction.mappings.DisambiguationExtractor
#  \
#  org.dbpedia.extraction.mappings.MappingExtractor

languages=es

Y lanzamos el extractor, obtenemos en el directorio de extracciones el fichero desambiguations_es.{nt.nq}, pero, además se genera labels_es.{nt/nq}(sobreescribiendo al anterior).

Si vamos usando uno tras otro los extractores vamos generando los logs, donde podemos ver los errores que se produjeron durante la extracción. En particular podemos ver cuántas páginas de la wikipedia fallaron y no pudieron ser extraidas.

El extracctor de ImageExtractor requiere haber descargado datos. Dump directory not found: /home/mrico/DBpedia/WikipediaDumps/commons

El extractor de Persondata falla sin estar claro el motivo

He probado todos los extractores descritos en .properties en la sección extractors.en= y solo fallan los dos descritos.

También he probado los de extractors= (ninguno de los cuales está en extractors.en). Es notable el InfoboxExtractor: genera tres ficheros {nt|nq} llamados

inforbox_properties_es
infobox_test_es
infobox_property_definitions_es

Add new attachment

Only authorized users are allowed to upload new attachments.

List of attachments

Kind Attachment Name Size Version Date Modified Author Change note
png
ubuPM.origenes.png 33.2 kB 1 23-Feb-2012 19:21 Mariano Rico
png
ubuntu package manager.png 79.4 kB 1 23-Feb-2012 19:21 Mariano Rico
« This page (revision-6) was last changed on 09-May-2012 01:00 by Mariano Rico  
G’day (anonymous guest) My Prefs

Página principal
Main page




OEG
UPM
UAM
RTE Linked Data


Project support: "Red Temática Española de Linked Data" project (TIN2010-10811-E) and "Go Lite" project (TIN2011-24139).


JSPWiki v2.8.4