Le connecteur MongoDB for Hadoop et Pig est disponible sous GitHub.
MongoDB utilise l’outil de makefile SBT de la communauté SCALA. Pour compiler et packager SBT :
Créer un fichier .bat de lancement de SBT
set SCRIPT_DIR=%~dp0 java -Xmx512M -jar "%SCRIPT_DIR%sbt-launch.jar" %*
Dans le répertoire mongo-hadoop après un git clone https://github.com/mongodb/mongo-hadoop.git , lançer sbt et utiliser les commandes
compile : pour compiler
package : pour créer les fichiers jars
publish : pour publier dans votre repository local ivy2 (~/.ivy2)
Vous devez alors mettre dans votre distribution PIg, 3 jars :
– mongo-hadoop-core-1.1.0-SNAPSHOT.jar
– mongo-hadoop-pig-1.1.0-SNAPSHOT.jar
– mongo-java-driver-2.7.1.jar
et dans votre fichier PIG :
/* MongoDB libraries and configuration */ REGISTER lib/mongo-java-driver-2.7.1.jar /* MongoDB Java Driver */ REGISTER lib/mongo-hadoop-core-1.1.0-SNAPSHOT.jar REGISTER lib/mongo-hadoop-pig-1.1.0-SNAPSHOT.jar /* Shortcut */ DEFINE AVROSTORAGE org.apache.pig.piggybank.storage.avro.AvroStorage(); DEFINE MONGOSTORAGE com.mongodb.hadoop.pig.MongoStorage(); avros = load '/tmp/data/referential.avro' using AVROSTORAGE(); store avros into 'mongodb://mobgodb/referential.db' using MONGOSTORAGE();