Descripción
El proyecto Vectores Skip-Thought ofrece el codificador Sent2Vec y el código de entrenamiento asociado, derivado directamente del artículo de investigación "Skip-Thought Vectors". Esta herramienta está diseñada para generar representaciones vectoriales densas de alta calidad para oraciones. Estas incrustaciones de oraciones pueden ser utilizadas en una amplia gama de aplicaciones de procesamiento del lenguaje natural (PLN), mejorando significativamente su rendimiento.
La implementación está principalmente en Python, requiriendo dependencias específicas como Python 2.7, Theano 0.7, NumPy, SciPy, scikit-learn, NLTK 3 y, opcionalmente, Keras y gensim para experimentos específicos. Los usuarios deben descargar archivos de modelo pre-entrenados y embeddings de palabras, que son de gran tamaño, lo que requiere espacio de almacenamiento adecuado. La configuración implica la personalización de las rutas a estos archivos descargados dentro del script `skipthoughts.py` y la configuración de las banderas de Theano para la selección del dispositivo (CPU o GPU).
Una vez configurado, el codificador puede procesar listas de oraciones para producir vectores numéricos. Los vectores de salida son de 4800 dimensiones, combinando modelos uni-skip y bi-skip, y se recomiendan los vectores combinados para un rendimiento óptimo, como se demostró en los experimentos del artículo. El proceso de codificación se puede controlar en cuanto a verbosidad, mostrando el progreso en función de las longitudes de las oraciones que se están procesando.
El repositorio también incluye código para replicar los experimentos detallados en el artículo, cubriendo tareas como la Clasificación de Tipos de Preguntas TREC, Ranking de Imágenes-Oraciones (usando el conjunto de datos COCO), Relación Semántica (conjunto de datos SICK), Detección de Paráfrasis (Corpus de Paráfrasis de Microsoft Research) y varios benchmarks de clasificación binaria (MR, CR, SUBJ, MPQA). Estos scripts experimentales guían a los usuarios en la preparación de datos y la ejecución para lograr los resultados reportados, a menudo involucrando validación cruzada para la optimización de hiperparámetros.
El proyecto enfatiza la importancia de un token de Fin de Oración (EOS), que se puede usar opcionalmente durante la codificación para mejorar potencialmente el rendimiento, especialmente para oraciones que carecen de puntuación estándar. El código se publica bajo la Licencia Apache 2.0, y se anima a los usuarios a citar los artículos de investigación relevantes si encuentran útil el código.
Aspectos destacados de Vectores Skip-Thought
Implementación del codificador Sent2Vec
Código de entrenamiento del artículo 'Skip-Thought Vectors'
Genera representaciones vectoriales densas de oraciones
Soporta modelos uni-skip y bi-skip
Vectores combine-skip recomendados para el mejor rendimiento
Incluye código para experimentos de clasificación TREC
Incluye código para experimentos de Ranking de Imágenes-Oraciones
Incluye código para experimentos de Relación Semántica
Incluye código para experimentos de Detección de Paráfrasis
Incluye código para benchmarks de clasificación binaria
Uso opcional del token EOS para codificación
Implementación basada en Python
Primeros pasos con Vectores Skip-Thought
Descargar archivos de modelo y embeddings de palabras
Configurar rutas a los archivos descargados en skipthoughts.py
Establecer THEANO_FLAGS para la selección del dispositivo (CPU/GPU)
Importar skipthoughts y cargar el modelo
Inicializar el codificador con el modelo cargado
Codificar listas de oraciones para obtener vectores
Ejecutar scripts proporcionados para experimentos específicos de PLN
Casos de uso de Vectores Skip-Thought
- Generación de Embeddings de Oraciones
- Clasificación de Texto
- Ranking de Imágenes-Oraciones
- Similitud Semántica
- Detección de Paráfrasis
- Clasificación Binaria
