TensorFlow metin işleme kılavuzu, doğal dil işleme (NLP) için kitaplıkları ve iş akışlarını belgeler ve metinle çalışmak için önemli kavramları sunar.
KerasNLP
KerasNLP, en yeni Transformer tabanlı modellerin yanı sıra alt düzey tokenizasyon yardımcı programlarını içeren üst düzey bir doğal dil işleme (NLP) kitaplığıdır. Çoğu NLP kullanım durumu için önerilen çözümdür.
- KerasNLP'ye Başlarken : Önceden eğitilmiş bir model kullanmaktan kendi Transformer'ınızı sıfırdan oluşturmaya kadar, aşamalı karmaşıklık düzeylerinde duygu analizi yaparak KerasNLP'yi öğrenin.
tf.strings
tf.strings modülü, string Tensörleri ile çalışmak için işlemler sağlar.
- Unicode dizeleri : TensorFlow'da Unicode dizelerini temsil edin ve bunları standart dize işlemlerinin Unicode eşdeğerlerini kullanarak değiştirin.
TensorFlow Metni
Alt düzey metin işleme araçlarına erişmeniz gerekiyorsa TensorFlow Text'i kullanabilirsiniz. TensorFlow Text, ham metin dizileri veya belgeler gibi metin biçimindeki girdilerle çalışmanıza yardımcı olacak bir işlem ve kitaplık koleksiyonu sağlar.
- TensorFlow Text'e Giriş : TensorFlow Text'i nasıl kuracağınızı veya kaynaktan nasıl oluşturacağınızı öğrenin.
- TensorFlow Metin operatörlerini TensorFlow Lite'a dönüştürme : Bir TensorFlow Metin modelini mobil, gömülü ve IoT cihazlarına dağıtım için TensorFlow Lite'a dönüştürün.
ön işleme
- TF Metni ile BERT Ön İşleme : Metin verilerini BERT için girdilere dönüştürmek için TensorFlow Metin ön işleme operasyonlarını kullanın.
- TF Metni ile Simgeleştirme : TensorFlow Text tarafından sağlanan simgeleştirme seçeneklerini anlayın. Ne zaman bir seçeneği diğerine tercih etmek isteyebileceğinizi ve bu belirteç oluşturucuların modelinizin içinden nasıl çağrıldığını öğrenin.
- Alt kelime belirteçleri : Bir veri kümesinden bir alt kelime sözlüğü oluşturun ve bunu bir metin oluşturmak için kullanın. Sözlüğünden
text.BertTokenizer.
TensorFlow modelleri – NLP
TensorFlow Modelleri - NLP kitaplığı, Transformer tabanlı modellerde birleştirilebilen Keras ilkellerini ve yeni mimarilerle kolay deneyler yapılmasını sağlayan yapı iskelesi sınıflarını sağlar.
- TensorFlow Modelleri NLP kitaplığına giriş : NLP modelleme kitaplığından yapı taşlarını kullanarak ön eğitim, aralık etiketleme ve sınıflandırma dahil olmak üzere yaygın NLP görevleri için Transformer tabanlı modeller oluşturun.
- Bir Transformer Kodlayıcıyı Özelleştirme : Yeni ağ mimarileri kullanmak için çift yönlü bir Transformer tabanlı kodlayıcı ağ iskelesi olan
tfm.nlp.networks.EncoderScaffoldözelleştirin.