Herkese Merhaba,
Bu yazı da doğal dil işleme alanında yoğun olarak kullanılan Simple Transformers kütüphanesi ile kurguladığım bir modelin farklı CPU ve GPU’lar üzerindeki eğitim performanslarını inceleyeceğim. Umarım farkındalık anlamında faydalı bir çalışma olur.
Teknik detaylara geçmeden önce Simple Transformers hakkında kısa bir bilgilendirme yapmak istiyorum. Simple Transformers, Transformer tabanlı büyük yapay sinir ağları (BERT, GPT-2 vb) ile oluşturulmuş modelleri çok daha rahat ve kolay kullanabilmemizi sağlayan bir doğal dil işleme kütüphanesi. Transformerlar ise 2017’de NLP alanında çalışan bir grup bilgisayar bilimcisinin ortaya attığı ve günümüzde dil problemlerinin çözümlerinde en sık kullanılan ve en modern yöntemlerin başında gelen derin öğrenme tabanlı yapay zeka modellerdir (https://arxiv.org/pdf/1706.03762.pdf).
Simple Transformer’dan bahsetmişken Huggingface Transformer kütüphanesinden bahsetmemek olmaz çünkü Simple Transformer kütüphanesi Huggingface alt yapısını kullanan ve huggingface’in geliştirmiş olduğu önceden eğitilmiş modellerden faydalanan bir alt yapı. Huggingface Transformers alt yapısı NLP alanındaki sınıflandırma, bilgi çıkarımı, soru cevaplama, metin özetleme, makine çevirisi ve text üretimi gibi problemleri çözmek için 100 den farklı dil desteği ile binlerce hazır eğitilmiş modelleri yapay zeka geliştiricilerine sağlamakta. Temel amaçları ise NLP alanında geliştirilen state-of-the-art modelleri her seviyeden kullanıcıya kolay bir şekilde kullandırmak. Sonuç olarak Simple Transformer kütüphanesini kullanarak modern NLP yaklaşımlarını aşağıdaki tasklar üzerinde rahatlıkla kolay bir şekilde uygulayabilirsiniz.
Text Classification
Token Classification
Question Answering
Language Modeling
Language Generation
Multi-Modal Classification
Conversational AI
Text Representation Generation
Şimdi konumuza geri dönebiliriz. Ben Simple Transformer kütüphanesini kullanarak metin sınıflandırma modeli oluşturdum ve daha sonra bu modeli farklı donanım alt yapıları test ettim. Modeli oluştururken scikit-learn’ün fetch_20newsgroups isimli text veri setinden faydalandım. Bu veri setinde 20 farklı sınıfa ait 18K adet metin bulunuyor. Ancak ben sadece binary classification problemi çözmek istediğim için bu sınıflardan sadece iki (Elektronik Grafik sistemleri ve uzay konulu metinler ) tanesini kullandım. Sınıflandırma modeli olarakta BERT’in daha küçük hali olan distillbert‘i kullandım. Ancak burada yapacağınız çalışmaya göre daha büyük networkler seçilip kullanılabilir. HuggingFace’de binlerce model kullanıma hazır durumda. Eğitim aşamasında ise 10 epoch’luk bir strateji izleyeceğim ve logları sizlerle paylaşacağım.
import pandas as pd
import numpy as np
import torch
import os
import warnings
warnings.filterwarnings("ignore")
from sklearn.datasets import fetch_20newsgroups
from simpletransformers.classification import ClassificationModel, ClassificationArgs
use_cuda = torch.cuda.is_available()
categories = ['comp.graphics','sci.space']
twenty_train = fetch_20newsgroups(categories=categories)
model_args = ClassificationArgs(num_train_epochs=10, overwrite_output_dir=True)
model = ClassificationModel("distilbert", "distilbert-base-cased", args=model_args, use_cuda=use_cuda)
df = pd.DataFrame(twenty_train.data, columns=["text"])
df['labels'] = pd.Series(data=twenty_train.target)
output_dir = f"{os.path.expanduser('~')}/model_outputs"
model.train_model(df, output_dir=output_dir)Evet modelimizi oluşturacak kodumuzu geliştirdik şimdi farklı donanım alt yapıları ile test edelim.
CPU TESTLERİ
Yukarıda geliştirmiş olduğum modeli iki farklı işlemci tip ile deneyeceğim. Bunlardan biri Intel’in Skylake Mimarili işlemcisi (Intel Xeon 8167M 2.0 GHz) diğeri ise AMD’nin EPYC Serisi işlemcisi (AMD EPYC 7742 2.25 GHz).
Sistem1: Intel İşlemcili Sistem (Virtual Machine):
24 X Intel Xeon 8167M 2.0 GHz
320 GB RAM
50 GB Block Storage
Sistem2: AMD İşlemcili Sistem(Virtual Machine):
24 X AMD EPYC 7742 2.25 GHz
320 GB RAM
50 GB Block Storage
Şimdi iki farklı sistemde yapmış olduğum training işlemlerinin ne kadar sürdüğüne bakalım.
| Training Testleri | Test1(Dk) | Test2(Dk) | Test3(Dk) | Ortalama(Dk) |
| Sistem1 (Intel) | 15:55 | 16:06 | 16:19 | 16:07 |
| Sistem2 (AMD) | 31:06 | 30:25 | 30:12 | 30:34 |
Evet görüldüğü üzere işlemci sayıları ve memory büyüklükleri eşit olan iki sistem arasındaki Simple Transformer model testlerinde Intel işlemcili alt yapı daha hızlı training işlemlerini bitirdi. Eğitim sonrasında yapılan tüm model validasyonlarında aynı sonuçlar alındı. Aşağıda iki örnek bulabilirsiniz.
predictions, raw_outputs = model.predict(["you can play all game using this graphical card unit"])
predictions[0]predictions, raw_outputs = model.predict(["planets are getting closer to the earth"])
predictions[0]
GPU Testleri
Bu test ile 2 farklı grafik kart üzerinde aynı modeli çalıştırıp training sürelerine bakacağız.
Sistem1: 1 X NVIDIA P100 GPU
Sistem2: 1 X Tesla K80 GPU
| GPU Testi | Test | |
| NVIDIA P100 | 2:34 | |
| Tesla K80 | 10:17 |
Evet görüldüğü üzere geliştirmiş olduğumuz Transformer modeli GPU üzerinde CPU’lara nazaran çok ama çok daha hızlı sonuçlandı. GPU’ların arasında ise NVIDIA P100, Tesla K80’e göre oldukça hızlı bir sonuç üretti.
Evet bu çalışmada modern bir NLP modelinin bazı CPU ve GPU kartlar üzerindeki training performanslarını incelemiş olduk. Ancak şu unutulmamalıdır ki, bu testler sistemlerin birbirlerine karşı üstünlüklerini tam anlamı ile açıklamak için yeterli değildir. Sistemler/Donanımlar hakkında genel yorumlar yapabilmek için sistemlerin oluşturulma maliyetlerini de mutlaka göz önünde tutmak hayati derecede kritiktir. Bu çalışmada sistemlerin donanım maliyetleri hakkında bir yorum yapılmamıştır. Bu donanımların fiyatları hakkında internet üzerinden basit aramalar yapılarak fikir sahibi olunabilir. Daha kapsamlı ve farklı türden iş yükleri ile sistemler test edilerek genel yargılara ulaşmak sağlıklı olacaktır. Bu nedenle yapılan bu çalışmayı baz kabul edip hareket etmek verilecek kararları olumsuz yönde etkileyebilir.
emrahmete.wordpress.com 