Herkese Selam,
Makine Öğrenimi günümüzün en trend konularından biri. Hemen hemen her kurum ve IT sektörü ile ilgili profesyoneller / öğrenciler bu alanda çalışamalar yapmaktalar ve her geçen gün bilgi seviyelerini arttırmaktadırlar.
Makine Öğrenimi ile ilgili projeler yaygınlaşmaya başladıkça bu projelerin canlı ortamlara nasıl aktarılacağı ile ilgili pratikler hakkında her geçen gün yenilikler olmakta. Bu bağlamda bu yazı ile bir makine öğrenimi modelini en hızlı ve etkili bir şekilde canlı ortama nasıl aktarılabileceği ile ilgili bir örnek yapacağım. Umarım farkındalık anlamında faydalı bir çalışma olur.
Örneğimize başlamadan önce sözel olarak bu aktarım alt yapısını hakkında bir miktar bilgi vermek istiyorum.
Günümüzde modern yazılım geliştirme mimarilerini incelediğimizde yazılım geliştirme yaşam döngüsünün her adımında yeni pratiklerin ve frameworklerin geliştiğini görmekteyiz. Uygulamanın geliştirilmesinden, uygulamanın test edilmesine ve devreye alınmasına kadar her adımda farklı yaklaşımların denendiğini görüyoruz. Modern yazılım geliştirme mimarilerini incelerken karşılaştığımız en temel bileşenlerinden birinin şüphesiz container teknolojileri olduğunu görmekteyiz. Kısaca, container teknolojilerinin bize sunmuş olduğu avantajlardan bahsetmek gerekirse;
- Geliştirdiğimiz uygulamaları çok kolay ve hızlı bir şekilde çalıştırılmasını sağlar.
- Uygulamanın ihtiyaç duyduğu tüm ek kütüphane bağımlıklarını uygulamamız ile bütünleşik bir şekilde tutarak kolay, hızlı ve etkili bir şekilde uygulamamızı devreye almamıza olanak sağlar ve uygulamamızın dağıtımını kolaylaştırır.
- Container olarak devreye alınan uygulamaların yönetimi ve bakımıda oldukça kolay yapılabilmektedir.
Container teknolojileri derinlemesine incelenmesi gereken bir konu olduğu için ben bu yazıda bu konu hakkında daha fazla detaya girmeyeceğim. Daha detaylı bilgi edinmek için Docker dökümantasyonunu inceleyebilir bu konu hakkında yazılmış yüzlerce blog yazıları okunabilir.
Container teknolojilerini konuştuğumuz bir dünyada Docker şüphesizki lokomotif olan bir teknoloji. Endüstride defacto bir standart haline gelen docker, container tabanlı yazılım geliştirme yapan hemen hemen herkesin kullandığı bir araç. Bugün bende bu örneği Docker platformu üzerinde çalışan ve open source bir teknoloji olan Fnproject kullanarak gerçekleştireceğim.
Fnproject, açık kaynak ve container-native bir platform. Fnproject, geliştirdiğimiz yazılımları, ister bulut üzerinde, ister on-prem sunucularda bir fonksiyon gibi çalıştırabilmemizi sağlayacak containerlara dönüştürmekte. Bu platform python, java, ruby, node.js ve C# programlama dillerinin tamamını desteklemekte.
Bu örneğimizin yapılabilmesi için öncelikle çalıştığımız ortamda Docker ve Fnproject‘in kurulu olması gerekmektedir. Aşağıdaki linkleri izleyerek gerekli alt yapıları kendi çalışma ortamınızda hazır edebilirsiniz.
Evet gerekli alt yapıyı hazırladıktan sonra şimdi ilk işimiz olan bir makine öğrenimi modeli kurgulayalım ve modelimizni çıktısını diskte saklayalım.
Burada basit bir regresyon modeli kurgulayacağım Sklearn içindeki Boston Housing hazır veri setini kullanarak. Amacım burada state of the art bir Machine Learning modeli kurgulamak değil sadece basit bir model oluşturup bu modeli diske kayıt etmek.
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split, cross_val_score
import pickle
X, y = load_boston(return_X_y=True)
X_train, X_test, Y_train, Y_test = train_test_split(X, y, test_size = 0.1, random_state=5)
regres = LinearRegression()
regres.fit(X_train, Y_train)
pred = regres.predict(X_test)
rmse = (np.sqrt(mean_squared_error(Y_test, pred)))
r2 = round(regres.score(X_test, Y_test),2)
filename = 'boston_model.pkl'
pickle.dump(regres, open(filename, 'wb'))
Evet geliştirdiğim model diske kayıt oldu. Şimdi bu modeli, container’a çevirecek çalışmayı yapacağımız dizine taşıyalım.
mkdir faas
cd faas
mkdir boston
cd boston
mv /Users/emete/boston_model.pkl .
Öncelikle ürettiğim tahmin modelini bir fonksiyona çevireceğim. Daha sonra Fnproject bu fonksiyonu otomatik olarak her ortama deploy edilebilecek bir container’a dönüştürecek. Ancak bunun için hazırlamam gereken ve Fnproject‘in benden beklediği bazı dosyalar var kabaca bunlar; (Ben python projesi geliştirdiğim için kod dosyalarım .py uzantılı. Farklı diller için uzantılar değişecektir) (Bu dosyalar ile ilgili formatların nasıl olacağına ve daha detay bilgilere linkten erişebilirsiniz.)
- func.py –> Burası tahmini üreteceğimiz python fonksiyonu.. Modelin tahmin üretmesini isteyeceğimiz her talep için bu fonksiyon çağırılacak.
- func.yaml –> Bu dosya fonksiyonumuzun nasıl bir ortam üzerinde çalışması gerektiğini söylediğimiz bir konfügrasyon dosyası. Bu dosya içerisinde memory miktarını, fonksiyonun versiyon bilgilerini, kodun hangi dil ile çalıştırılıcağını ve entrypoint’in ne olduğuna karar veriyoruz.
- requirements.txt –> Bu dosyada yazdığımız fonksiyonun/uygulamanın kütüphane bağımlılıklarını yazıyoruz. Böylelikle fonksiyon container’a dönüşürken bu bağımlılıklarında container içerisine alınması sağlanıyor.
İlk olarak func.py fonksiyonunu yazacağız. Bu fonksiyon, kayıt ettiğimiz boston_model.pkl modelini load edecek ve fonksiyona gelen parametreleri kullanarak modelin yeni tahmin yapmasını sağlayıp geriye tahmin sonucunu döndürecek. Bu fonksiyonu model dosyamızı içine koyduğumuz dizine kayıt ediyoruz.
import io
import json
import cloudpickle as pickle
from fdk import response
def load_model(model_name):
return pickle.load(open(model_name, 'rb'))
def pred(model, data):
return {'prediction':model.predict(data).tolist()}
model_name = 'boston_model.pkl'
model = load_model(model_name)
def handler(ctx, data: io.BytesIO=None):
try:
input = json.loads(data.getvalue())['input']
prediction = pred(model, input)
except (Exception, ValueError) as ex:
print(str(ex))
return response.Response(
ctx, response_data=json.dumps(prediction),
headers={"Content-Type": "application/json"}
)
Evet görüldüğü üzere 3 tane metodumuz bulunuyor ancak ana metodumuz handler metodu. Daha sonra func.yaml dosyasını oluştururken bu fonksiyonu entry point olarak vereceğiz. Yani fonksiyon çağırıldığında ilk çalışacak kod bloğu bu metod olacak. Bu metod kendi içerisinde load_model ve predict metodlarını kullanarak yeni tahmini üretip ve geriye tahmin sonucunu döndürüyor.
Şimdi func.yaml dosyamızı oluşturalım. Bu dosyada fonksiyonun çalışacağı ortam parametrelerini, entrypoint bilgisini ve fonksiyonumuzun adını giriyoruz. Bu dosyayı da yine aynı dizin altına kayıt ediyoruz.
schema_version: 20200101
name: pythonfn
version: 0.0.1
runtime: python
entrypoint: /python/bin/fdk /function/func.py handler
memory: 256
Evet bu dosyayı oluşturma işlemi de tamamlandı. Sırada requirements.txt dosyasını oluşturmak kaldı. Bu dosyada da fonksiyonumuzun çalışabilmesi için gerekli olacak kütüphane bağımlılıklarını yazıyoruz. Bu dosyayı da yine aynı dizin altına kayıt ediyoruz.
scikit-learn==0.21.3
cloudpickle==1.2
pandas==0.24.2
numpy==1.17
scipy==1.3
fdk==0.1.12
Fnproject alt yapısının bizden istedikleri bu kadardı. Şimdi Fnproject komutları ile oluşturduğumuz dosyaları kullanarak modelimizi fonksiyon gibi kullanabilmemizi sağlayacak bir imaja dönüştüreceğiz. Daha sonra local makinemize bu imajı bir container olarak deploy ederek fonksiyonu test edeceğiz.
Öncelikle Fnproject’i bir terminal ekranı aracılığı ile başlatmamız gerekiyor.
fn start
Fnproject alt yapısı çalışmaya başladı. Şimdi dosyalarımızı kayıt ettiğimiz dizinde bir fn projesi yaratacağız ve daha sonra lokal makinemizde kurulu olan fn sunucusuna bu projenin deploymentını gerçekleştireceğiz.
fn create app boston
Evet application’ı yarattık. Şimdi bu application’ı container olarak deploy edeceğiz. Bu adımda bizim yarattığımız konfügrasyon dosyaları okunarak gerekli olan kütüphaneler indirilecek ve fonksiyonumuz ile beraber bir docker imajı şeklinde paketlenerek local docker registry’ye kayıt edilecek. Ardından yine otomatik olarak, oluşturulan yeni imaj, bir container içerisinde ayağa kaldırılarak kullanıma açılacak. Bu adımın çalışma süresi requirements.txt dosyasında verdiğimiz kütüphanelerin sayısına ve boyutuna göre değişkenlik gösterebilir.
fn --verbose deploy --app boston --local
Evet uygulamamızı local’de kurulu olan Fnproject sunucusuna deploy etmeyi başardık. Test işine geçmeden önce arka tarafta Docker’da neler olmuş onlara bakalım. Öncelikle Dockler imajlarımızı kontrol edelim.
docker image ls
Evet görüldüğü üzere yeni docker imajımız registry’ye gelmiş. Şimdi üretilen bu yeni imaj bir container aracılığı ile çalışmaya hazır edilmiş mi ona bakalım.
docker container ls
Görüldüğü üzere fonksiyon bir container olarak ayağa kalkmış durumda şimdi ayakta olan bu fonksiyonu test edelim.
Fonksiyon bilindiği üzere önceden ürettiğimiz makine öğrenmesi modeline dayalı ev fiyatları tahmini yapmakta. Her evin 13 tane float tipinde bir özelliği bulunuyor ve fiyatını tahmin etmek istediğimizin evin bu 13 özelliğini fonksiyona parametre olarak göndermemiz gerekmekte (Modeli eğitirken kullandığımız Boston Housing veri seti ile ilgili detaya linkten ulaşabilirsiniz.) .
İki farklı yöntem ile fonksiyonu test edeceğim bunlardan biri fn komutları yardımı ile olacak.
echo -n '{"input":[[0.23,18.3,2.3,0.45,0.51,6.6,65.2,4.1,1.1,296.56,15.3,396.9,5.30]]}' |
fn invoke boston pythonfn --content-type application/json
Diğer çağırım yöntemi ise standart CURL ile olacak ancak CURL ile çağırım yapmadan önce ayakta olan container’ın endpointine bakmam gerekiyor. Önce endpointe bakıyorum daha sonra bu end point ile CURL komutu çalıştırıyorum.
fn inspect function boston pythonfn
Evet endpoint bilgisini aldım şimdi CURL komutu ile fonksiyonu test edebiliriz.
curl -X "POST" -H "Content-Type: application/json" -d \
'{"input":[[0.23,18.3,2.3,0.45,0.51,6.6,65.2,4.1,1.1,296.56,15.3,396.9,5.30]]}' \
http://localhost:8080/invoke/01E46TAQKPNG8G00GZJ0000001
Evet görüldüğü üzere CURL ile de çağırıp sonuç almayı başardık.
Yazının girişinde de anlattığım gibi. Yarattığımız alt yapının ürettiği imajlar tamamı ile container-native bir alt yapı ve çalışmak için docker dışında hiç bir ihtiyacı bulunmuyor. Dolayısıyla yaratılan imajlar container çalıştırabilen her ortama deploy edilebilir durumda. Bu bir cloud ortam olabilir veya on-prem bir cluster olabilir. Bir sonraki yazıda burada ürettiğim imajı cloud’da bulunan bir docker registry’e gönderip cloud’da bir fonksiyon olarak deploy edip çalıştıracağım.
Görüldüğü üzere, modelimizi çok basit bir şekilde standalone çalışabilecek bir imaja çevirip daha sonra container olarak deploy ettik ve test etmeyi başardık.
Oracle bugün Big Data Servisi kullanıma açtı. Bu servis hızlı bir şekilde istediğiniz büyüklükte, güvenli ve ölçeklenebilen büyük veri platformu yaratabilmemize olanak sağlayan esnek bir bulut hizmeti.
