Herkese Selam,
Bu yazıda Oracle 18c’nin ileri analitik opsiyonlarına getirdiği yeni algoritmalardan biri olan Neural Networkleri kullanarak bir deep learning modeli kurup basit bir regresyon (Regression) analizi yapacağım. Umarım farkındalık anlamında faydalı bir yazı olur.
Veri Bilimi ve Makine Öğrenmesi gibi konular günümüzde hakkında çokça söz ettiren başlıkların başında gelmekte. Öğrenmesi ve uygulaması uzmanlık gerektiren bu başlıklar için adreslenen problemleri ve yöntemleri günümüzde bir çok ürün veya yazılım ile gerçekleyebilmekteyiz. Oracle’da bu başlıklar altındaki problemlerin çözümüne ilişkin yöntem ve algoritmaları DBMS_DATA_MINING paketi ile desteklemekte. Oracle bu alt yapı ile kullanıcılarına SQL kullanarak Makine Öğrenmesi uygulamaları geliştirmelerine olanak sağlamakta.
DBMS_DATA_MINING paketi ile Custering, Classification, Regression, Anomaly Detection, Feature Extraction ve Assosication Rules gibi modeller kurup, verimizi bu modellerden geçirip yorumlayabiliyoruz. Bu modellerden elde ettiğimiz sonuçları ise business kurgularımızda input olarak kullanabilmekteyiz.
DBMS_DATA_MINING paketi Oracle veritabanı üzerinde default kurulu olarak gelmiyor. Bu nedenle bu destekten faydalanabilmek için öncelikle aşağıdaki paketi kurmak gerekiyor. Aşağıdaki linki takip ederek veritabanınıza Oracle Data Mining’ı kurabilirsiniz.
https://docs.oracle.com/cd/E11882_01/datamine.112/e16807/install_odm.htm#DMADM117
Ben bu uygulamayı Oracle Cloud içinde servis olarak sunulan Autonomous Data Warehouse (DB) içerisinde yapacağımdan dolayı herhangi bir ek kurulum yapma ihtiyacım bulunmuyor. Autonomous Data Warehouse içerisinde bu algoritmaları kullanabilir durumdayım. Oracle Open World 2019’da Always Free olarak yer alan servislerden biri olan Autonomous Data Warehouse servisini ücretsiz olarak edinip herhangi bir kuruluma ihtiyaç duymadan dakikalar içerisinde Cloud üzerinde ayağa kaldırıp kullanabilirsiniz. Detaylı bilgi için linki takip edebilirsiniz.
Deep Learning bilindiği üzerine son yılların en çok konuşulan yapay öğrenme tekniklerinden. Öğrenme kapasitesi ve yapabildiklerinin sınırlarını çok yakından takip ediyoruz ve bir taraftanda kurgulamak istediğimiz iş senaryolarımızda da bu kapasiteden, güçten faydalanmak istiyoruz. Oracle, 18c ile beraber, veritabanı içerisinde datayı farklı bir ortama taşımaya gerek kalmaksızın, neural network modelleri kurabilmemize olanak sağlayan alt yapıyı kullanıma açtı. Şimdi bu alt yapıyı nasıl kullanacağımıza ve detaylarına bir örnek ile bakalım.
Uygulamayı yapabilmek için bir veri setine ve bir probleme ihtiyaç duyuyorum. Problem olarak Boston Housing Prices’ı seçiyorum. Bu problemi çözmek için bir regresyon modeli kurgulayacağım. Veri setini, kaggle dan temin ediyorum. (Boston Housing)
Öncelikle Boston Housing veri setini tanıyalım.
| Column Name | Description | Data Type |
| crim | per capita crime rate by town. | Number |
| zn | proportion of residential land zoned for lots over 25,000 sq.ft. | Number |
| indus | proportion of non-retail business acres per town. | Number |
| chas | Charles River dummy variable (= 1 if tract bounds river; 0 otherwise). | Number |
| nox | nitrogen oxides concentration (parts per 10 million). | Number |
| rm | average number of rooms per dwelling. | Number |
| age | proportion of owner-occupied units built prior to 1940. | Number |
| dis | weighted mean of distances to five Boston employment centres. | Number |
| rad | index of accessibility to radial highways. | Number |
| tax | full-value property-tax rate per \$10,000. | Number |
| ptratio | pupil-teacher ratio by town. | Number |
| black | 1000(Bk – 0.63)^2 where Bk is the proportion of blacks by town. | Number |
| lstat | lower status of the population (percent). | Number |
| medv | median value of owner-occupied homes in \$1000s. | Number |
Evet veri setimiz ile ile ilgili detaylara baktıktan sonra indirdiğimiz veri setini Oracle veritabanımıza yükleyelim.
Öncelikle indirdiğimiz veri setini (training.csv) yükleyeceğimiz Oracle tablosunu yaratalım.
CREATE TABLE BOSTON_HOUSING ( ID NUMBER, CRIM NUMBER, ZN NUMBER, INDUS NUMBER, CHAS NUMBER, NOX NUMBER, RM NUMBER, AGE NUMBER, DIS NUMBER, RAD NUMBER, TAX NUMBER, PTRATIO NUMBER, BLACK NUMBER, LSTAT NUMBER, MEDV NUMBER );
Tablomuzu yarattık, şimdi .csv olarak indirdiğimiz veri setimizi içeriye yükleyeceğiz, bunu yapmak için birden çok yöntemimiz bulunuyor. Bunlardan bazıları;
- Oracle External Table yardımı ile yüklemek.
- Oracle SQL Loader kullanarak yüklemek.
- Kullandığımız editörlerden faydalanarak yüklemek
Ben veri setini kullandığım editör yardımı ile yükleyeceğim. Editör olarak Oracle SQL Developer kullanmaktayım. Oracle SQL Developer ile veri yüklemesini aşağıdaki gibi yapabilirsiniz.
SELECT * FROM BOSTON_HOUSING;
Evet veri seti yükleme işlemini tamamladık.
Veriyi gözlemlediğimizde evlerin çeşitli özelliklerine göre detayları görmekteyiz. Her bir satırda ilgili evin spesifik özelliklerine ait bilgiler bulunuyor. Regresyon analizine girecek temel parametrelerimiz bu tablodaki gibi. Bu tabloda regresyon analizi sonucu tahminleyeceğimiz değer ise en sondaki MEDV kolonu. MEDV kolonu bu analizde tahminleyeceğimiz target değişkeni.
Veritabanı içerisinde Deep Learning modeli kurabilmek için DBMS_DATA_MINING paketi içerisindeki Neural Network algoritmasını kullanmak durumundayız. Bu algoritmayı kullanmak içinse bizim bazı parametreleri anlayıp daha sonra kullanmak için tanımlamamız gerekiyor. Bu parametreler aşağıdaki gibidir;
| Setting Name | Setting Value | Description |
|---|---|---|
NNET_HIDDEN_LAYERS |
Non-negative integer | Defines the topology by number of hidden layers.
The default value is |
NNET_NODES_PER_LAYER |
A list of positive integers | Defines the topology by number of nodes per layer. Different layers can have different number of nodes.
The value should be non-negative integers and comma separated. For example, ’10, 20, 5′. The setting values must be consistent with |
NNET_ACTIVATIONS |
A list of the following strings:
|
Defines the activation function for the hidden layers. For example, ”’NNET_ACTIVATIONS_BIPOLAR_SIG”, ”NNET_ACTIVATIONS_TANH”’.
Different layers can have different activation functions. The default value is ” The number of activation functions must be consistent with Note: All quotes are single and two single quotes are used to escape a single quote in SQL statements. |
NNET_WEIGHT_LOWER_BOUND |
A real number |
The setting specifies the lower bound of the region where weights are randomly initialized.
The value of |
NNET_WEIGHT_UPPER_BOUND |
A real number |
This setting specifies the upper bound of the region where weights are initialized. It should be set in pairs with NNET_WEIGHT_LOWER_BOUND and its value must not be smaller than the value of NNET_WEIGHT_LOWER_BOUND. If not specified, the values of NNET_WEIGHT_LOWER_BOUND and NNET_WEIGHT_UPPER_BOUND are system determined.
The default value is |
NNET_ITERATIONS |
Positive integer | This setting specifies the maximum number of iterations in the Neural Network algorithm.
The default value is |
NNET_TOLERANCE |
TO_CHAR(0< numeric_expr <1) |
Defines the convergence tolerance setting of the Neural Network algorithm.
The default value is |
NNET_REGULARIZER |
NNET_REGULARIZER_NONE
|
Regularization setting for Neural Network algorithm. If the total number of training rows is greater than 50000, the default is NNET_REGULARIZER_HELDASIDE. If the total number of training rows is less than or equal to 50000, the default is NNET_REGULARIZER_NONE. |
NNET_HELDASIDE_RATIO |
0 <= numeric_expr <=1 |
Define the held ratio for the held-aside method.
The default value is |
NNET_HELDASIDE_MAX_FAIL |
The value must be a positive integer. | With NNET_REGULARIZER_HELDASIDE, the training process is stopped early if the network performance on the validation data fails to improve or remains the same for NNET_HELDASIDE_MAX_FAIL epochs in a row.
The default value is |
NNET_REG_LAMBDA |
TO_CHAR(numeric_expr >=0) |
Defines the L2 regularization parameter lambda. This can not be set together with NNET_REGULARIZER_HELDASIDE.
The default value is |
Evet görüldüğü üzere modeli üretebilmek için kullanabileceğimiz bir çok parametre var. Bu parametreleri kurmak istediğimiz network topolojisine göre farklı ayarlar ile kullanabilmekteyiz.
İlk olarak yapmamız gereken; bu parametreleri kullanmak istediğimiz şekilde setleyecek insert cümlelerini oluşturup yaratacağımız bir tabloya kayıt etmek. Bu tabloya sadece değiştirmek istediğimiz parametreleri insert etmemiz yeterli. Kalan parametreleri Oracle default değerleri ile kullanacak. Bu tabloyu daha sonra, modelimizi yaratırken kullanacağımız fonksiyona algoritma ayarlarını okuyabilmesi için parametre olarak vereceğiz.
CREATE TABLE neural_network_settings (
setting_name VARCHAR2(1000),
setting_value VARCHAR2(1000)
);
BEGIN
INSERT INTO neural_network_settings (
setting_name,
setting_value
) VALUES (
dbms_data_mining.prep_auto,
dbms_data_mining.prep_auto_on
);
INSERT INTO neural_network_settings (
setting_name,
setting_value
) VALUES (
dbms_data_mining.algo_name,
dbms_data_mining.algo_neural_network
);
INSERT INTO neural_network_settings (
setting_name,
setting_value
) VALUES (
dbms_data_mining.nnet_activations,
'''NNET_ACTIVATIONS_LOG_SIG'',''NNET_ACTIVATIONS_LOG_SIG'',''NNET_ACTIVATIONS_LOG_SIG'''
);
INSERT INTO neural_network_settings (
setting_name,
setting_value
) VALUES (
dbms_data_mining.nnet_nodes_per_layer,
'512,250,100'
);
COMMIT;
END;
select * from neural_network_settings;
Görüldüğü üzere default ayarlar ile kullanmak istemediğimiz parametreleri istediğimiz değerlerler ile ayar tablomuza insert ettik.
Kabaca insert ettiğimiz iki parametreyi açıklayacak olursak;
- İki numaralı satırda algoritma seçimini yaptık.
- Dört numaralı satırda neural network ün kaç layerdan oluşacağını ve hangi layerda kaç hidden unit olacağını belirledik. Bu örneğimizde 3 katmanlı bir network kuruyoruz ve ilk katmanında 512, ikinci katmanında 250 ve son katmanında 100 hidden unit bulunuyor bu modelimizde.
- Üç numaralı satırda ise her katmanda kullanmak istediğimiz aktivasyon fonksiyonunu belirledik. Bu örnekte her katmadan SIGMOID kullanıcağımızı deklare etmiş olduk.
Evet training datamızı yükledik. Algoritma ayarlarını belirledik. Şimdi ise sıra modelimizi yaratmaya (training) geldi.
BEGIN
DBMS_DATA_MINING.CREATE_MODEL(
model_name => 'DEEP_LEARNING_MODEL',
mining_function => dbms_data_mining.REGRESSION,
data_table_name => 'BOSTON_HOUSING',
case_id_column_name => 'ID',
target_column_name => 'MEDV',
settings_table_name => 'neural_network_settings');
END;
Evet modelimizi yaratacağımız fonksiyonu gerekli parametreler ile çağırdık. Bu parametrelere bakarsak.
- model name: Modelimize vereceğimiz unique bir model ismi.
- mining function: Çözeceğimiz problemin tipini bildirdiğimiz parametre. Bu problemde bir regression yaptığımızdan dolayı bu parametreyi regression olarak seçtik. Burası problemimizin tipine göre CLASSIFICATION veya CLUSTERING vb’de seçebilirdik.
- data_table_name: Training de kullanılacak datanın hangi tabloda olduğunu söylediğimiz parametre.
- case_id_column_name: Training de kullandığımız datayı biribirinden ayıran anahtarı verdiğimiz parametre. Eğer composite bir key var ise modeli oluşturmadan önce yeni bir attribute oluşturarak bu kolonu sağlamalıyız. Bizim tablomuzda ID kolonu unique olduğu için doğrudan bu kolonu verebildik.
- target_column_name: Modelimizin target olarak hangi kolonu kullanması gerektiğini söylediğimiz yer. Modelimizin target değişkeni. Yani modelin tahminleyeceği değer.
- settings_table_name: Model oluşturulurken, neural network ün kullanmasını istediğimiz parametrelerin yazılı olduğu ayar tablosu.
Evet modelimizi train ettik. Modelimizle ilgili tüm parametrik detaylara aşağıdaki sorguyu yazarak ulaşabiliyoruz bu adımda.
select * from all_mining_model_settings where model_name='DEEP_LEARNING_MODEL';
Evet tabloda hem bizim dışardan verdiğimiz parametreleri hemde default değerleri ile atamaların yapıldığı model parametrelerini görüyoruz.
Şimdi oluşturduğumuz bu Deep Learning modeli ile ilgili detay bilgilerin olduğu tablolara bakalım.
Her katmanda üretilen weight değerlerine ulaşmak için;
select * from DM$VADEEP_LEARNING_MODEL;
Model ile genel bilgilere ulaşmak için;
select * from DM$VGDEEP_LEARNING_MODEL;
Değişkenlerin normalizasyon değerlerine ulaşmak için;
select * from DM$VNDEEP_LEARNING_MODEL;
Evet şimdi modelimiz üzerinden yeni tahminler nasıl yapabileceğimize bir bakalım. Bunu iki şekilde yapabiliriz.
İlk olarak bir tablodaki toplu değerlerin tamamı için modelimizi çalıştırabiliriz. Bunun için kaggle’dan indirdiğimiz veri dosyaları içindeki test.csv dosyasını kullanacağız. Bu dosyayı yükleyeceğimiz tabloyu yaratalım ve datayı içeriye yükleyelim.
CREATE TABLE BOSTON_HOUSING_TEST ( ID NUMBER, CRIM NUMBER, ZN NUMBER, INDUS NUMBER, CHAS NUMBER, NOX NUMBER, RM NUMBER, AGE NUMBER, DIS NUMBER, RAD NUMBER, TAX NUMBER, PTRATIO NUMBER, BLACK NUMBER, LSTAT NUMBER, MEDV NUMBER ); -- Veriyi yukarida anlatmis oldugumuz yontem ile yukleyip tabloyu sorgulayabiliriz. SELECT * FROM BOSTON_HOUSING_TEST;
Şimdi bu datayı modelimize input verip tahminleri üretelim.
SELECT T.*, PREDICTION (DEEP_LEARNING_MODEL USING *) NN_RES FROM BOSTON_HOUSING_TEST T;
Evet toplu olarak bir çok kayıt için prediction yapmış olduk. Şimdi tek bir kayıt ile nasıl tahmin yapabileceğimize bakalım.
SELECT prediction(DEEP_LEARNING_MODEL USING 0.02 as crim,
12.5 as zn,
8.01 as indus,
0 as chas,
0.48 as nox,
6.25 as rm,
15.4 as age,
4.92 as dis,
4.00 as rad,
242 as tax,
15.3 as pratio,
399 as balck,
4.09 as lstat) pred
FROM dual;
Görüldüğü üzere çok basit bir şekilde, gelen değerleri modelimize verip tahmin sonucunu saniyenin altındaki sürelerde almayı başardık.
Kaynaklar
https://docs.oracle.com/cd/E76298_01/UDMRF/data_mining_udm.htm
