GİT108U-DİJİTAL KÜLTÜR
Ünite 8: Algoritmik Yöntemler, Sosyal Medya ve Büyük Veri
Büyük Veri Çağında Dijital Parmak İzlerimiz
Dijital dönüşümün toplumsal etkilerine dair çeşitli görüşler olmasına rağmen, bilginin nasıl üretildiği, sermayenin nasıl işletildiği ve devletlerin nasıl yönetildiği konusunda köklü ve paradigmatik bir dönüşüm yaşadığımız konusunda hemfikir olduklarını söyleyebiliriz. Dijitalleşme ile kıyaslandığında verileştirme (datafication), etrafımızdaki dünyayı analiz etme yöntemlerimizdeki dramatik değişimi ifade eder. Verileşme (datafication) “enstrümanlar, sensörler, İnternet işlemleri, e-Posta, video, tıklama akışları ve/veya bugün ve gelecekte mevcut olan diğer tüm dijital kaynaklardan oluşturulan geniş, çeşitli, karmaşık, uzunlamasına ve/veya dağıtılmış veri kümelerini” kapsar. Bazı yorumcular, verileşmenin adil, eşitlikçi bir toplumsal düzenin ve daha verimli bir kapitalizmin yolunu açacağını savunurlar. Verileştirmenin, toplumsal aktörlerin öngörü ve müdahale kapasitelerini arttırdığını öne sürerler. Verileşmeden istifade devlet kurumlarının, petrol sızıntıları veya nükleer kazalar gibi insan kaynaklı felaketlerin ne zaman ve ne şekilde ortaya çıkacağını tahmin etme imkanına kavuşmalarını, uydu verilerinin gerçek zamanlı topladığı verileri işleyebilen algoritmaların neredeyse %90’a yakın doğrulukla depremleri önceden tahmin edebilmelerini, hava ve su kalitesini ölçebilen sensörler ile akıllı şehirlerin çevresel düzenlemeleri hızlı biçimde hayata geçirmeleri ya da gerçek zamanlı verilere dayanarak navigasyon uygulamalarının trafik sıkışıklığı olduğunda bizlere alternatif rotalar sunması, bu bağlamda sıkça anlatılan örneklerdir. Bu bakış açısının özünde yatan mantık, tüm sosyal faaliyetlerin dijitaleşerek veriye dönüştürülmesinin faydalı olacağı ve her zaman toplumsal bağlamda olumlu sonuçlara yol açacağı şeklindedir. Meseleye eleştirel gözle bakan yorumcular, verileşme arzusunun dünyayı daha da distopik ve adaletsiz bir yere dönüştüreceğine dair birtakım öngörülerde bulunurlar. Bu düzende verileşme ve algoritmalar hem toplumsal eşitsizlikleri derinleştiren hem de sosyal kontrolü sağlayan otoriter bir “büyük birader” mekanizması olarak karşımıza çıkacak. Böyle bir senaryoda teknoloji şirketleri, sermayelerini zamanla iyice büyüterek devlet nezdinde tekel hâline gelirler. Hem otoriter hem de demokratik devletler, hızla yoksullaşan toplumlarda bozulan asayişi sağlamak için teknoloji şirketlerinin oluşturduğu algoritmalara ihtiyaç hissederler. Sosyal kontrolü sağlamak için kullanılan büyük veri sistemleri, vatandaşların üzerindeki baskıyı artırarak empoze edilen sisteme itaat etmelerini sağlarlar. Vatandaşların mahrem alanlarına girerek yapılan bu tür uygulamalar, maliyet tasarrufu sağlayan “operasyonel verimlilik” veya kamu güvenliğine yönelik söylemsel referanslarla gerekçelendirilir. Benzer şekilde, holding ve şirketler verileşmeyi kesintisiz gözetime dayalı işyeri yönetimi biçimleri oluşturmak için kullanır. Veya sosyal medya verilerinden yararlanan yazılımlar Black Mirror dizisini andıran yöntemlerle tüketicilere kişiselleşmiş alışveriş deneyimleri sunarak insanları kendi sanal dünyalarına hapsederler. Buna göre denetlenmediği takdirde gözetim kapitalizminin, bireylerin
hak ve özgürlüklerini tehdit etmeye başlayacağı öngörülmektedir.
Algoritmik Yöntemlerin Temel Özellikleri
Veri çağında sosyal bilimlere biçilen rol ne olmalı? Bu varoluşsal soruya olası bir cevap, bilişimsel sosyal bilim alanından gelmektedir. Kodlama ve bilgisayar bilimi tekniklerine dayanan bilişimsel sosyal bilim, sosyal medya ve internetten veri toplamak ve analiz etmek için algoritmik metodolojiler geliştirmeye odaklanır. Algoritmik yöntemlerinin dört tane temel özelliği vardır: büyük veri setlerinin kullanımı, otomatik veya yarı otomatik yazılımlar kullanarak dijital ortamdan veri toplanılması, toplanılan büyük veri kümelerinin bilgisayar bilimlerinden alınan bir dizi farklı teknik ile modellenmesi ve işlenen verinin görselleştirilmesidir. Devam eden veya yayınlanmış araştırmalardan örnekler sunan bir sonraki bölüm, çevrimiçi ortamlarda karşılaşabileceğimiz farklı veri türlerini (yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış), veri formatlarını (elektronik tablolar, XML, JSON vb.), veri toplama tekniklerini (kazıma ve programatik erişim), algoritmik analiz biçimlerini (semantik, hissiyat ve ilişkisel) tanıtmayı hedefler.
Algoritmik Yöntemlerin Sınırları
• Veri, kullanıcıların belirli şekillerde nasıl davrandığına ilişkin soruları yanıtlar. Bununla birlikte, kullanıcıların neden belirli şekillerde davrandıklarına dair soruları yanıtlamaz. Bu sebeple algoritmik yöntemler, bizlere nedensellik ile ilgili bilgi vermez. • Yorum öznel bir süreç olduğundan dolayı veri güdümlü yöntemlerle üretilmiş bilgi hiçbir zaman tamamen nesnel değildir. • Kapalı hesaplardan dolayı sosyal medyadaki içeriğin tamamına erişmek mümkün değildir. Bu tür kısıtlamalar, araştırma bulgularımızın çıktılarını etkileyebilir. • Erişilebilir olması, topladığımız veriyi yasal yapmaz – bazı durumlarda sosyal medya sitelerinden toplanan verileri araştırmalarımızda kullanmadan önce kullanıcılardan izin almak gerekebilir. • Toplumun belli kesimleri düzenli olarak internet kullanmıyor. Herkesin sosyal medya hesabı yok. Bazen, aynı hesabı kullanan birden fazla kullanıcı olabilir. Bunlardan dolayı çevrimiçi ortamlardan toplanan verilerle topluma ilişkin kapsamlı genellemeler yapmaktan kaçınmak gerekir. • Büyük veri ve bütün veri aynı şeyler değildir. • Daha küçük, nitel veri setleri araştırdığımız konuya dair faydalı bilgiler sağlayabilir. Nitel yöntemlerle elde edilen veri, algoritmik yöntemler kullanıldığında gözden kaçabilir. Aranan şeyin ne olduğunu iyi düşünmek lazım. • Algoritmik yöntemlerle toplanmış bağlam dışı verinin herhangi bir değeri yoktur.
Dijital Mecralarda Veri Dinamikleri ve Temel Araştırma Yaklaşımları
Dijital ortamlarda kullanılan, aynı zamanda dijital medya ve sosyal medya kullanıcı içerikleri olarak da tanımlayabileceğimiz veri türleri, kullanıldıkları ortama göre kullanım amaçları ve şekilleri açısında farklılıklar taşırlar. Örneğin, iki farklı video paylaşım platformu arasında video içerikleri farklı teknik özelliklerle birlikte süre, içerik türü, kullanım veya paylaşım amacına dayalı farklılıklara sahip olabilir. Ancak genel olarak platformlar arasında uygulama ve kullanım açısından farklılıklar olsa da analiz ve araştırmalarda içerik sınıflandırması açısından bir farklılık uygulanmaz, temel analiz ve veri türü kriterleri büyük ölçüde aynıdır.
Dijital Mecra Türleri ve Veriye Erişim
Dijital mecralar, ilk aklımıza gelen büyük platformlarla sınırlı değildir – Facebook, Twitter, Instagram vb. dışında birçok başka şeyi de kapsar. Bunların arasında bloglar, forumlar, haberler portalları ve hatta kişisel web siteleri dâhildir. İnternette karşılaştığınız herhangi kamuya açık herhangi bir site, toplumun davranışlarını ve görüşlerini anlamamıza yardımcı olmak için kullanılabilir. Ancak çoğu zaman bir dijital mecradaki verilerin tümü herkese açık değildir. Tümüyle erişime kapalı olarak bulunan ya da paylaşılan veriye “karanlık” denir – bunlara örnek olarak e-Postalar, SMS, WhatsApp’daki gibi içerikler verilebilir. Sadece özel izin veya ayrıcalıklı erişim durumlarında da bu tür veriler araştırma kapsamına alınabilir. Kişisel verileri koruma kanunu (KVKK) özellikle bu tür verilerin izinsiz kullanımını kesin olarak yasaklamaktadır. Ayrıca izinsiz erişim ve kullanım etik olarak doğru değildir.
Tüm araştırma yöntemlerinde iki ana veri türü bulunur, nitel veri ve nicel veri. Nitel veriler, belli bir yapısal özelliğe sahip olup olmadıklarına göre simgelenen verilerdir. Nitel veriler konvansiyonel araştırma yöntemlerine göre sayılabilir ama ölçülmez. Birimlere dayalı ölçülmezler ve sayılarak değerleri, yoğunlukları belirtilebilen, belli bir yapısal özelliği, farklılığı taşımakla (veya taşımamakla) simgelenen verilerdir. Dijital araştırmalarda nitel veriler yine konvansiyonel araştırmalarda olduğu gibi tüm metin türleri ve varyasyonları (linkler dâhil), statik görsel (fotoğraf, emoji, grafik, illüstrasyon, vb.) ve hareketli görselleri (video, story, GİF, vb.) kapsamaktadır. Sonuç olarak nitel olarak tanımlanan metin, görsel ve video türleri sosyal bilimler ve medya çalışmalarında çok nadiren nicel boyutlar katılmadan salt nitel olarak analiz edilir.
• Sınıflanabilen Nitel Veri: Birbirinden bağımsız isim bildiren, kod ve numara ile gösterilebilen, sınıflara ayrılan verilerdir. Taşıtlar: kara, hava ve deniz taşıtları. • Sıralanabilen Nitel Veri: Belirli bir miktar belirtilmeyen, bir sıra ya da dereceye göre elde edilen verilerdir.
Nicel veri birimlerin ölçüm ve tartım sonucu değerleri saptanan sayısal özelliklerini belirten, aralıklı ölçekli veya orantılı ölçekli değişkenler. Bir deneyin sayılabilir, ölçülebilir özelliğini veren verilerdir. Sürekli nicel veri ve kesikli nicel veri olmak üzere iki türü vardır.
• Sürekli nicel veri: Ondalıklı değerler alabilen nicel verilerdir. Boy uzunluğu, kilo,vs.. • Kesikli nicel veri: Sayılarak elde edilen ve tam sayılı değerlerdir. Nüfus, öğrenci sayısı, hane halkı sayısı.
Dijital Mecralarda Bulunan Veri Türleri
Konvansiyonel yöntemlerle gerçekleştirilen bir kamuoyu araştırmasında araştırılan hedef kitle bir ülke nüfusunda yer alan toplam nüfusu temsil eden demografik dağılımı yansıtacak şekilde belirlenir. Dijital ortamların analizinde böyle temsili bir örnekleme ihtiyaç duyulmaz. Toplam veri üzerinden doğrudan bir örneklem alınır ya da tüm veri doğrudan analiz edilir. Dijital ortamlardan toplanan veriler yalnızca nitel veya nicel metodolojiler ile analiz edilmez ve mutlaka toplandığı kriterler, koşullar, bulundukları medya türünün özellikleri gibi başka birçok kritere bağlı olarak her iki yöntemin uygulandığı karma yöntemlerle de analiz edilebilir. Bunun nedeni dijital ortamlardan elde edilecek veriler büyük data olsun ya da örneklem ile elde edilmiş küçük örneklemli setler olsun, üzerinde çalışmak için verinin yapılandırılması gerekmektedir. Yapılandırılmış bir veri bütünü ile sadece sonuçta elde edilen verinin boyutu değildir. Dijital ortamlar söz konusu olunca ortamın kullanıcı sayıları, içerik sayıları ve boyutları gibi milyonlara, hatta milyarlara ulaşan ve nicel özellikler içerisinde elde edilen veriler ya da veri örneklem boyutları genel olarak tanımlanabilmeli ve bu tanımlamalara göre analiz edilmelidir.
Yapılandırılmamış Veriler
Yapılandırılmamış veriler, var olan tüm verilerdir ya da veriye dönüştürülebilecek varlıklardır. Bu tür veriler metinsel veya metinsel olmayan, insan veya makine tarafından oluşturulmuş olabilir. NoSQL (Not only SQL) gibi ilişkisel olmayan bir veritabanında saklanabilir. Metin dosyaları, e-Posta, Web ve Sosyal Medya, iletişim teknolojileri ve sosyal medya, medya, gözetim görüntüleme sistemleri, bilimsel gözlem sonucu ulaşılan veriler örnek olarak verilebilir.
Yapılandırılmış Veriler
Yapılandırılmış veri terimi, bir dosya veya kayıt içindeki sabit bir alanda bulunan verileri ifade eder. Yapılandırılmış veriler tipik olarak bir ilişkisel veritabanında (RDBMS) saklanır. Rakamlardan ve metinden oluşabilir ve kaynak bulma, bir RDBMS yapısı içinde olduîu sürece otomatik veya manuel olarak gerçekleşebilir. Alanlar, telefon numaraları, Sosyal Güvenlik numaraları veya posta kodları yapılandırılmış veri örnekleridir. Veriler bir RDBMS yapısı içinde oluşturulduğu sürece, veriler manuel olarak veya makine tarafından oluşturulabilir. Ne tür verilerin dâhil edileceğini ve nasıl depolanıp işleneceğini tanımlayan bir
veri modelinin oluşturulmasına bağlıdır. Bu biçim hem insan tarafından oluşturulan sorgularla hem de veri türlerini ve alfabetik veya sayısal, para birimi veya tarih gibi alan adlarını kullanan algoritmalar aracılığıyla arama yapmaya son derece elverişlidir.
Yarı Yapılandırılmış Veriler
Bir tür etiketleme yapısına sahip olan ancak yine de ilişkisel bir veritabanının resmî yapısına uymayan verileri ifade eder. Yarı yapılandırılmış veriler, veri analistlerinin bilgi gruplandırmasını ve hiyerarşileri belirlemesini sağlayan ayrı veri ögelerini tanımlayan dâhili etiketler ve işaretler tutar. Hem belgeler hem de veritabanları yarı yapılandırılmış olabilir. İşaretleme dili, açık standart, CSV uzantılı dosyalar örnek olarak verilebilir.
Dijital Mecralarda Veri Nasıl Toplanır?
Web Kazıma
Web kazıma, çeşitli yazılımlar kullanarak dijital ortamlardan veri çıkarılması ve bu verileri merkezî bir veri tabanında ve analizde depolanmaya uygun bir forma dönüştürülmesi işlemidir. Çoğunlukla bu yöntem herhangi bir şekilde API hizmeti vermeyen sitelerde kullanılır. Web taraması ve Web kazıması olmak üzere iki aşamadan oluşur. Öncelikle hangi mecradan hangi verileri alacağınızı belirlemeniz gerekiyor. Hedef sitenizdeki Robots.txt dosyasını kontrol edin. Robots.txt, kazıyıcı yazılımlarına sitelerin hangi bölümlerine erişim sağlayabileceğini, hangi bölümlerin alınabileceğini anlatır. Bir çeşit sınır kontrol mekanizmasıdır. Erişim ve kullanım protokolleri belirler. Seçiminizi yaptıktan sonra verileri kazımak için hedefinizin yazılım yapısına uygun bir kazıyıcı geliştirmeniz gerekiyor. Mesela yemek tarifleri sitesi için geliştireceğiniz kazıyıcıyı bir forum sitesi için kullanmanız mümkün değil. Veriler HTML biçiminde alınır, daha sonra istediğiniz algoritmik yöntemlerle temizlenerek yapılandırılmış veri formatına çevrilir. • Analize hazır olan veriler, isteğe bağlı olarak veri tabanlarında veya CSV, JSON, TSV dosyalarında saklanabilirler
Uygulama Programlama Arayüzleri
Sosyal medya platformlarından veri toplamak için kullanılan araçların çoğu, Uygulama Programlama Arayüzleri’nden (UPA’lar) programatik erişime dayanır. UPA üzerinden toplanılmış verilerin çıktılarını CSV veya JSON formatlarında almak mümkündür. Yapılandırılmış formatlar olan CSV ve JSON dosyaları, toplanılan verilerin ayıklanma ve işlenmesini kolaylaştırır (s. 193’teki örnek incelenebilir.
Sosyal Medya Platformlarından Aracı Aplikasyonlarla Veri Toplamak
Medya organları da dijitalleşmeye entegre olmaya başlayınca medya ve haber takibi alanında çalışanlar, bu yeni dönemin dinamiklerine bağlı web ve sosyal medya takibi uygulamaları ile veri toplamaya ve analiz süreçlerini geliştirmeye başlamıştır.
Uygulama Çeşitleri ve Tanımı
Günümüzde gelinen noktada, bu tür analitik çalışma alanları sosyal zeka (social intelligence) başlığı altında da tanımlanır ve genellikle Türkçe karşılığı “Sosyal Dinleme”, “Sosyal Medya Takibi”, “Sosyal Medya Araştırması” veya “Sosyal Veri Analizi” ifadeleri ile tanımlanır. Tüm bu uygulamalar ve yöntemler Web ve sosyal medya kanallarından (bloglar, forumlar, Facebook, Twitter vb.) ve İnternetten, belirli olaylar veya konularla ilgili sosyal kullanıcılara ait içerik, paylaşım ve yorum verilerinin bir araya getirilmesiyle mekânsal, zamansal, tematik ve motivasyonel olarak 4 boyutta analizlerin gerçekleşmesini sağlamayı amaçlar.
Sosyal Medya Dinleme ve Analiz Uygulamalarında Veri Kriterleri ve Boyutları
Sosyal Dinleme veya Sosyal Medya Analitiği, web ve sosyal medyadan istenilen konu veya kitlelere ait paylaşılmış verileri toplamayı ve toplanan verileri otomatize şekilde analiz etmeyi sağlayan, yazılıma dayalı uygulamalar ve analiz yöntemleri bütünüdür. Teknik boyutlar ve takip yöntemleri, gerçek zamanlı olarak da uygulanabilen sitelerin, sayfaların ve hesapların sürekli olarak taranmasını ve dizine eklenmesini içerir. Siteler indekslendiğinde, SMM araçları belirli kelime öbekleri, kelimeler, isimler, ürünler, hizmetler, şirketler, kişiler, yerler vb. hakkındaki sözleri, görüşleri ve duyguları bulmak için arama yapabilir. Tüm içerik ve ilgili etkileşimlerden sonra nicel veriler olarak şu bilgiler toplanır; içeriğin paylaşıldığı tarih, kullanıcı veya hesap bilgileri, bağlantılar, medya kaynak türleri, kullanıcının künyelerinde (bios) mevcutsa, meslek veya konum, beyan ettikleri ilgi alanları. Konum, meslek, cinsiyet vb. bilgiler medya kaynağı özelliklerine ve sosyal medya kullanıcısının bu bilgileri kamuya açık hâle getirme konusundaki kendi seçimine bağlıdır. Web platformlarını ve sosyal medyayı takip için kullanılan standart takip uygulamalarına kıyasla daha fazla çok yönlü ve çeşitli, derinlemesine içgörü sağlayacak özelliklerle veri toplamayı ve analiz etmeyi sağlayan uygulamalara genellikle ‘Sosyal Zeka’ (Social Intelligence) uygulamaları denir. Sosyal zeka uygulamaları, sosyal medya metriklerine, paylaşılan içeriklere veya bu sosyal medya platformlarında meydana gelen aktivitelere bağlı olarak çeşitli içgörüler sunar. Bu uygulamalar ve işlevleri hakkında geniş bir bilimsel literatür yoktur. Bunun da nedeni bu uygulamaların ve sosyal medya platformlarının dinamikleri, teknik özellikleri ve kullanıcı alışkanlıkları, birbirine paralel olarak, sürekli olarak gelişmektedir ya da değişmektedir. Fakat temel veri özellikleri ile ilgili kriterler kabul edilmiş sabit metrik (metrics) olarak ifade edilen ölçüm kriterleri vardır.
• Paylaşılan içeriklerin toplam hacmi: belirli bir konunun veya konu grubunun, marka veya ürün adı da olabilir ve belirli bir anahtar kelime grubu karşılığı olarak sosyal medya ve Web’de paylaşılan toplam bahsetme, ilgili içerik, yorum,
mesaj veya makale sayısını belirli bir zaman dilimindeki yoğunluğu • Hissiyat ve duygu dağılımı: tekil bir içerikten milyonlarca içeriğin ortalamasına kadar ifade edilenlerin en basitinde olumlu, olumsuz ve nötr olmak üzere yaklaşımların ya da ifadelerin genel olarak bakış açısını belirten bir değerlendirme ve analiz biçimi • Lokasyon: GPS bileşeni içeren mobil cihazlar aracılığı ile kullanıcının tercihine göre konumuna erişimi açması durumunda sosyal medya gönderisine daha kesin coğrafi bilgiler üzerinden analiz konuma dayalı veri toplanması • Konu ve temaların dağılımı: en çok trend olan veya önemli on konunun bir listesi sunulması • Kanal dağılımı: sorgu kapsamına göre veri erişilebilirliği ile birlikte, sosyal medya platformları toplam kullanıcı sayıları ve platform içi konuşulma dinamiklerinin konu veya marka ile ilgili olup olmaması verilerin medya kaynak dağılım sonuçları • Influencer tespiti ve sıralaması: Etkin bir influencer tarafından yaratılan olumsuz bir mesajın birçok kişiye ulaşması olası ve bu durum da şirkete karşı genel olarak olumlu algıda düşüşe neden olması ya da aynı şekilde, olumlu mesajlar yayınlayan etkili influencerlar genel ton dağılımını olumlu yönde artırması
Algoritmik Yöntemlerle Veri Temizleme ve Analizi
Metin madenciliği, yapılandırılmamış veriyi temizleyip yapılandırmak için yaygın biçimde kullanılan algoritmik bir yöntemdir. Fikir analizi ile sosyal ağ analizi, yapılandırılmış veriler üzerine uygulayabileceğimiz iki ayrı algoritmik analiz yöntemidir. Fikir analizi, semantik (içinde yazı barındıran) veriyi, ağ analizi ise veri içindeki ilişkisel bağlantıları incelemek için kullanılır. Uygulayacağınız analiz yöntemini, elinizdeki verinin niteliğine göre belirlemeniz önemlidir.
Doğal Dil İşleme ve Metin Madenciliği
Metin analizi olarak da adlandırılan metin madenciliği, belgelerde, veri setlerinde ve veri tabanlarındaki serbest, yapılandırılmamış (free text) metinlerini analize uygun normalleştirilmiş, yapılandırılmış verilere dönüştürmek veya makine öğrenimi (ML) algoritmalarını yönlendirmek için doğal dil işleme’yi (DDİ) kullanan bir yapay zeka (AI) bağlantılı teknolojidir. DDİ, metni bir dilden diğerine çeviren, sözlü komutlara yanıt veren ve büyük hacimli metni hızlı bir şekilde, hatta gerçek zamanlı olarak özetleyen bilgisayar programlarını çalıştırır. DDİ ile sesle çalışan GPS sistemleri, ev asistanları, dijital yardımcılar, sesten metne dikte yazılımı, müşteri hizmetleri, sohbet robotları ve diğer tüketici kolaylıkları şeklinde karşılaşmanız ya da etkileşime geçmiş olma ihtimaliniz artıyor. Konuşma tanıma, dilbilgisel etiketleme, kelime anlam ayrımı, isimlendirilmiş varlık tanıma, eş referans
çözümlemesi, duygu analizi, doğal dil üretimi DDL görevleridir.
Python ve Doğal Dil Araç Takımı (NLTK)
Programlama dilleri arasında Python, birçok DDİ uygulamalarını gerçekleştirmek için çok çeşitli araçlar ve kaynaklar sağlar, R gibi başka diller de kullanılabilir. DDİ programları oluşturmak için açık kaynaklı bir kütüphaneler, programlar ve eğitim kaynakları koleksiyonu olan Natural Language Toolkit veya NLTK’da ağırlıklı olarak kullanılır.
Kural Tabanlı Sistemler
Bu sistemler, yapılandırılmamış metni özel dilbilim kurallarına göre sınıflandırarak analizde yüksek derecede kesinlik sağlar. Bununla birlikte, geleneksel kural tabanlı sistemler, sığ, kelime tabanlı kalıp eşleştirme özelliğine sahiptir. Bu kurallar, her cümlenin yalnızca bir kısmına dayandığından, yüksek düzeyde doğruluk ve etkinlik sağlamakta zorlanır. Ek olarak, bu sistemler kapsamlı kural yazmayı gerektirir. Kapsamlı kural, yapıları gereği kimi uzmanlara göre verilerin tekrar geri çağrılıp kural düzenleme yapılabilmesi açısından zor ve karmaşık olarak tanımlanır. Bunun bir sebebi de sözlük tabanlı ve corpus yani veri tabanlı iki yaklaşım olmasıdır. Sözlük tabanlı yaklaşım önceden belirlenmiş kelime ve kurallar bütünü ile uygulanır.
Kelime Torbası Modeli
Aynı zamanda tüm DDİ dil modellerinin en basitidir. Makine öğrenimi (önceden negatif veya pozitif olarak belirlenmiş) kelimeleri saymak için kullanılır ve sayıya dayalı bir puan verilir. Kelime tabanlı modeller arasında bu model yaklaşımı sığlığı ile sınırlıdır.
İstatistiksel Modelleme
Metin içi kalıplara tahmine dayalı, algoritmik bir yaklaşım getirir. Bu tür algoritmik modeller, açık programlama olmaksızın dili işleyebilir ve “anlayabilir” ve hiçbir manuel kural kodlaması gerekli değildir.
Makine Öğrenmesi ve Derin Öğrenme
Derin öğrenme hem öğrenme setleri ile denetimli hem de benzerlik ve eşdeğerlik ilişkilendirmeleri üzerine kurulu daha karmaşık algoritmalarla denetimsiz olarak öğrenme setine ihtiyaç duyulmadan veri gruplandırmaları ve analizleri gerçekleştirmeyi sağlar.
Topic Modelling
Belirtilen konular verilerin içerisinde yer alan metin birimleri, yani cümle veya paragraflar içerisinde belli bir yoğunluk ve ilişki içerisinde birlikte ortaya çıkan ve genellikle ortak bir temayı paylaşan kelimelerden tespit eder.
Ağ Analizi
Sosyal ağ analizi (SAA), bireyler ve gruplar arasındaki bağlantıları, ilişkileri ve ilişki kümelerinin ağlarda yarattığı etkiyi ölçmeye odaklanır. Ortaya çıkardığı ilişkileri görselleştirerek çıktı olarak ağ haritaları üretir.