Kendi barındırdığınız modelle yapay zekâ destekli kök neden analizi

O olmadan ilk 15 dakika

Kurgu bir örnek. Saat 11.07'de hesap servisindeki bağlantı havuzu tükeniyor. Üç dakika içinde:

• hesap, havale, ekstre ve mobil-gecit servislerinin gecikmesi yükseliyor.
• Beş SLO alarmı tükenme bildiriyor, iki sentetik kontrol yavaş.
• Dört serviste hata logları patlıyor, her biri çağırdığı servisi suçluyor.
• Liveness kontrolünü geçemeyen iki pod yeniden başlıyor ve işleri daha kötü hâle getiriyor.

Herkes kendi servisine bakıyor. mobil-gecit nöbetçisinin alarmı en gürültülüsü, ama nedene en uzak olan da o. İlk çeyrek saat neyin neden, neyin belirti olduğunu ayırmaya gidiyor.

İki ayrı adım: önce gruplama, sonra açıklama

Wrentrix, "AIOps" teriminin birbirine karıştırdığı iki işi ayırır.

Problem motoru sinyalleri topolojiye göre tek olayda toplar. Canlı servis haritasından mobil-gecit servisinin havale servisine, onun da hesap servisine bağlı olduğunu bilir. Aynı dönemde bu servislerdeki alarmların birbirinden bağımsız olması pek olası değildir, bu yüzden tek zaman çizelgeli tek bir problem olurlar. Bu adım sisteminizin yapısına ve anormal davranışı belirleyen taban çizgilerine dayanır.

Otomatik kök neden analizi sonra tıklanabilir kanıt zinciriyle sıralı adaylar üretir. Problem için olası nedenleri sırayla önerir ve her birinin arkasındaki sinyalleri gösterir. Her bağlantı alttaki veriye gider: bir trace, bir log örüntüsü, bir metot taban çizgisi veya bir ayar değişikliği.

Yukarıdaki örnek için çıktı aşağıdakine benzeyebilir. Bu metin anlatım için yazıldı, üründen alınmış bir çıktı değildir:

1. **hesap servisinde bağlantı havuzu tükenmesi.** Kanıt: havuz bekleme metodu ilk olarak 11.07'de taban çizgisinin dışına çıktı; yeni acquire took <*>ms log örüntüsü; bağımlılık haritasında hesap etkilenen tüm servislerin altında.
2. **hesap servisinde ConfigMap değişikliği.** Kanıt: başlangıçtan 15 dakika önce, 10.52'de aynı ad alanında düzenlendi; 11.05'te yeniden başlayan bir pod yeni değeri almış olabilir.
3. **worker-7 düğümünde baskı.** Kanıt: yeniden başlayan iki pod bu düğümdeydi. Zayıf, çünkü yeniden başlatmalar başlangıçtan sonra oldu.

Değerli olan, kesinlik iddia etmemesidir. Deneyimli bir mühendise başlayacak bir yer ve yanlış öneriyi çabuk eleme yolu verir: kanıta tıklayın, tutuyor mu bakın. İkinci aday birincinin nedeni çıkabilir, örneğin düzenleme havuz boyutunu küçülttüyse. Farkı açarak bunu görmek birkaç dakika sürer. Yardımsız aramak çok daha uzun.

Kanıt zinciri neden modelden önemli?

Dil modeli inandırıcı metin üretir. İnandırıcı metin bazen yanlıştır. Kesinti sırasında kendinden emin ama yanlış bir kök neden, hiç cevap olmamasından kötüdür, çünkü insanları baskı altında yanlış yöne gönderir.

Bu yüzden herhangi bir kök neden aracı için tasarım sorusu şudur: bir insanın neyi sorgulamadan kabul etmesi gerekiyor? Tıklanabilir bir zincirde cevap "hiçbir şey" olmalıdır. Bu ürün dahil, aracı şu testlerle değerlendirin:

• İyi bildiğiniz geçmiş bir olayı yeniden oynatın. Gerçek neden üst sıralarda mı, gösterilen kanıt gerçekten destekliyor mu?
• Bağlantıların gerçek veriye gittiğine bakın. Bir metodun gecikmesiyle ilgili iddia o metodun verisini açmalı, bir paragrafı değil.
• Nedeni belirsiz bir olayda ne yaptığına bakın. İşe yarar bir sistem güveninin düşük olduğunu gösterir, hikâye uydurmaz.
• Mühendislerinize, araca güvenmeden önce kendi yargılarını oluşturmaları için zaman tanıyın. İlk haftalarda basit bir sayım tutun: doğru, kısmen doğru, yanlış.

Doğruluk rakamı yayınlamıyoruz, çünkü ortamınıza, veri kalitenize ve çalıştırdığınız modele bağlıdır. Kendi olaylarınızla test edin. Canlı demo akışı örnek veriyle, sistemlerinize bağlanmadan gösterir.

Yapay zekâ nerede çalışır?

Yapay zekâ sizin denetiminizdeki altyapıda çalışır. Dış modele hiçbir şey gitmez, bulut yapay zekâ servisine çağrı yapılmaz. Bu sayede tamamen kapalı ağda da çalışır. İsterseniz yapay zekâyı tümüyle kapatabilirsiniz.

Wrentrix'i değerlendiriyorsanız bize yazın, yapay zekâ özelliklerinin sizin ortamınızda neye ihtiyaç duyduğunu birlikte inceleyelim.

Telemetri okuyan her model için geçerli bir işletme kuralı var: logları güvenilmeyen girdi sayın. Log satırları ve diğer telemetri, URL veya form alanı gibi dışarıdan yazılmış metinler içerebilir. Bunu okuyan bir dil modeli bundan etkilenebilir. Otomatik müdahalede onay adımlarının ve önemli eylemlerde insanın yolda kalmasının nedenlerinden biri de budur. Kişisel veri taşıyan loglarda KVKK ve veri yerelliği soruları da yerel çalışmayı öne çıkarır.

Türkçe doğal dille soru sormak

Doğal dille sorgu, "Son 12 saatte trafiği en yüksek 3 servis" gibi bir soruyu bir sorgu planına çevirir. Asıl bakılacak yer bu plandır. Okunabilir bir plan sorunun nasıl yorumlandığını gösterir: "trafik" hangi metrik sayılmış, hangi zaman aralığı kullanılmış? Cevabı başkasına söylemeden önce bunu görürsünüz.

En çok, aracı her gün kullanmayan kişilere yarar: toplantı köprüsünde bir rakama ihtiyaç duyan vardiya yöneticisine ya da verinin nasıl düzenlendiğini bilmeyen başka ekipten bir mühendise. Arayüz ve asistanla birlikte Türkçe ve İngilizce çalışır. Her dildeki çıktı kalitesini kendi verinizle deneme sırasında kontrol etmeye değer.

Kendi verinizde deneyebileceğiniz sorular:

• Son bir saatte hata oranı en yüksek uç noktalar hangileri?
• Bugün hangi servislerde dağıtım oldu?
• Ödeme servisindeki gecikme artışından önce ne değişti?

Bu ekranı açıkla

"Bu ekranı açıkla" özelliği her SLO, dağıtım veya anomali üzerinde kullanılabilir. En çok uzmanlık alanınız dışındaki bir şeye bakarken işe yarar. Burn-rate grafiğine bakan bir veritabanı yöneticisi ya da tanımadığı bir anomaliye bakan yeni nöbetçi, ekranın ne gösterdiğini ve neyin olağandışı olduğunu sade bir dille okur. Bu, gece üçte bir iş arkadaşına grafiğin ne anlama geldiğini sormanın önüne geçer. Sistemi öğrenmenin yerini tutmaz. Hızlı okuyan ama bazen yanlış okuyan bir iş arkadaşı gibi görün.

Sizin için uygun olmayabilir

• Çok az servisiniz ve onları iyi tanıyan bir ekibiniz varsa topolojiye dayalı gruplamanın yapacak işi azdır, dil modeli de az şey ekler.
• Boş donanımınız yoksa ve model işletmeye niyetiniz yoksa yapay zekâyı kapatın, ürün buna izin verir. Kapalıyken neyin kaldığını bize sorun.
• Telemetriniz zayıfsa, trace'ler kopuk ve servis adları tutarsızsa önce bunu düzeltin. Kök neden analizi hiç toplanmamış kanıtı bulamaz. Genellikle başlangıç noktası dağıtık izlemedir.

Üreticiden bağımsız arka plan için AIOps nedir yazısını okuyun.

Sık sorulan sorular

Wrentrix veriyi dış bir yapay zekâ servisine gönderir mi?

Hayır. Model kendi altyapınızda çalışır, ağınızdan telemetri veya istem çıkmaz. Dış model olmadan tamamen kapalı ağda da çalışır.

Otomatik üretilen kök nedene güvenebilir miyim?

Bunu hüküm değil, sıralı bir hipotez listesi olarak görün. Her aday tıklanabilir kanıt zinciriyle gelir, mühendis alttaki veriye bakıp doğrulayabilir veya eleyebilir. İyi bildiğiniz geçmiş olayları yeniden oynatmak, kendi ortamınızda ne kadar güveneceğinizi öğrenmenin iyi bir yoludur.

Yapay zekâ asistanı Türkçe çalışıyor mu?

Evet. Arayüz ve asistan Türkçe ve İngilizce kullanılabilir, doğal dille soruları iki dilde de sorabilirsiniz. Her dildeki çıktı kalitesini deneme sırasında kendi verinizle kontrol edin.