BI yaddaş həddinə çatanda: məhdud RAM dövründə performansa yenidən baxış

Titiana Shabsough / TURBOARD Marketing Specialist · 2026/05/08

Arxitekturaların müqayisəsi

RAM artıq ucuz və ya sonsuz mövcud olmadıqda Qlik Sense-nin yaddaş modeli ilə nə baş verir? Biz bunu Qlikin öz sənədlərindən və ağıllı keşləmə üzrə verilmiş patentimizdən istifadə edərək TURBOARD-ın hibrid memarlığı ilə müqayisə edirik.

Son on ilin böyük hissəsində biznes analitikası platformaları rahat bir fərziyyəyə əsaslanırdı: yaddaş ucuzlaşacaq, tutumu artacaq və problemləri daha çox yaddaş əlavə etməklə həll etmək asanlaşacaq. Bu fərziyyə artıq zəifləyir. AI infrastrukturunun qurulması qlobal DRAM və HBM təchizatının görünməmiş hissəsini istehlak edir. Əsas yaddaş istehsalçıları məhdudiyyətlərin 2026 boyunca dərinləşə biləcəyini bildirirlər. Korporativ BI komandaları üçün nəticə sadədir: analitik platformanın asılı olduğu RAM bahalaşır, ona tələb artır və tələbə uyğun artırılması çətinləşir.

Bu, vacib olan sualı dəyişdirir.

Ənənəvi BI performans sualı belə idi: məlumat dəsti yaddaşa sığanda panel nə qədər sürətlidir? Təchizatçılar bunu sevir, çünki cavab adətən “çox sürətli” olur. Lakin platformanın real istismar şəraitində dayanıqlığını artıq bu sual müəyyən etmir. Əsl sual budur: məlumat həcmi və eyni vaxtda istifadəçi sayı artanda, daha çox yaddaş almaq mümkün olmayanda platforma necə davranır?

Bu suala bazarda iki fərqli yanaşma var. Qlik Sense yetkin yaddaşdaxili yanaşmanı təmsil edir: hər şeyi RAM-a yükləmək, orada saxlamaq və assosiativ mühərrikin sürətli çıxışından yararlanmaq. TURBOARD isə hibrid yanaşma seçir: yaddaşı ən çox fayda qazandırdığı iş yükləri üçün sürətləndirmə təbəqəsi kimi istifadə etmək, qalanlarını sütun əsaslı saxlama sisteminə və ya uyğun canlı mənbələrə yönləndirmək.

Hər iki yanaşma işləyir. Maraqlı sual şərait dəyişdikcə hansının daha dayanıqlı olmasıdır. Bu yazı məlumatlar böyüdükcə, istifadəçilər artdıqca və RAM qıtlaşdıqca hər arxitekturada baş verənləri Qlik-in öz sənədləri və TURBOARD-ın dərc edilmiş arxitekturası əsasında araşdırır.

İki memarlıq, qısa

Qlik Sense — Yaddaşdaxili

Qlik Sense QIX assosiativ mühərriki üzərində qurulub. Tətbiq yüklənəndə toplulaşdırılmamış məlumat dəsti və dəyərlər arasındakı əlaqələri saxlayan assosiativ strukturlar RAM-da yerləşir. İstifadəçi seçimləri bu strukturların keçilməsi ilə emal olunur. Hesablama nəticələri də RAM-da keşlənir ki, sonrakı eyni sorğulara dərhal cavab verilsin.

Qlik-in QVD formatı yükləmə təbəqəsini ciddi sürətləndirir: sənədlərə görə QVD-dən oxuma digər mənbələrdən oxumadan on-yüz dəfə sürətlidir. Bununla belə, işləmə zamanı model aktiv məlumat dəstinin fiziki yaddaşda saxlanmasını tələb edir.

TURBOARD — Hibrid

TURBOARD fərqli yol seçir. Məlumatlara verilənlər bazalarının doğma drayverləri ilə optimallaşdırılmış canlı bağlantılar vasitəsilə daxil olmaq və ya onları MariaDB ColumnStore, ClickHouse və Vertica kimi yüksək performanslı sütun əsaslı saxlama sisteminə idxal etmək mümkündür. Tez-tez istifadə olunan sorğu nəticələri yaddaşdaxili məlumat strukturları anbarı olan Redis-də keşlənir.

Keş tetikleyicisi mexanizmi keşlənmiş nəticələrin nə vaxt hələ etibarlı olduğunu və mənbənin nə vaxt yenidən sorğulanmalı olduğunu müəyyən edir. Yaddaş bütün analitik məlumatlar üçün standart saxlama yeri kimi deyil, ən çox sürət qazandırdığı iş yükləri üçün məqsədli istifadə olunur.

TURBOARD-ın hibrid memarlığı
TURBOARD-ın hibrid memarlığı: canlı və toplu əlaqələr, sütunlu saxlama və ağıllı bir yaddaş təbəqəsi.

Yuxarıdakı diaqram TURBOARD təbəqələrinin bir-birinə necə uyğun olduğunu göstərir. Yazının qalan hissəsi, ətrafındakı şərtlər daha da çətinləşdikcə hər bir arxitekturanın nə etdiyini araşdırır.

Ədalətli ssenari: yaddaşdaxili yanaşmanın üstün olduğu hal

Açıq demək lazımdır: məlumat dəsti RAM-a rahat sığanda, eyni vaxtda istifadəçi sayı çox olmayanda və mühit tətbiqə uyğun ölçüləndə Qlik Sense həqiqətən sürətlidir. Assosiativ mühərrik yetkin texnologiyadır. Filtrlərə klikləyib toplulaşdırmaların millisaniyələrdə yenidən hesablanmasını görmək uyğun şəraitdə əla təcrübə yaradır. Departament səviyyəli tətbiqlər və sabit, aydın məlumat modeli olan iş yükləri üçün yaddaşdaxili yanaşma real üstünlükdür.

Məhsul nümayişlərinin əksəriyyəti bu ssenari üzərində qurulur. Amma məlumatlar böyüdükdən, istifadəçilər artdıqdan və eyni serverə daha üç tətbiq yerləşdirildikdən sonra platformanın bir illik real istismarda necə davranacağını ən az göstərən ssenari də budur.

Miqyaslandırma ssenarisi: memarlıqların ayrıldığı yer

Qlik-in dəstək sənədləri yaddaş modelini ətraflı izah edir. Mühərrik fiziki RAM-ın müvafiq olaraq 70% və 90%-i olan Working Set Low və Working Set High adlanan iki tənzimlənən hədlə işləyir. Aşağı həddin altında istifadə olunmayan yaddaşın israf sayılması prinsipinə əsasən hesablamaların nəticələrini keşdə fəal saxlayır. Aşağı hədd keçildikdə yeni nəticələrə yer açmaq üçün köhnə nəticələr yaşına, həcminə və ilkin hesablama müddətinə görə keşdən çıxarılır. Yuxarı hədd keçildikdə keşləmə faktiki dayanır və mühərrikin işləməsi üçün əməliyyat sisteminin səhifələmə faylı işə düşə bilər. Qlik sənədləri səhifələmə faylından istifadənin performansı ciddi azalda biləcəyini bildirir.

Hədlərin özündən daha vacibi onların arasında baş verən prosesdir. Keşdən çıxarılan hər nəticə istifadəçi onu yenidən istədikdə təkrar hesablanmalıdır. Çıxarılma sürətləndikcə hesablama yükü yaddaşdan CPU-ya keçir. Çoxsaylı istifadəçilər eyni vaxtda keşdə nəticəsi qalmayan hesablamaları başladıqda CPU yeni darboğaza çevrilir. CPU yükü istifadəçiyə birbaşa gecikmə kimi görünür: donan panellər, tətbiqi saniyələr çəkən filtrlər və vaxtı bitən sessiyalar.

Əsas məsələ odur ki, bunların heç biri səhv deyil. Bu, yaddaşın analitiklərin yaşamalı olduğu yer olduğu fərziyyəsi ətrafında hazırlanmış bir mühərrikin sənədləşdirilmiş, nəzərdə tutulan davranışıdır. Bu fərziyyəyə sahib olduqda, dizayn zərifdir. Yaddaş məhdud mənbəyə çevrildikdə, dizaynın getməyə yeri yoxdur.

TURBOARD-ın hibrid yanaşması yükü fərqli bölüşdürür. Toplulaşdırılmamış məlumat dəstinin RAM-da saxlanması tələb olunmur: sütun əsaslı saxlama sistemi yalnız sorğuda istifadə olunan sütunları oxuyur, güclü sıxılmadan yararlanır və on il əvvəl yaddaşdaxili emal tələb edən sürətlə toplulaşdırma aparır. Artımlı yükləmə təkrar tam yükləmələr olmadan məlumatları aktual saxlayır. İstifadəçilər bütün məlumat dəstini RAM-da saxlamaq xərci olmadan canlıya yaxın məlumat əldə edirlər. Redis keşi isə sürətləndirmədən ən çox faydalanan sorğuları sürətləndirir; bunlar ümumi sorğu həcminin kiçik hissəsidir. Növbəti bölmə bunun səbəbini izah edir.

Canlı məlumatlar: Direct Discovery problemi

Qlik-in mövcud yaddaşı aşan iş yükləri üçün cavabı Direct Discovery-dir: bu rejimdə ölçü kateqoriyası sahələri yaddaşa yüklənir, göstərici sahələri isə mənbə verilənlər bazasında qalır və tələbə görə sorğulanır. Dizaynın məqsədi məntiqlidir, lakin sənədləşdirilmiş məhdudiyyətlər əhəmiyyətlidir.

Direct Discoveryin sənədləşdirilmiş məhdudiyyətləri (Qlik-in öz yardım materiallarına görə):

  • Single paylaşılan verilənlər bazası bağlantısı Bir tətbiqin bütün istifadəçiləri üçün - mənbə verilənlər bazasını yüksək uyğunluq altında su altında saxlaya bilər.
  • Yaradılmış SQL optimallaşdırılmamışdır; Yazılı cədvəllər və Direct Discovery masaları arasında birləşmələr verilənlər bazası sorğu buferlərini gərginləşdirən çox böyük IN bəndləri istehsal edə bilər.
  • Bir sıra əsas analitik imkanlar dəstəklənmir, Set Analysis, Insight Advisor, və Dynamic Views daxil olmaqla.
  • Əlavə inkişaf planlaşdırılmır Bu məhdudiyyətləri həll etmək üçün, Qlik'in öz bəyanatına görə.

TURBOARD üçün canlı bağlantı yaddaş çatışmazlığından çıxış yolu deyil, arxitekturanın əsas hissəsidir. Ümumi ODBC bağlantıları əvəzinə verilənlər bazalarının doğma drayverləri Apache Kudu kimi böyük məlumat platformaları da daxil olmaqla mənbələrə birbaşa, yüksək performanslı çıxış verir. Keş tetikleyicisi hər istifadəçi klikində mənbənin sorğulanmasının qarşısını alır: TURBOARD müəyyən tetikleyici sahəni, məsələn son yenilənmə vaxtını izləyir. Məlumatlar dəyişməyibsə Redis-dəki nəticələri təqdim edir, yalnız yeni məlumat olduqda mənbəni sorğulayır. Vidcet keşdən, sütun əsaslı anbardan və ya canlı mənbədən oxumasından asılı olmayaraq bütün qabaqcıl analitik imkanlarını saxlayır. Bir panel hər üçündən birlikdə istifadə edə bilər.

Pareto anlayışı və onu qoruyan patent

Korporativ BI sistemlərində istifadəçilər adətən təkrarlanan davranış nümunəsi göstərirlər. Təxminən 80% istifadəçi eyni əsas panellərə — rəhbərlik xülasələrinə, aylıq performans hesabatlarına və regional yekunlara qayıdır. Qalan 20% isə eyni formada bir daha işlədilməyə biləcək xüsusi sorğular yaradan təcrübəli istifadəçilərdir. Nəticə aydındır: bütün keş nəticələri eyni dəyərdə deyil və hamısına eyni yanaşmaq ən bahalı resursu israf edir.

Qlik-in keşdən çıxarma modeli istifadəçi davranışını nəzərə almır. Nəticələr istifadə tezliyinə deyil, yaşına, həcminə və ilkin hesablama müddətinə görə silinir. Yaddaş dolduqda mühərrik rəhbərliyin hər səhər açdığı paneli yenicə keşlənmiş birdəfəlik sorğudan ayıra bilmir.

TURBOARD əks yanaşma seçir. Hər hesabat açıldıqda onun populyarlıq balı Redis Sorted Set daxilində artırılır. Sistem hesabatların faktiki istifadəsinə dair yenilənən sıralama saxlayır və yaddaş qıtlaşanda keşdə nə qalacağını buna görə seçir. Ən çox tələb olunan hesabatlar Redis-də qorunur və onlardan asılı istifadəçilərə sıfır gecikmə ilə təqdim olunur. Keşdə nəticəsi olmayan təcrübəli istifadəçi sorğuları sütun əsaslı anbara və ya canlı mənbəyə yönləndirilir. Hər ikisi dəyərli keş məzmununu çıxarmadan bu sorğulara sürətli cavab vermək üçün hazırlanıb.

Verilən Patent

İstifadəçi Vərdişlərinə Uyğunlaşma ilə Süni İntellektlə Gücləndirilmiş Sürətli Axtarış Nəticəsi Ekran Sistemi

Bu mexanizm verilmiş patentin mövzusudur. Sistem üçün E-Kalite (TURBOARD-ın ana şirkəti) 2022-ci ildə müraciət edib və patent 2025-ci ildə verilib. Patent istifadəçi interfeysində məlumatın göstərilməsini sürətləndirmək, giriş/çıxış yükləmə müddətini qısaltmaq və məlumat saxlayan və ötürən avadanlığa müraciət tezliyini azaltmaq üsulunu əhatə edir. Buraya istifadəyə əsaslanan ballandırma, ağıllı keş yeniləməsi və məlumatın köhnəlməsinin tetikleyici ilə aşkarlanması daxildir. Bu birləşmə TURBOARD-a sırf yaddaşdaxili arxitekturaları səhifələmə faylına yönəldə biləcək yaddaş büdcələri ilə korporativ iş yüklərini emal etməyə imkan verir.

Strateji məqam sadədir: yaddaş bol olduqda davranışı nəzərə almayan keşləmə səmərəliliyi azaldır. Yaddaş qıt olduqda isə performansı azaldır.

Yan-yana

Sual Qlik Sense Yanaşması TURBOARD Yanaşması
Məlumatlar iş vaxtı harada yaşayır? RAM-da, tam Sütun əsaslı anbarda və ya canlı mənbədə; nəticələr Redis-də seçici keşlənir
Yaddaş doldurulduqda nə baş verir? Yaşa və həcmə görə keşdən çıxarma, sonra səhifələmə faylı İstifadə davranışına görə saxlama; artıq sorğular sütun əsaslı anbara və ya canlı mənbəyə yönləndirilir
Təkrar istifadə necə aparılır? Yaddaşdaxili nəticə keşi, istifadəyə baxılmadan çıxarılır Redis keşi, istifadə balına görə saxlanır (patentli)
Məlumatların təzəliyi necə saxlanılır? RAM-a tam və ya QVD artımlı yenidən yükləmələr Sütun əsaslı anbara artımlı yükləmə + keş tetikleyiciləri
Canlı sorğular necə emal olunur? Direct Discovery, sənədləşdirilmiş məhdudiyyətlərlə Yerli sürücülər, tam analitik saxlanılır
Miqyas fəlsəfəsi Daha çox yaddaş təmin edin Yaddaşı seçici şəkildə istifadə edin, qalanları yönləndirin

Nəticə

Qlik Sense güclü yaddaşdaxili analitik platforma olaraq qalır. Məhdud məlumat dəstləri, proqnozlaşdırılan eyni vaxtda istifadə və kifayət qədər yaddaş kimi nəzərdə tutulduğu şəraitdə yaxşı işləyir. Bu yazının sualı həmin şərtləri təmin etmək çətinləşəndə nə baş verməsidir. Məlumat həcmi azalmır, eyni vaxtda istifadəyə tələblər aşağı düşmür. Uzun müddətdən sonra ilk dəfə yaddaşın qiyməti və əlçatanlığı da əlverişsiz istiqamətdə dəyişir.

TURBOARD arxitekturası gələcək onillikdə BI performansının yaddaşı çox deyil, ağıllı istifadə edən platformalar hesabına qazanılacağına əsaslanır. Hibrid məlumat çıxışı, sütun əsaslı saxlama, doğma canlı bağlantılar və patentli istifadə balına əsaslanan keş TURBOARD-a sırf yaddaşdaxili arxitekturaların çətinlik çəkdiyi yaddaş büdcələri ilə korporativ miqyaslı performans verməyə imkan yaradır.

Artan məlumat həcmi, eyni vaxtda istifadəçi sayının çoxalması və avadanlıq resurslarına çıxışın çətinləşməsi ilə üzləşən təşkilatlar üçün bu fərq artıq nəzəri deyil. Bu, bizneslə birlikdə miqyaslanan platforma ilə satınalma büdcəsi hesabına miqyaslanan platforma arasındakı fərqdir.

Fərqi görməyə hazırsınız?

Qlik Sense-i qiymətləndirirsinizsə və ya artıq onu işlədirsinizsə və bu yazıda təsvir olunan yaddaş təzyiqini hiss etməyə başlayırsınızsa - TURBOARD-ın hibrid memarlığının eyni iş yükünü necə idarə etdiyini göstərmək istərdik.

Komandamızla tanışlıq nümayişi planlaşdırın və platformanı öz məlumatlarınızla iş başında görün. Təzyiq yoxdur — sizin ehtiyaclarınıza uyğun həlli tapmağınızı istəyirik.

Digər korporativ ssenarilərdə necə müqayisə olunduğumuzu görmək üçün Tam BI Müqayisəsi səhifəmizə də baxa bilərsiniz.

Real bir biznes sualı gətirin. TURBOARD-un necə cavab verdiyini görün.

JAS-ı ümumi nümunə bazasında deyil; sizin hesabatlarınız, tərifləriniz və təhlükəsizlik kontekstiniz üzərində nümayiş etdiririk.

Are you curious?