RAM artıq ucuz və ya sonsuz mövcud olmadıqda Qlik Sense-nin yaddaş modeli ilə nə baş verir? Biz bunu Qlikin öz sənədlərindən və ağıllı önbelləmə üzrə verilmiş patentimizdən istifadə edərək TURBOARD-ın hibrid memarlığı ilə müqayisə edirik.
Son on ilin çox hissəsində iş kəşfiyyat platformaları rahat bir fərziyyə üzərində qurulmuşdur: yaddaş daha ucuz, daha sıx və problemlərə atılması daha asan olacaq. Bu fərziyyə səssizcə parçalanır. AI infrastruktur binaları qlobal DRAM və HBM təchizatının görünməmiş bir hissəsini mənimsəyir və əsas yaddaş istehsalçıları məhdudiyyətlərin 2026-cı ilə qədər dərinləşəcəyi barədə xəbərdarlıq etdilər. Müəssisə BI komandaları üçün praktik təsir sadədir - analitik platformanızın asılı olduğu RAM daha bahalı, daha mübahisəli və tələbi genişləndirmək daha çətindir.
Bu, vacib olan sualı dəyişdirir.
Ənənəvi BI performans sualı belə idi: Verilənlər bazası yaddaşa uyğun olduqda panel nə qədər sürətlidir? Satıcıların sevdiyi sualdır, çünki cavab demək olar ki, həmişə "çox sürətli" olur. Ancaq artıq bir platformanın istehsalda qalıb-qalmayacağına qərar verən sual deyil. İndi əsl sual budur: Məlumat həcmi artdıqca, eyni vaxtda istifadəçilər çoxaldıqda platforma necə davranır və yaddaş sadəcə daha çox şey ala bilmədiyiniz resursdur?
Bu sualın bu gün bazarda iki fərqli cavabı var. Qlik Sense yetkin yaddaşlı məktəbi təmsil edir - hər şeyi RAM-a yükləyin, orada saxlayın və bir assosiativ mühərrikin yaxınlıqdan sürət çatdırmasına icazə verin. TURBOARD hibrid bir məktəbi təmsil edir - yaddaşı ən çox fayda verən iş yükləri üçün sürətləndirmə təbəqəsi kimi qəbul edin və hər şeyi sütun anbarına və ya iş üçün hazırlanmış canlı mənbələrə yönləndirin.
Hər iki fəlsəfə fəaliyyət göstərir. Maraqlı sual budur ki, ətrafındakı şərtlər dəyişdikcə hansının yaşlanır. Bu yazı, məlumatlar böyüdükcə, istifadəçilər artdıqca və RAM sıxlaşır - Qlik'in öz sənədlərindən və TURBOARD'ın nəşr olunan memarlığından dəlil olaraq nəşr olunan memarlığından istifadə edir.
İki memarlıq, qısa
Qlik Sense QIX assosiativ mühərriki ətrafında qurulmuşdur. Bir tətbiq yükləndikdə, hər dəyəri hər bir dəyəri hər bir digər dəyərlə əlaqələndirən assosiativ strukturlarla birlikdə RAM-da ümumiləşdirilməmiş məlumat dəsti saxlanılır. İstifadəçi seçimləri bu yaddaşdakı strukturları keçərək cavablandırılır və hesablama nəticələri RAM-da önbellemekdir, buna görə sonrakı eyni istəklər dərhal qayıdır.
Qlik-nin öz QVD formatı yükləmə qatını kəskin şəkildə sürətləndirir - Qlik sənədləri QVD digər mənbələrdən oxunduğundan on ilə yüz qat daha sürətli oxuyur - lakin işləmə modeli hələ də işləyən məlumat dəstinin fiziki yaddaşda yaşamasını tələb edir.
TURBOARD fərqli bir yol tutur. Məlumatlara yerli verilənlər bazası sürücülərindən istifadə edərək optimallaşdırılmış canlı bağlantılar və ya MariaDB ColumnStore, ClickHouse və ya Vertica kimi yüksək performanslı bir sütun mağazasına idxal edilə bilər. Tez-tez istifadə olunan sorğu nəticələri yaddaşdakı məlumat quruluşu mağazası olan Redis-də önbelleğe bağlıdır.
Önbeleğe-tetikleyici mexanizmi, önbelli nəticələrin hələ də etibarlı olduqda və mənbənin yenidən sorğulanması lazım olduqda qərar verir. Yaddaş qəsdən, ən çox sürətlənməni istehsal etdiyi iş yükləri üçün - bütün analitik məlumatlar üçün standart ev kimi deyil.
Yuxarıdakı diaqram TURBOARD təbəqələrinin bir-birinə necə uyğun olduğunu göstərir. Yazının qalan hissəsi, ətrafındakı şərtlər daha da çətinləşdikcə hər bir arxitekturanın nə etdiyini araşdırır.
Ədalətli ssenari: Yaddaqalanma zamanı qalib gəldikdə
Aydın deməyə dəyər: Verilənlər bazası RAM-da rahat uyğunlaşdıqda, uyğunluq təvazökar olduqda və ətraf mühit tətbiq üçün ölçüldükdə, Qlik Sense həqiqətən sürətlidir. Sosiativ mühərrik yetkin bir mühəndislik parçasıdır və filtrləri tıklayan və millisaniyədə yenidən hesablamalara baxmaq üçün istifadəçi təcrübəsi, günündə əladır. Departament yerləşdirmələri, diqqət mərkəzində olan analitik tətbiqlər və məlumat modelinin sabit və yaxşı başa düşüldüyü iş yükləri üçün yaddaşdaxili yanaşma əsl gücdür.
Bu, əksər məhsul nümayişlərinin ətrafında qurulduğu ssenaridir. Bu, həm də bir platformanın bir il ərzində istehsala necə davranacağını izah edən ssenaridir, məlumatlar böyüdükdən sonra istifadəçi bazası genişləndi və daha üç tətbiq eyni serverə yerləşdirilib.
Miqyaslandırma ssenarisi: memarlıqların ayrıldığı yer
Qlik-in öz dəstək sənədləri yaddaş modelini ətraflı təsvir edir. Mühərrik, bilinən iki konfiqurasiya edilə bilən hədsə qarşı işləyir Fiziki RAMın 70% və 90% -i standart dəyərləri ilə Aşağı və İş Dəsti Yüksək Səviyyəsi müvafiq olaraq. Aşağı həddin altında mühərrik, istifadə olunmamış yaddaşın boş qalan yaddaşın boş olması prinsipi ilə önbelleğe hesablanması nəticələrini aqressiv şəkildə saxlayır. Aşağı həddi keçdikdən sonra mühərrik yenilərinə yer vermək üçün önbelleğe alınmış nəticələrdən istifadə etməyə başlayır, yaş, ölçü və orijinal hesablama müddətinə görə köçürülməyə üstünlük verir. Yüksək həddi keçdikdən sonra önbelleme effektiv şəkildə dayanır və əməliyyat sisteminin səhifə faylı mühərriki canlı saxlamaq üçün məşğul ola bilər. Qlik-in sənədləri qeyd edir ki, səhifə faylından istifadə performansı əhəmiyyətli dərəcədə azalda bilər.
Bu hədlər arasında baş verənlərin mexanikası hədlərin özlərindən daha çox əhəmiyyət kəsb edir. Çıxarılan hər bir önbelleme nəticəsində bir istifadəçinin növbəti dəfə istədiyi zaman yenidən hesablanması lazımdır. Köçürmə sürətləndikcə hesablama yükü yaddaşdan CPU-ya keçir. Bir çox istifadəçinin eyni zamanda artıq cavabları olmayan hesablamaları işə saldığı yüksək uyğun bir mühitdə, CPU yeni darboğaz olur - və yaddaş təzyiqindən fərqli olaraq, CPU təzyiqi birbaşa istifadəçi görünən gecikmə kimi özünü göstərir: asılan tablolar, tətbiq etmək üçün saniyə çəkən filtrlər, vaxtı sessiyalar.
TURBOARD-ın hibrid yanaşması yükü fərqli şəkildə paylayır. Qeyri-müəyyən məlumat dəstinin RAM-ı işğal etməsinə ehtiyac yoxdur, çünki Sütuar mağazası, analitik sorğulara diskdən səmərəli cavab vermək üçün nəzərdə tutulmuşdur — yalnız sütunları oxumaq, ağır sıxılmadan istifadə edən və on il əvvəl yaddaşda emal tələb edəcək sürətlə toplaşmalara xidmət etmək. Artan yükləmə, sütun mağazasını təkrar tam yükləmələri məcbur etmədən təzə saxlayır, yəni istifadəçilər tam məlumat dəstini RAM-da saxlamaq üçün yaddaş dəyəri olmadan yaxın canlı məlumatları yaşayırlar. Redis cache daha sonra sürətləndirmədən ən çox faydalanan sorğuları sürətləndirir - hər hansı bir real müəssisə yerləşdirilməsində, ümumi sorğu həcminin kiçik bir alt hissəsidir. Növbəti məqalədəBunun səbəbini izah edir.
Canlı məlumatlar: Birbaşa kəşf problemi
Qlik-in mövcud yaddaşı aşan iş yüklərinə cavabı Birbaşa Discovery, ölçü sahələrinin yaddaşa yükləndiyi, ölçü sahələrinin mənbə verilənlər bazasında qaldığı və tələb olunduğu zaman bir rejimdir. Dizayn niyyəti ağlabatandır; sənədləşdirilmiş məhdudiyyətlər əhəmiyyətlidir.
Birbaşa kəşfin sənədləşdirilmiş məhdudiyyətləri (Qlik-in öz yardım materiallarına görə):
- Single paylaşılan verilənlər bazası bağlantısı Bir tətbiqin bütün istifadəçiləri üçün - mənbə verilənlər bazasını yüksək uyğunluq altında su altında saxlaya bilər.
- Yaradılmış SQL optimallaşdırılmamışdır; Yazılı cədvəllər və Birbaşa Kəşf masaları arasında birləşmələr verilənlər bazası sorğu buferlərini gərginləşdirən çox böyük IN bəndləri istehsal edə bilər.
- Bir sıra əsas analitik imkanlar dəstəklənmir, Set Analysis, Insight Advisor, və Dynamic Views daxil olmaqla.
- Əlavə inkişaf planlaşdırılmır Bu məhdudiyyətləri həll etmək üçün, Qlik'in öz bəyanatına görə.
TURBOARD üçün canlı bağlantı yaddaş təzyiqi üçün bir iş deyil. Bu, memarlıqnın birinci dərəcəli hissəsidir. Yerli verilənlər bazası sürücüləri - ümumi ODBC əlaqələri əvəzinə - Apache Kudu kimi böyük məlumat platformaları da daxil olmaqla mənbə sistemlərinə birbaşa, yüksək performanslı giriş təmin edir. Önbelleğe-tetikleyici mexanizmi mənbə verilənlər bazasının hər bir istifadəçi klikinə vurulmasının qarşısını alır: TURBOARD təyin olunmuş bir tetikleyici sahəni (məsələn, son yenilənmiş vaxt cədvəli) izləyir və əsas məlumatlar dəyişmədikdə Redis-dən önbelleği nəticələrə xidmət edir, mənbəyə yalnız tetikleyici məlumatların mövcud olduğunu göstərir. Qabaqcıl analitik xüsusiyyətlər bir widgetın önbellende, sütun mağazasından və ya canlı mənbədən oxunmasından asılı olmayaraq tam olaraq mövcuddur. Bir panel hər üçünü güzəştə getmədən qarışdıra bilər.
Pareto anlayışı və onu qoruyan patent
Hər hansı bir müəssisə BI yerləşdirilməsində istifadəçi davranışı proqnozlaşdırıla bilən bir nümunəni izləyir. İstifadəçilərin təxminən 80% -i dəfələrlə eyni əsas tablosuna qayıdır — icra xülasələri, aylıq performans hesabatları, regional yayımlar. Qalan 20% -i, heç vaxt eyni formada bir daha işlənə bilməyən ad-hoc sorğularını yerinə yetirən güc istifadəçiləridir. Yaddaşın idarə edilməsi üçün təsir birbaşadır: bütün önbelleğe alınmış nəticələr eyni dərəcədə qiymətli deyil və onlara ekvivalent kimi davranan bir sistem ən bahalı resursunu israf edir.
Qlik-in köçürülmə modeli davranış korudur. Örtüklü nəticələr yaş, ölçü və orijinal hesablama müddətinə əsasən silinir - həqiqi istifadəçilərin əslində nə qədər tez-tez tələb etdiyinə görə deyil. Yaddaş doldurulduqda, mühərrik bütün icra komandasının hər səhər yoxlamasını bu yaxınlarda önbelleğe alınmış bir sorğudan ayıra bilmir.
TURBOARD əks yanaşma tətbiq edir. Hər dəfə bir hesabat baxıldıqda, populyarlıq balı Redis Çeyidilmiş Dəstdə artır - bu cür sıralanmış giriş nümunəsi üçün hazırlanmış bir məlumat quruluşu. Sistem, hesabatların əslində istifadə edildiyi davamlı bir lider lövhəsini saxlayır və yaddaş sıx olduqda önbellekdə nə olduğuna qərar vermək üçün bu lider lövhəsindən istifadə edir. Ən çox tələb olunan hesabatlar Redis-də qorunur, burada onlardan asılı olan istifadəçilərin əksəriyyətinə sıfır gecikmə ilə qayıdırlar. Önbelleği qaçıran güc istifadəçi sorğuları sütun mağazasına və ya canlı mənbəyə yönəldilir - hər ikisi də yüksək dəyərli önbelleğe alınmış məzmunu yerləşdirmədən bu sorğulara tez cavab vermək üçün hazırlanmışdır.
İstifadəçi Vərdişlərinə Uyğunlaşma ilə Süni İntellektlə Gücləndirilmiş Sürətli Axtarış Nəticəsi Ekran Sistemi
Bu mexanizm müəyyən edilmiş bir patentin mövzusudur. Sistem 2022-ci ildə E-Kalite (TURBOARD'ın ana şirkəti) tərəfindən təqdim edilmiş və 2025-ci ildə verilmişdir. Patent istifadəçi interfeysində məlumat ekranının sürətləndirilməsi, giriş/çıxış yükləmə müddətlərini qısaltmaq və məlumatların saxlanması və məlumat ötürülməsi aparatlarına giriş tezliyini azaltmaq üsulunu əhatə edir - başqa sözlə, istifadə əsaslı qol, ağıllı önbelleğin yenilənməsi və TURBOARD-a sırf yaddaş sahəsindəki arxivləri əhatə edəcək yaddaş büdcələrində müəssisə iş yüklərinə xidmət etməyə imkan verir.
Strateji nöqtə sadədir: Yaddaş bol olduqda, davranış kor-korança tutmaq sizə səmərəlilik sərf edir. Yaddaş az olduqda, performansınıza başa gəlir.
Yan-yana
| Sual | Qlik Sense Yanaşması | TURBOARD Yanaşması |
|---|---|---|
| Məlumatlar iş vaxtı harada yaşayır? | RAM-da, tam | sütun mağazasında və ya canlı mənbədə; nəticələr Redis-də seçici şəkildə önbelleğlənmişdir |
| Yaddaş doldurulduqda nə baş verir? | Yaş/zehinə görə Cache köçürülməsi, sonra səhifə faylı | Davranış hesablı saxlama; sütun və ya canlı mənbədən xidmət edilən daşqın |
| Təkrar istifadə necə aparılır? | Xatirədaxili nəticə önbelleği, kor-koranədən çıxarıldı | Redis cache, istifadə hesabı ilə saxlanılır (patented) |
| Məlumatların təzəliyi necə saxlanılır? | RAM-a tam və ya QVD artımlı yenidən yükləmələr | Artan sütun yükləri + cache triggers |
| Canlı suallar necə idarə olunur? | Birbaşa kəşf, sənədləşdirilmiş məhdudiyyətlərlə | Yerli sürücülər, tam analitik saxlanılır |
| Miqyas fəlsəfəsi | Daha çox yaddaş təmin edin | Yaddaşı seçici şəkildə istifadə edin, qalanları yönləndirin |
Nəticə
Qlik Sense bacarıqlı bir yaddaş analitik platforması olaraq qalır və müəyyən edilmiş şəraitdə - məhdud məlumat dəstləri, proqnozlaşdırıla bilən uyğunluq, səxavətli yaddaş təminatı - yaxşı çıxış edir. Bu yazıya cavab verməyə çalışdığı sual, bu şərtlərin qarşılanması daha çətinləşdikcə nə baş verdiyidir. Məlumat həcmi azalmayıb. Uyğunluq gözləntiləri rahat deyil. Yaddaşın dəyəri və mövcudluğu, uzun müddət ərzində ilk dəfə səhv istiqamətdə hərəkət edir.
TURBOARD memarlığı, BI performansının növbəti onilliyində platformalar tərəfindən qazanılacaq bir bahisdir Yaddaşı bolca deyil, ağıllı şəkildə istifadə edin. Hibrid məlumatlara giriş, sütunlu saxlama, yerli canlı bağlantı və patentləşdirilmiş istifadə hesablı önbelleği TURBOARD-a sırf yaddaşdakı memarlıqların içəridə yaşamaq üçün mübarizə apardığı yaddaş büdcələrində müəssisə miqyaslı performans təqdim etməsinə imkan verir.
Artan məlumatların toqquşması, uyğunsuzluğun artması və hardware iqtisadiyyatının sərtləşdirilməsi ilə üzləşən təşkilatlar üçün yanaşma fərqi artıq akademik deyil. Bu, bizneslə tərəziyə çıxan bir platforma ilə satınalma büdcəsi ilə tərəziyə çıxan bir platforma arasındakı fərqdir.
Fərqi görməyə hazırsınız?
Qlikense-ni qiymətləndirirsinizsə və ya artıq onu işlədirsinizsə və bu yazıda təsvir olunan yaddaş təzyiqini hiss etməyə başlayırsınızsa - TURBOARD-ın hibrid memarlığının eyni iş yükünü necə idarə etdiyini göstərmək istərdik.
Komandamızla bir gəzinti sifariş edin və platformanı öz məlumatlarınızla hərəkətdə görün. Heç bir təzyiq yoxdur — xüsusi ehtiyaclarınız üçün uyğun olanı tapmağı üstün tuturuq.
Siz həmçinin bizimkiləri araşdıra bilərsiniz Tam BI Müqayisə Daha çox müəssisə ssenarilərini necə yığdığımızı görmək üçün səhifə.
Bloqlar
Real bir biznes sualı gətirin. TURBOARD-un necə cavab verdiyini görün.
JAS-ı ümumi nümunə bazasında deyil; sizin hesabatlarınız, tərifləriniz və təhlükəsizlik kontekstiniz üzərində nümayiş etdiririk.