Jak navrhnout srovnávací experiment k vyhodnocení výkonu algoritmu

Řízení jedné proměnné, řešení základních scénářů a měření odchylek ve výsledcích jsou základními součástmi vytváření srovnávacího experimentu. Následuje komplexní a funkční proces návrhu:

 

I. Nastavení experimentu: Vysvětlení řízení proměnných a seskupování

1. Návrh seskupení (jasné ovládání)

Je nutné sestavit testovací skupinu a základní kontrolní skupinu. V případě potřeby lze přidat další kontrolní skupiny:

Skládání dohromady

Popis seskupení

Cíle

Kontrolní skupina na základní linii

používá konvenční algoritmy, které se v současnosti používají, jako je metoda porovnávání pevných prahů.

nabízí výkonnostní standard pro srovnání důsledků optimalizace.

Testovací skupina

Použije nový algoritmus, který chcete potvrdit, jako je například kombinovaný algoritmus s fázovanou dynamickou + 3σ + EWMA.

vyhodnotí skutečný výkon nového algoritmu.

Mezilehlá kontrolní skupina je volitelná.

využívá přístup částečné optimalizace (např. pouze stupňovaný dynamický práh, žádná adaptivní aktualizace).

rozebírá a potvrzuje jedinečný zisk každého optimalizačního modulu.

2. Přísně regulujte nedůležité faktory (pro zajištění spravedlnosti)

Chcete-li odstranit interferenci z -algoritmických faktorů, musí všechny skupiny splňovat následující požadavky:

Hardware je naprosto stejný: stejné PLC pro sběr dat, stejné místo instalace a stejný pár senzorů.

Výrobní linka, produkt a parametry procesu jsou všechny naprosto stejné a během testování nejsou prováděny žádné úpravy procesu.

Testovací cykly musí být pro obě skupiny naprosto stejné (doporučuje se neustále testovat alespoň dva týdny, aby byly pokryty dostatečné výrobní cykly).

 

II. Vytvoření tří základních testovacích scénářů, které zahrnují každý aspekt výkonu

Speciálně vytvořené scénáře pro důkladné potvrzení dlouhodobé{0}}stability algoritmu, falešných poplachů a zmeškaných poplachů:

1. Tradiční výrobní test proti rušení- (ověření jádra frekvence falešných poplachů)

Metodika testování: Standardní kontinuální výroba; upozornění spouštěná algoritmem-jsou zaznamenána a legitimita každého alarmu je osobně potvrzena.

Statistickým cílem je určit četnost falešných poplachů obou skupin a porovnat snížení po optimalizaci.

Kritéria posouzení: Efektivní optimalizace je prokázána snížením četnosti falešných poplachů alespoň o 60 % ve srovnání se základní kontrolní skupinou.

2. Test simulace umělé chyby (ověření falešně negativní frekvence a rychlosti odezvy)

Každý z následujících tří typických problémů průmyslových senzorů je záměrně vytvořen a testován třikrát:

Typ poruchy

Metoda simulace

Indikátor ověření

Přijímací standardy

Okamžitý úlet rušení

Dejte jednomu senzoru okamžitý offset 0,1 % FS, poté se obnovte po jedné sekundě.

Falešné varování

Není vhodné spouštět alarm.

Neustálé pomalé stárnutí

Každý den aplikujte posun 0,01 % FS na jeden senzor až do 0,1 % FS.

Včasnost alarmu a falešně negativní sazba

100% detekce a žádné falešné poplachy jsou přijatelné.

Krok-jako náhlý posun

Dejte jednomu senzoru spojitý offset 0,2 % FS.

Zpoždění odezvy na poplach

Zpoždění menší než deset sekund se považuje za přijatelné.

3. Test dlouhodobé-adaptability stárnutí (potvrzení dlouhodobé-stability)

Testovací metoda: Měsíční výpočet četnosti falešných poplachů; nepřetržitý provoz po dobu tří měsíců bez ručních úprav parametrů.

Statistický cíl: Zjistěte, jak se během prvních tří měsíců změnila četnost falešných poplachů.

Kritérium vyhovění: Nový algoritmus je považován za vyhovující, pokud je jeho četnost falešných poplachů menší nebo rovna 2 %, což je mnohem méně než u základní kontrolní skupiny.

 

III. Statistika dat a vyhodnocení výsledků

Pro dosažení definitivních závěrů se statistické údaje shromažďují v souladu se zavedenými protokoly:

Kompletní záznam nezpracovaných dat: Čas, fáze procesu, hodnota odchylky a pokud byla spuštěna výstraha, jsou všechny uloženy v definované tabulce. Autenticita alarmů je pečlivě označena.

Výpočet základního indikátoru: Pro výpočet falešných poplachů se používá standardní vzorec. Rychlost změny průměrné doby odezvy, četnosti falešných poplachů, četnosti falešných negativních výsledků a četnosti falešných poplachů

Stanovení významnosti: Pokud míra falešných poplachů nového algoritmu klesne alespoň o 60 % ve srovnání se základní linií a míra falešných negativních výsledků je nižší než 1 %, je zřejmé, že výkon je lepší (technický scénář je dostatečně přesný).

Pomocí testu chí{0}}kvadrátů potvrďte, zda je změna malá: str<0.05 shows that the difference is genuine and effective rather than a random fluctuation.

 

IV. Bezpečnostní opatření pro experimenty

Neměňte současně algoritmus a hardware. Výsledky nebudou definitivní, pokud se nezmění algoritmus.

Příliš malý vzorek bude mít za následek statistické chyby, takže testovací období by nemělo být kratší než jeden týden.

Každý alarm je třeba ručně zkontrolovat. Abyste předešli statistickému zkreslení, nepoužívejte přímo výsledky klasifikace algoritmu.