alkalmas automatikus módszer kidolgozása a Hat Szigma módszerével

Átírás

1 ÁLTALÁNOS ÉS IRÁNYÍTÁSI KÉRDÉSEK A pénzügyi problémák feltárására alkalmas automatikus módszer kidolgozása a Hat Szigma módszerével Tárgyszavak: Tárgyszavak: Hat Szigma; könyvelés; vállalatvezetés; menedzsment; pénzügy; számvitel; ellenőrzés. A pénzügyi szabálytalanságok előrejelzésének igénye Az Egyesült Államokban a közelmúltban sok vállalat omlott össze azért, mert az Értékpapír és Tőzsdei Bizottság (Securities and Exchange Commission, SEC) a pénzügyi beszámolók meghamisításával vádolta őket, majd a vizsgálatok átfogó és hosszú ideje folytatott vállalatvezetési csalásokat tártak fel. Mivel ezek a cégek sikeresen tudták leplezni pénzügyi nehézségeiket, sőt, jó időn át stabil pénzügyi helyzet látszatát tudták kelteni, a befektetők és hitelezők most olyan módszereket keresnek, amelyekkel még a bevételek elkerülhetetlen visszaesése, majd a törvényszerűen bekövetkező médiabotrány és csőd előtt fel lehet ismerni a meghamisított pénzügyi beszámolókat. A pénzügyi visszaesés gyakran azért elkerülhetetlen, mert a szervezeti problémák nem derülnek ki abból a néhány pénzügyi mutatóból, amelyet a befektetők és hitelezők általában vizsgálnak. A vállalatok pénzügyi helyzetének ez a szűk látókörű vizsgálata még a nyilvánosság elé tárt adatok minőségének javítása érdekében hozott ún. Sarbanes-Oxley törvény 2002-es elfogadása után is számos problémával járhat, amelyek következménye az adott vállalat pénzügyi helyzetének téves értékelése lehet. A kérdéssel foglalkozó szakirodalomban kidolgozták már a figyelmeztető jelzések jegyzékét, amely tételesen felsorolja azokat a mutatókat, amelyeket a vállalatok pénzügyi kilátásainak elemzésekor figyelembe kell venni. Az ilyen jellegű technikák azonban erősen szubjektív jellegűek, és olyan nagy mennyiségű információ gyűjtését és feldolgozását teszik szükségessé, amire gyakorlatilag nincs lehetőség.

2 A cégek hanyatlására és a pénzügyi beszámolók meghamisítására utaló jelzések jegyzéke igen kiterjedt, és számos információforrást érint. Meghatározásuk érdekében a következőkben ismertetésre kerülő módszer kidolgozói részletesen tanulmányozták a hamis mérlegekre és pénzügyi beszámolókra vonatkozó esetleírásokat és elemző tanulmányokat. Ezek alapján állították össze az 1. táblázatban látható jegyzéket. Nincs azonban módszeres és objektív eljárás annak meghatározására, hogy adott pénzügyi mutatószám, pl. egy leírás vagy a bennfentes kereskedelem mintája nagymértékű vagy szokatlan-e. A gyanút keltő eltérések pontos meghatározására ezért csak az egyes mutatószámoknak a vizsgált vállalat múltbeli vagy az adott ágazatban szokásos ingadozásaival való összevetésével van lehetőség. A Hat Szigma hatékony módszer ennek a feladatnak a megoldására: alkalmazásával a beruházók és hitelezők nagy valószínűséggel meg tudják határozni azokat a vállalatokat, amelyek meghamisítják pénzügyi adataikat és amelyek pénzügyi teljesítménye hanyatlik. 1. táblázat A csalásokat és pénzügyi hanyatlást jelző piros zászlók Piros zászló Pénzügyi beszámoló 10-K/10-Q éves kimutatás Hírek a médiában 4-es adatlap 8-K adatlap A 16 kritikus mutató Cash flow és nettó jövedelem Gyakori felvásárlások Gyakori egyszeri számlázások és tartalékok Romló haszonkulcsok Bennfentes kereskedelem Az igazgatótanács szerkezete Igazgatói részvények Az ágazatra nem jellemző eredmények A ki nem számlázott követelések növekedése Megnövekedett amortizációs időszak Stratégiai partnerség az időszak végén kötött üzletekkel A halasztott árbevételek megszűnése A készletállomány gyors növekedése Igazgatók elbocsátása, nyugdíjazása, kilépése

3 Az 1. táblázat folytatása Piros zászló Az értékesítéshez viszonyított éves jövedelem hirtelen megugrása Pénzügyi beszámoló 10-K/10-Q éves kimutatás Hírek a médiában 4-es adatlap 8-K adatlap A 16 kritikus mutató Szokatlanul nagy tőkekiadások A vállalatra nem jellemző arányok Az ágazat hanyatlása A cash flow nincs korrelációban a jövedelmekkel Pénzügyekből vagy műveletekből származó források vagy készpénzfelhasználás Változások a felső vezetésben Az ágazatban szokatlan értékűek a mérlegadatok/teljes eszközök hányadosok Az árbevételhez viszonyított halasztott árbevételek növekvő mérlege Növekvő értékesítés kapcsolódó felek felé Romló hitelfelvételi lehetőségek, magas kamatok A követelések nincsenek arányban a jövedelmekkel A külső auditorok cseréje Az ágazatban szokatlan pénzügyi helyzet Pénzügyi dokumentumban százalékos változás a múltból Tapasztalatlan auditor választása A bevételek gyors növekedése Nagy készlet/bevételek arány Felfüggesztés vagy kizárás a tőzsdéről Hatósági vizsgálatok

4 Az 1. táblázat folytatása Piros zászló Pénzügyi beszámoló 10-K/10-Q éves kimutatás Hírek a médiában 4-es adatlap 8-K adatlap A 16 kritikus mutató A jövedelmi helyzet romlása értékesítés nagymértékű viszszaesése miatt A számviteli módszerek változása Az auditálási bizottságban nincs senki az igazgatótanács külső tagjai közül Szervezeti változások Liberális számviteli elvek A negyedévvégi dátumok módosítása Nagy átszervezési terhek bejelentése Erősen kompetitív globális piacok A mérlegadatoknak nem megfelelő tartalékok Felvásárlásokból biztosított növekedési források A számviteli becslések módosítása A módszer alkalmazása a Hat Szigma Tervezése (Design for Six Sigma) nevű eljárás öt fázisára épül, amelyek sorrendben a következők: meghatározás, mérés, elemzés, tervezés, ellenőrzés. Meghatározás A meghatározás fázisában a projektnek a következő, a minőség szempontjából kritikus (critical to quality, CTQ)) vonatkozásait kell meghatározni:

5 a probléma és a célok, üzleti eset és cél, a projekt terjedelme, a hozzá kapcsolódó szerepek és a minőség szempontjából kritikus tényezők (CTQ). Egészen a legutóbbi időkig a befektetők vagy piaci elemzők a vállalatok pénzügyi helyzetének elemzésekor általában csak a nettó jövedelmet vagy a kamatok, adózás és leírások előtti bevételeket vették figyelembe. Ha a pénzügyi elemzők pénzügyi mutatóik közé fel is vették a növekedés mérőszámait és arányait, a szokatlan fogalmának meghatározása mutatószámonként és ágazatonként változott, és függött a vállalatmérettől és a vizsgálati időszaktól. Az itt ismertetett módszer azon a meggyőződésen alapul, hogy a Hat Szigma segítségével kidolgozható a pénzügyi helyzet nyomon követésének olyan eljárása, amely képes egyszerre több pénzügyi mutatószám figyelésére, más szavakkal: képes a szokatlan értékek, pontosabban pénzügyi anomáliák meghatározására és mérésére, úgy, ahogyan azt a szabályozási diagramokkal lehet végezni. A probléma és a célok Mivel a pénzügyi beszámolók egyre összetettebbé válnak, és az éves mérlegek terjedelme esetenként többszáz oldal nagyságrendű, egyre nehezebb felderíteni a pénzügyi hanyatlást és a mérlegek meghamisítását. Ebből adódóan a hitelezőknek és a befektetőknek egyre nagyobb szükségük van a pénzügyi helyzet és a növekedési kilátások módszeres és objektív elemzésére alkalmas eszközökre. A projekt célja ennek megfelelően automatizált rendszer kidolgozása volt a Hat Szigma szigorú módszerességének alkalmazásával a General Electric pénzügyi rendszerében működő hitelközvetítő brókerek számára a pénzügyi beszámolókban lévő anomáliák feltárása érdekében. A munkát végző team statisztikai, számítógépes és kockázatkezelő szakemberekből állt. Üzleti eset és cél A nyereség szempontjából kulcsjelentőségű kérdés a képesség a pénzügyi anomáliák feltárására megfelelő időben és megbízhatósággal. Ezek a pénzügyi anomáliák általában hosszú időn át a pénzügyi visszaesés korai vészjelzéseiként értelmezhetők, egyesek pedig a pénzügyi beszámolók meghamisításának tüneteként.

6 A projekt terjedelme, a hozzá kapcsolódó szerepek és a minőség szempontjából kritikus tényezők (CTQ) A pénzügyi anomáliák feltárásával foglalkozó projekt terjedelmét a következőképpen fogalmazták meg: automatizált folyamatok létrehozása pénzügyi adatok kinyerésére és módszerek kidolgozása adott vállalat pénzügyi mutatóinak elemzésére. A projekt CTQ-ja (minőség szempontjából kritikus tényezője) a következő volt: az adott szervezet pénzügyi mutatóiban lévő szabálytalanságok számszerűsítése meghatározott időtávon belül és pontossággal. Mérés A mérés fázisának alapvető céljai a következők: a folyamat CTQ-inak és azok alapvető céljainak operatív meghatározása, a CTQ-k pontos mérhetőségének megoldása (adatokkal szembeni követelmények), a CTQ-k kezeléséhez szükséges adatáramok meghatározása és ellenőrzése. A folyamat CTQ-inak és azok alapvető céljainak operatív meghatározása A General Electric hitelközvetítői számára a minőség szempontjából kritikus tényezők (CTQ-k) például az időkerettel és a pontossággal kapcsolatos követelmények. A hitelközvetítők inputjai (megadott adatai) alapján pl. az első folyamat CTQ-t pl. a következőként határozták meg: a pénzügyi szabálytalanságok jelzése legalább hat hónappal az Értékpapír és Tőzsdei Bizottság vizsgálatának bejelentése előtt. A hitelközvetítőknek van a pontosságra vonatkozó követelményük is: egyrészt a rendszer által potenciálisan anomáliaként jelzett esetek hány százalékában nem történt a valóságban vezetői mulasztás vagy visszaélés (hamis vészjelzés), másrészt és ez a GE hitelközvetítői számára még fontosabb a hamis pénzügyi beszámolókat készítő vállalatok hány százalékát nem jelzi ki a rendszer (vagyis nincs vészjelzés a megadott időkereten belül)? A hitelközvetítők számára sokkal fontosabb kérdés volt a létező anomáliák fel nem ismerése, ezért erre az elfogadható felső hibahatárt 5%-ban határozták meg. A téves vészjelzések felső határára ezzel szemben 40%-ot adtak meg.

7 A CTQ-k mérhetőségének biztosítása A projektben kifejlesztettek egy olyan motort, amely úgy olvassa és érti a pénzügyi beszámolókat, hogy a táblázatokat oszlopokra és sorokra bontja, lebontja és egyszerűsíti a vizsgált dokumentum hierarchiáit és összefüggéseit, olvassa a szöveget, párba állítja az ismert osztályozási rendszerekben használt szavakat. A General Electric projektben részt vevő hitelközvetítők 25 tőzsdén jegyzett vállalatot választottak ki, ebből 11-et jónak, 14-et pedig rossznak minősítettek; az utóbbi besorolás alapja a pénzügyi teljesítmény romlása, vagy az Értékpapír és Tőzsdei Bizottságnak a mérleghamisításra vonatkozó vádja volt. Ezek a közepes és nagyvállalatok 24 különböző ágazatot képviseltek, tehát csak kettő ugyanazt. A legtöbb rossz vállalat végül csődbe jutott, a projektbeli elemzésben pedig a pénzügyi válság vagy a számviteli szabálytalanságok nyilvánosságra kerülése előtt két évre visszamenően vettek figyelembe vészjelzéseket. Az elemzéshez hat-nyolc vállalatból álló referenciacsoportokat állítottak össze, a statisztikai jegyzékekben az elemzett cégekkel azonos számmal szereplő és az árbevétel alapján hasonló nagyságú vállalatokból. Ezzel a motorral azután a 25 elemzett vállalatra és a hozzájuk tartozó referenciacégekre vonatkozó adatokat gyűjtöttek. A CTQ-k kezeléséhez szükséges adatáramok meghatározása és ellenőrzése A pénzügyi beszámolókat feldolgozó motor a 72%-os pontossággal olvasta a beszámolókat. Azoknak a beszámolóknak az adatait, amelyeket a motor nem értett meg pontosan, kézzel vitték be. Elemzés A projekt elemzési fázisának célja olyan elvi tervek kidolgozása, amelyek nagy valószínűséggel kielégítik a minőség szempontjából kritikus kritériumokat (CTQ-k) és ezzel az ügyfelek igényeit. Ennek érdekében a rendszer kialakításának különböző változatait vizsgálták. Ez egyrészt kreatív gondolkodást követelt meg, másrészt azt eredményezte, hogy a DMADV-ciklus fázisai közül az elemzés tért el legnagyobb mér-

8 tékben a meghatározás, mérés, elemzés, intézkedés és szabályozás fázisokból álló hagyományos Hat Szigma megfelelő folyamataitól. A pénzügyi világ számos technikát fejlesztett ki a vállalatok pénzügyi helyzetének elemzésére; ilyen pl. az éves növekedési ütem összehasonlítása az ágazati átlaggal. Sajnos azonban a vállalatok különböző számviteli eljárásokat és pénzügyi osztályozási rendszereket használnak, ezért nem könnyű kidolgozni egyetlen olyan nézőpontot, amelyből az összes vállalat mérhető, illetve mérettől és ágazattól függetlenül összehasonlítható. Számos üzleti modell létezik a vállalatok pénzügyi kockázatainak, növekedési lehetőségeinek és várható problémái valószínűségének értékelésére. Ezekben az analitikus modellekben gyakran figyelmen kívül hagyják a vizsgált sokaságon belül kiugró értékeket, mivel azok nem tükrözik a sokaság többségére jellemző viszonyokat, és a különlegesen nagy eltérések csökkentenék a modell alkalmazhatóságát. Az ilyen vállalatok kockázatainak és jövedelmezőségi lehetőségeinek megértéséhez azonban feltétlenül elemezni kell eltérésüket az átlagostól. A projektben kifejlesztett statisztikai módszer ezért nem hagyja figyelmen kívül az átlagostól nagymértékben eltérő cégeket, sőt, éppen ezeket mutatja ki. A módszer kidolgozói a különleges szabálytalanságok észlelésének (exceptional anomaly detection) nevezték el ezt a technikát. A módszer hasonló a többváltozós szabályozási grafikonokhoz: akárcsak azokban, itt is számszerűsítik és ábrázolják néhány vizsgált változó átlagára és eloszlására vonatkozó adatokat. Az adott vállalat eredményében anomáliaként értelmezhető trend jelzésére szolgáló módszer két eljárásból áll: a vizsgált időszak eredményének összehasonlítása a vállalat múltbeli eredményeivel, a vizsgált időszak eredményének összehasonlítása más (referencia-) vállalatok azonos időszakbeli eredményeivel. A kétféle összehasonlítás eredményeképpen az adott vállalat teljesítményének változása az ágazat egészével a háttérben értékelhető. Ez még pontosabban azt jelenti, hogy a különleges eltérések észlelésének technikájában pontokban kifejezve és szórásvizsgálat alapján számszerűsítik a különbséget valamely pénzügyi célmutató és egyrészt a vállalat múltbeli teljesítménye, másrészt a vállalat versenytársainak teljesítménye között. Ez a technika a Z-értékek szórásának módszere, amely olyan sztenderdizált értékeket szolgáltat, amelyekben egy adott érték egy bizonyos sokaságon belüli százalékos aránynak felel meg.

9 A módszer kidolgozói a különleges eltérések észlelésének technikáját úgy tervezték, hogy egyrészt képes legyen a különlegesen eltérő eredmények kimutatására, másrészt alkalmazható legyen egészen kisméretű, akár négy tételből álló mintákra is. Ezért a hatos vagy nagyobb pontszámú különleges eltérés 100 lehetőségből hét anomáliának (eltérésnek) felel meg. Ez más volt, mint a 10 milliárd lehetőségből 9,9 anomáliának megfelelő hatos vagy nagyobb értékű Z-érték. Más szavakkal ez azt jelenti, hogy a különleges eltérések pontszámai a kialakításból adódóan felerősítik a nem jellegzetes adatokat. Mint a Z-pontszámok konverziós táblázatai esetében, átszámítási táblázatok állíthatók össze a különleges eltérések pontszámaihoz különböző eloszlásokra, pl. a normál, a binomiális és a Poisson-eloszlásra. Mindez röviden azt jelenti, hogy a sztenderdizált pontszámok, mint pl. a Z-pontszámok vagy a különleges eltérések pontszámának használatával az összes pénzügyi mutató és ágazat anomáliái vagy anomáliára utaló formái anélkül ragadhatók meg, hogy szükség lenne az ágazat, a méret vagy az idő sajátosságait tükröző modellre. A projektben kétfajta különleges eltérésre dolgoztak ki pontszámot: a Z-köztes (Zk) a vállalatok közötti, a Z-belső (Zb) pedig a vállalaton belüli ingadozásokat írja le (1. és 2. ábra). Mind a Zk, mind a Zb mutatószámai esetében egy ún. intenzitási skálán jelenítették meg azt a szórásszámot, amellyel adott vállalat pénzügyi mutatói az átlagtól eltérnek. Az eltérések mértékét és irányát színekkel jelezték, akárcsak a lehetséges vészjelzéseket. Az elemzéshez figyelembe vehető potenciális pénzügyi mutatók száma 80 volt, amelyek a vállalati mérlegekből, a jövedelem- és cashflow-kimutatásokból származtak. Ilyen értékek pl. a folyószámla-bevételek, az összes bevétel és a műveletekből származó cash-flow. A módszer szerint az ábrákban vörössel jelezik a szignifikáns és az ágazat által negatív irányúnak minősített eltéréseket, mint pl. a nagy adósságot vagy a kis nettó jövedelemet. A zöld szín ezzel szemben az ágazat által kedvező irányúnak tartott és szignifikáns eltérések jele (pl. nagy jövedelem és kis adósság). 1 A projektben végül is kiindulásképpen 45 piros zászlót határoztak meg, amelyek mindegyike 1-től 12-ig terjedő számú egyedi vészjelzésből áll (a rendellenes viselkedés jelei). 1 Az eredetileg színes ábrák színeit itt jelzésekkel kellett helyettesíteni, ld. a jelmagyarázatot.

10 A Z-köztes értékek szabálytalanságainak (anomáliáinak) pontszámai adott időszakra: A szórások az adott időszakban különböznek a konkurencia hasonló értékeitől azonos időszakban 0,6 0,5 0,4 1. vállalat 2. vállalat 3. vállalat 4. vállalat 5. vállalat 0,3 0,2 0,1 0-0, n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év 1. ábra A követelések évenkénti növekedésének Z-köztes értékei Tervezés A tervezés fázisában a munka lényege a magas szintű terv kidolgozása az elemzés részletei alapján. A tervezőknek jó minőségű átviteli függvényeket kell meghatározniuk a CTQ-k teljesítményének számszerűsítéséhez. A tervezés fázisának végén a tervezési tényezőket (az adott esetben a fő mutatók) meghatározzák, hogy azok együtt nyomon követhetők és kijelezhetők legyenek. A projektben a különleges eltérések pontszámait alkalmazták a 25 esettanulmányra, amelyek között több olyan jelentős vállalat is volt, amely pénzügyi visszaesést mutatott, és visszaélést követett el. A módszerrel a múltbeli eredményekhez vagy a versenytársak értékeihez viszonyítva szignifikánsnak minősített eltéréseket vészjelzésnek minősítették, és piros vagy zöld színnel jelölték. Az 1. táblázatban felsorolt és a pénzügyi mérlegekből származó 45 piros zászlót az alapvető pénzügyi mutatók és arányok különleges elté-

11 rései pontszámainak használatával számszerűsítették. Így pl. számszerűsítették a romló határhasznok elnevezésű piros zászlót, amely az egyike volt a két olyan aránynak (nettó jövedelem/bevételek vagy üzemi eredmény/bevételek), amelyek Zb-értéke kisebb volt mint 2. A Z-belső értékek szabálytalanságainak (anomáliáinak) pontszámai adott időszakra: A szórások az adott időszakban különböznek az előző három év azonos negyedévi értékeitől 0,6 0,5 0,4 1. vállalat 2. vállalat 3. vállalat 4. vállalat 5. vállalat 0,3 0,2 0,1 0-0, n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év 2. ábra A követelések évenkénti növekedésének Z-belső (Zb) értékei Értékelték a 25 vállalatra és azok referenciavállalataira pontosan számszerűsített piros zászlókat. Ennek eredményeként azután 16 különösen fontosra csökkentették a piros zászlók számát: ezek ágazattól független előrejelző képessége jobb volt, mint a többieké. A 16-ból tíz piros zászló a romló pénzügyi helyzet pénzügyi mutatója, hat pedig a pénzügyi szabálytalanságoké (mérleg meghamisítása stb.) A különleges eltérések pontszámait olyan hőtérképen ábrázolták, amelyen az eltérés jó vagy rossz irányát, a színárnyalat pedig annak mértékét jelzi (3. ábra). Az ábrában minden oszlop egy-egy negyedévet jelöl.

12 Jelmagyarázat rossz közömbös jó >50 >6 >2 >2 >6 >50 Vállalat n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év n.év Pénzügyi mutató Készpénz és azzal egyenértékű Üzemi jövedelem Készpénz és azzal egyenértékű Üzemi eredmény Jelmagyarázat sötétpiros piros világos piros sötétzöld zöld világoszöld 3. ábra Színkódok a különleges szabálytalanságok pontszámaihoz A pénzügyi mutatóknak a vállalat múltbeli és a referenciavállalatok jelenlegi eredményeitől való eltérését ábrázoló hőtérkép az ágazat időbeli trendjeivel összevetve nyújt jó betekintést az adott cég pénzügyi folyamataiba. A különleges eltérések pontszáma az átlagtól való eltérés mérésének eszköze, a hőtérkép és a színek pedig az ágazatnak azt az értékelését jelzik, hogy az adott eltérés kedvező vagy kedvezőtlen-e. Ellenőrzés Az ellenőrzés fázisában a tervezők feladatai a következők: a tervezés fázisában kialakított rendszer működésének tesztelése és ellenőrzése, kontrollterv kidolgozása annak biztosítására, hogy a rendszer folyamatosan optimálisan működjön, a rendszer dokumentálása és átadása, úgy, hogy az ügyfél az új terv tulajdonosa, és képes annak teljes körű támogatására.

13 A projekt végrehajtói ebben a fázisban megvizsgáltak egy sor olyan jelentős vállalatot, amelyeket az Egyesült Államok Értékpapír és Tőzsdei Bizottsága a pénzügyi mérleg meghamisításával vádolt, vagy maguk ismertek be könyvelési hibát, amely miatt újra el kellett készíteniük pénzügyi beszámolójukat. Mindegyik vállalatra alkalmazták a rendellenességek észlelésének technikáit, és sikerült is rendellenességeket kimutatni olyan kritikus jelentőségű mutatókban, amelyeket a szakértők a pénzügyi beszámolók meghamisítása tekintetében figyelmeztető jelzéseknek tekintenek, mint pl. az árbevételekhez viszonyított követelések hirtelen megugrása, a működésből származó készpénzbevétel csökkenése vagy a bevételekkel való korrelációjának hiánya, a készletek hirtelen megugrása. Ezek a figyelmeztető jelzések jól egybeestek a szakértőknek a nagy jelentőségű csalásokra vonatkozó utólagos kommentárjaival. Ennél is fontosabb, hogy megfeleltek a projekt CTQ-inak, amennyiben legalább hat hónappal a SEC-vizsgálat előtt jelezték a szabálytalanságokat, mégpedig 5%-nál kisebb hibaaránnyal a jelzések elmulasztása, 40%-osnál kisebb hibaaránnyal pedig a téves vészjelzés esetén. Az így kidolgozott rendszer jövőbeli megbízhatóságát természetesen csökkentheti a számviteli elvek, törvények és szabályok változása. Az ellenőrzési tervnek ki kell térnie annak vizsgálatára, hogy a rendszer működése valóban kielégíti-e a CTQ-k követelményeit. Ezt a projektben úgy teljesítik, a rendszer döntéseit tárolják, és összesített teljesítményéről meghatározott időszakonként jelentést készítenek egyszerű grafikonokat használva a stabilitás ellenőrzésére. Összeállította: Liebner Anikó Senturk, D., LaComb, C.: Detect financial problems with Six Sigma. = Quality Progress, 39. k. 4. sz p Liebesman, S.: QMSs and EMSs support financial management systems. = Quality Progress, 39. k. 3. sz p Liebesman, S.: Mitigate SO risk with ISO 9001 and = Quality Progress, 38. k. 9. sz p. 91.