System ekspertowy wspomagający kontrolę jakości pomiarów w laboratorium analitycznym

Rozprawa doktorska pt. „System ekspertowy wspomagający kontrolę jakości pomiaru w laboratorium badawczym” została zrealizowana w pracowni Teorii i Zastosowań Elektrod na Wydziale Chemii Uniwersytetu Warszawskiego pod opieką naukową dr hab. Wojciecha Hyk. Celem rozprawy doktorskiej było opracowanie założeń do systemu ekspertowego, który umożliwia wsparcie w procesie kontroli jakości pomiarów wykonywanych w laboratorium badawczym. Prowadzone prace badawcze nie skupiły się tylko na laboratoriach analitycznych, które posiadają zwykle wdrożony system zarządzania jakością, ale również i na laboratoriach przemysłowych. W przypadku tych drugich sama specyfika ich działania – praktycznie w systemie ruchu ciągłego z uwagi na stałą kontrolę procesów technologicznych, wymusza zmiany w systemie kontroli jakości wykonywanych pomiarów. Wynika to zarówno z dostępności technicznej urządzeń oraz warunków ekonomicznych sprawowanego nadzoru metrologicznego. Niewłaściwie wykonane pomiary wiążą się z poważnymi skutkami finansowymi z powodu błędnie prowadzonego procesu technologicznego lub naliczenia kar środowiskowych. Proponowany system ekspertowy opiera się na wsparciu badacza we właściwym sformułowaniu problemu metrologicznego oraz podjęciu odpowiedniego procesu decyzyjnego umożliwiającego wykonanie eksperymentu badawczego kontroli jakości pomiarów na bazie posiadanej wiedzy i materiałów. Przedmiotowa rozprawa podzielona została na dwie główne części: teoretyczną (literaturową) oraz badawczą. Część teoretyczna swoim zakresem obejmuje dwa rozdziały. Pierwszy, stanowi wprowadzenie do tematyki szeroko rozumianej kontroli jakości w laboratorium analitycznym. W sposób uporządkowany przybliżono ogólnodostępną wiedzę umożliwiającą poruszanie się badaczowi w obszarze kontroli jakości. Przytoczone zostały podstawowe definicje oraz procesy - od tych prostych po bardziej skomplikowane, które pozwalają na uznanie wyniku pomiaru za miarodajny i wiarygodny. Przedstawiono proces zapewnienia jakości pomiarów w laboratorium w sposób przejrzysty - od przywołania cyklu życia metody badawczej, poprzez dalsze jego elementy - takie jak błędy pomiarowe, walidację metody, szacowanie niepewności pomiaru, aż po zapewnienie spójności pomiarowej. W szerokim zakresie opisano metody weryfikacji prowadzonego procesu kontroli jakości poprzez prowadzenie bieżącej oraz zewnętrznej kontroli jakości badań. W aspekcie prowadzenia bieżącej kontroli jakości pomiarów z użyciem kart Shewharta, autor zestawia obowiązujące reguły oraz analizuje je na podstawie własnej, wygenerowanej w procesie badawczym karty Shewharta pojedynczych pomiarów X. Dopełnieniem tej części rozdziału jest przedstawienie metod umożliwiających nadzór oraz utrzymanie prawidłowego statusu metrologicznego urządzeń pomiarowych. Rozdział zamykający część teoretyczną rozprawy, porusza aspekt podejmowania decyzji. Z punktu widzenia wykonanych prac badawczych oraz opracowania założeń do systemu ekspertowego, przeprowadzona w tej części analiza pozwala na poznanie „optyki”, która służy tworzeniu algorytmów decyzyjnych, wyznaczaniu ich kryteriów oraz dokonywania oceny. Rozdział zakończono analizą przypadku zastosowania algorytmu decyzyjnego uwzględniającego bias w szacowaniu niepewności pomiaru. Część badawcza rozprawy doktorskiej opisuje działania i przeprowadzone eksperymenty/analizy badawcze mające na celu opracowanie założeń do tytułowego systemu ekspertowego. Ponieważ system ekspertowy rozwiązuje złożone problemy dzięki możliwości wyboru decyzji podjętej na podstawie analizy informacji zawartych w bazie danych, analiza problemów w części badawczej oparta jest właśnie o schematy decyzyjne. Stopień złożoności problemów badawczych, ale przede wszystkim niestandardowy sposób ich rozwiązania, wyraża naukowe podejście będące przedmiotem rozważań rozprawy doktorskiej. W części badawczej skupiono się na problemie zapewniania spójności pomiarowej przyrządów pracujących w warunkach niestandardowych; procesie kalibracji urządzeń wykonujących pomiar tej samej cechy, ale różnymi metodami badawczymi; problemie szacowania niepewności standardowej z wykorzystaniem funkcji w postaci niejawnej oraz oszacowaniu i uwzględnieniu niepewności pomiaru w emisji pyłu do powietrza. W pierwszej części pracy badawczej poruszono problem zapewnienia spójności pomiaru i sposobu jego realizacji w warunkach niestandardowych. Opracowana została metoda nadzoru metrologicznego nad urządzeniami pomiarowymi pracującymi w reżimie pomiaru ciągłego. Zaprojektowano procedurę oraz schemat decyzyjny postępowania, oparty na rozbudowanej analizie statystycznej wyników pomiarów powiązanych ze sobą urządzeń pomiarowych. W celu dokonania charakterystyki pracy urządzeń online oraz manualnego (uznanego za referencyjny) w reżimie przepływowym, wykonany został autorski układ pomiarowy umożliwiający szeregowe połączenie analizatorów. Uzyskano w ten sposób przepływ tej samej próbki przez porównywane analizatory. Układ testowano w warunkach rzeczywistych na jednym z obiektów energetycznych w Polsce. Spójność pomiarową zapewniono przez zastosowanie CRM dla warunków standardowych pracy analizatora referencyjnego. Zaproponowana procedura pozwoliła na ocenę poprawności pracy analizatora online (z niepewnym dotąd statusem metrologicznym) poprzez wyznaczenie kryterium istotności różnicy wskazań porównywanych analizatorów online i manualnego (referencyjnego). Dokonana analiza obciążenia (bias) pozwoliła na wyznaczenie poprawki dla pomiaru wykonywanego analizatorem on-line w reżimie pomiaru ciągłego, przybliżając tym samym wynik do wartości rzeczywistej wielkości mierzonej. Wyznaczona niepewność rozszerzona błędu wskazania analizatora pH on - line pozwala otrzymany wynik traktować za rzeczowy i miarodajny. Zaproponowana metoda nie była jak dotąd przedmiotem tak szerokiej analizy. Dotychczas zapewnienie spójności pomiarowej oraz ocenę poprawności wskazań analizatorów opierano na zastosowanym CRM. W metodzie jest to tylko pierwszy element badań, po którym prowadzona jest analiza na próbce rzeczywistej w warunkach przepływowych. Zaprezentowane podejście od strony naukowej, dzięki zastosowaniu narzędzi statystycznych, pozwala na potwierdzenie statusu metrologicznego analizatora on - line. Od strony praktycznej, nie zmniejsza dyspozycyjności urządzenia (brak konieczności jego demontażu) oraz ogranicza do minimum koszty sprawowania nadzoru metrologicznego nad analizatorem on-line. Kolejne zagadnienie, które zostało poruszone w części badawczej, dotyczy doboru odpowiedniego modelu dopasowania dla krzywej kalibracyjnej. Problem jest o tyle ważny, że zwykle w trakcie rutynowej konstrukcji krzywej kalibracyjnej, jest całkowicie pomijany. W praktyce niemal automatycznie przyjmowany jest model regresji liniowej zwykłej, bez sprawdzenia podstawowych dwóch założeń liniowości funkcji. W trakcie eksperymentu zaproponowano schemat decyzyjny, w którym jasno określona została ścieżka postępowania, gdy wyznaczona funkcja dla krzywej kalibracyjnej ma postać liniową lub nieliniową. Wskazano narzędzia statystyczne oraz współczynniki, które należy obliczyć w celu weryfikacji poprawności wyboru modelu matematycznego. Rozważania przeprowadzono na podstawie analizy wykorzystania krzywej kalibracyjnej do porównania dwóch metod oznaczania cząstek pyłu w powietrzu. Aplikacja korelacji liniowej do porównania dwóch metod pomiarowych jest niestandardowym podejściem. Skutkami jej zastosowania, w stosunku chociażby do standardowo stosowanego do porównań testu t-Studenta, są możliwość analizy wyników na wielu poziomach wielkości mierzonej oraz ocena błędów systematycznych stałych i proporcjonalnych. Zaproponowane podejście, dzięki wykorzystaniu regresji liniowej ważonej (X,Y), uwzględniającej niepewność obu skal oraz niejednorodność niepewności mierzonych wartości zmiennej zależnej y, umożliwia dobór modelu matematycznego w przypadku niespełnienia żadnego z dwóch podstawowych założeń regresji liniowej zwykłej. Jak wykazały przeprowadzone w trakcie eksperymentu analizy i obliczenia, niewłaściwy dobór modelu regresji, prowadzi do błędnych wniosków. Rozdział 4.3 rozprawy porusza problem braku powtarzalności sygnałów otrzymywanych na nanoelektrodach przy braku elektrolitu wspomagającego. Przeanalizowano wpływ niepewności rozkładu indywidułów jonowych (kontrolujących rzeczywisty współczynnik nadmiaru elektrolitu podstawowego) w warstwie przylegającej do elektrody, jako potencjalny czynnik wpływający na nieprzewidywalne i losowe zachowania woltamperometryczne naładowanych sond redoks na nanoelektordach. Przeprowadzono obliczenia w oparciu o reguły propagacji niepewności standardowej przy założeniu rozkładu normalnego wielkości mierzonej. Alternatywnie, przy braku spełnienia warunku, że niepewność standardowa związana z wielkością mierzoną (ξ) jest znacznie mniejsza od wartości przypisanej tej wielkości, zastosowano symulację Monte Carlo. Dzięki opracowaniu graficznej relacji pomiędzy rozszerzoną względną niepewnością granicznego potencjału elektrostatycznego (95% przedział ufności) a względną złożoną niepewnością stosunku nadmiaru elektrolitu podstawowego równoważną brakowi elektrolitu wspomagającego w ultraczystym środowisku wodnym w sposób jednoznaczny wskazano kiedy i jaką należy stosować metodę szacowania niepewności. W podrozdziale 4.4 rozprawy rozważaniom poddano sposób wyliczania oraz uwzględniania niepewności pomiaru przy stwierdzaniu przekroczeń dopuszczanych wartości emisji do środowiska na przykładzie pyłu. Obowiązujące regulacje prawne i standardy w sposób niewłaściwy (niezgodny z naukowym podejściem do zagadnienia niepewności pomiaru) interpretują uwzględnianie niepewności rozszerzonej pomiarów, przyczyniając się tym samym do zwiększania dopuszczalnych limitów emisji. Zaproponowany schemat decyzyjny w istotny sposób różni się od przyjętych regulacji. Sposób wyliczenia niepewności standardowej uwzględnia statystyczną zmienność wielkości błędu losowego w analizowanym zakresie pomiarowym, poprzez zastosowanie w wyliczeniach różnic względnych. Opracowana procedura zakłada oszacowanie rozszerzonej niepewności standardowej wartości średniej różnic względnych odpowiadających sobie wyników metody referencyjnej i testowanej oraz poziomu akceptacji wyników. Ocena wyników pod kątem przekroczenia dopuszczalnego poziomu akceptacji odbywa się na podstawie spełnienia wyznaczonego kryterium. W rezultacie wyznaczane jest pasmo ochronne, które gwarantuje dotrzymanie przyjętych standardów emisji wyliczonych zgodnie z zaproponowaną procedurą. Sugerowany w rozprawie sposób interpretacji wyniku pomiaru z uwzględnieniem niepewności pomiaru pozwala na jednoznaczne stwierdzenie, czy faktycznie nastąpiło przekroczenie emisji, nie powodując przy tym wzrostu dopuszczalnej wartości o wyliczoną wartość niepewności rozszerzonej. Ostatni rozdział rozprawy dotyczy założeń wypracowanych dla systemu ekspertowego kontroli jakości w laboratorium badawczym. Powstał on na bazie doświadczeń zdobytych w trakcie rozwiązywania problemów badawczych z zastosowaniem schematów decyzyjnych, które stanowią podstawę działania i rozwiązywania problemów przez system ekspertowy. Kluczem do sprawnego działania systemu jest interfejs użytkownika, który stanowi sposób komunikacji z wiedzą ekspercką zebraną w bazie danych. W pracy zaproponowano innowacyjne podejście do określenia definicji problemu metrologicznego. Został on oparty na umiejętnie dobranych elementach kwantujących, których odpowiednia kombinacja pozwala na rozwiązanie problemu na każdym etapie jego zaawansowania. Dzięki temu użytkownik otrzymuje „kontrolowaną” przez system swobodę działania, a dalsze decyzje i kroki postąpienia wykonuje niemalże intuicyjnie, bez konieczności posiadania rozszerzonej wiedzy z zakresu kontroli jakości w laboratorium badawczym. Opracowana baza danych pozwala na szerokie spektrum działań i tworzenie eksperymentów badawczych w wyniku wykonywania operacji logicznych w oparciu o przyjęte kryteria.

Podsumowanie Novum z przeprowadzonych badań i rozważań w trakcie realizacji pracy doktorskiej jest wypracowanie wytycznych do stworzenia systemu ekspertowego umożliwiającego kontrolę jakości w laboratorium badawczym. Przeprowadzone eksperymenty badawcze oraz wypracowane metody, szczególnie w przypadku przemysłowych laboratoriów pomiarowych, pozwalają na łatwiejszą kontrolę jakości procesu pomiarowego oraz zapewnienie otrzymania wiarygodnego i miarodajnego wyniku pomiaru. Prezentacja możliwości zastosowania odpowiednio dobranych narzędzi statystycznych i modeli matematycznych pozwala na zapewnienie statusu metrologicznego urządzeń, zwłaszcza tych pracujących w reżimie pomiaru ciągłego, bez konieczności istotnego ograniczania ich dyspozycyjności. Niestandardowe zastosowanie modeli regresji liniowej do porównywania różnych metod badawczych realizujących pomiar tej samej cechy, pozwala na zebranie istotnych statystycznie danych, umożliwiających sprawną kontrolę metody badawczej względem referencyjnej. Pionierskie podejście do tematu uwzględnienia niepewności pomiaru w emisjach do powietrza, pozwala z pełną odpowiedzialnością, poprzez wyznaczenie pasma ochronnego, na stwierdzanie przekroczeń w emisji na podstawie przyjętych kryteriów. Uzupełnieniem powyższego jest uporządkowanie wiedzy z zakresu metrologii i kontroli jakości w laboratorium badawczym przedstawione w części teoretycznej rozprawy.

The doctoral dissertation entitled, ‘Expert system for the control of measurements quality in analytical laboratory’ was carried out in the Laboratory of Theory and Applications of Electrodes at the Faculty of Chemistry, University of Warsaw, under scientific supervision of dr hab. Wojciech Hyk. The purpose of the dissertation was to develop assumptions for an expert system that enables support in the process of quality control of measurements made in a research laboratory. The research focused not only on analytical laboratories, which usually have a quality management system implemented, but also on industrial laboratories. In the latter case, the very nature of their operation, practically in a continuous motion mode due to the constant control of technological processes, forces change in the system of quality control of measurements performed. This results from both the technical availability of equipment and the economic conditions of metrological supervision. Incorrectly performed measurements lead to serious financial consequences due to erroneous technological processes or charging environmental penalties. The proposed expert system is designed to assist the researcher with a proper formulation of the metrological problem and undertaking an appropriate decision-making process so as to carry out the experimental research of measurement quality control based on available knowledge and materials. This dissertation is divided into two main parts: theoretical framework (literature review) and research. The theoretical part has two chapters. The first one is an introduction to widely understood quality control in an analytical laboratory. It provides a structured overview of generally available knowledge that enables the researcher to navigate in the area of quality control. Basic definitions and processes are cited, from the simple to the more complicated, allowing a measurement result to be considered authoritative and reliable. In the second chapter the process of measurement quality assurance in the laboratory is clearly presented, from the reference to the life cycle of the test method, through its further elements, such as measurement errors, method validation, estimation of measurement uncertainty, to ensuring measurement traceability. The methods for verifying the quality control process by current external quality control are described in a comprehensive manner. As regards current quality control of measurements using Shewhart charts, the author lists the applicable rules and analyzes them based on the author's own Shewhart chart of single X measurements generated in the research process. This part of the chapter concludes with a presentation of methods of supervision and maintenance of the correct metrological status of measuring equipment. Final chapter, which closes the theoretical part of the dissertation, deals with aspects of decision-making. From the point of view of the research carried out and the development of assumptions for the expert system, the analysis carried out provides insight into the mechanism which is used to create decision-making algorithms, determine their criteria and make evaluations. The chapter concludes with a case study of the decision-making algorithm that takes into account bias in the estimation of measurement uncertainty. The research part of the dissertation describes the activities and experimental research/analysis carried out to develop assumptions for the expert system. Since the expert system solves complex problems by selecting a decision based on the analysis of information contained in the database, the analysis of problems in the research part is actually based on decision-making schemes. The degree of complexity of research problems, and, above all, the non-standard way of solving them, expresses the scientific approach considered in the dissertation. The research part focuses on the problem of ensuring measurement traceability of instruments operating under non-standard conditions, i.e., the process of calibration of instruments measuring the same characteristic but with different test methods, the problem of estimating standard uncertainty using functions in implicit form, and estimation and consideration of measurement uncertainty related to dust emissions to air. The first part of the research addresses the problem of ensuring measurement traceability and the way it is done under non-standard conditions. A method was developed for metrological supervision of measuring instruments operating in the regime of continuous measurement. A procedure and a decision-making scheme were designed, based on the extensive statistical analysis of measurement results of the related measuring instruments. In order to characterize on-line and manual (considered as reference) operation of instruments in the flow regime, the author's measurement system was developed to allow analyzers to be connected in series. Thus, a flow of the same sample through the compared analyzers was obtained. The system was tested under real conditions at one of the power generation facilities in Poland. Measurement traceability was ensured by applying the CRM for the standard operating conditions of the reference analyzer. As a result of the proposed procedure, it was possible to assess the correctness of operation of the on-line analyzer (with the metrological status uncertain so far) by determining the significance criterion of a difference in readings of the compared on-line and manual (reference) analyzers. The bias analysis made it possible to determine the correction for the measurement performed with the on-line analyzer in the regime of continuous measurement, thus approximating the result to the actual value of the measurand. The calculated expanded uncertainty of the error of readings of the on-line pH analyzer allows the obtained result to be treated as factual and reliable. The proposed method has not yet been so extensively analyzed. So far, ensuring measurement traceability and evaluating the correctness of analyzer readings has been based on the CRM used. In the method, this is only the first element of testing, followed by analysis of the actual sample under flow conditions. On the scientific side, the presented approach by using statistical tools allows to confirm the metrological status of the on-line analyzer. On the practical side, it does not reduce the availability of the instrument (no need to dismantle it) and minimizes the cost of performing metrological supervision of the on-line analyzer. Another issue considered in the research part concerns the selection of a suitable calibration curve fitting model. The problem is important because usually during the routine construction of a calibration curve, it is completely ignored. In practice, an ordinary linear regression model is almost automatically adopted, without checking the basic two assumptions of linearity of the function. In the course of the experiment, a decision-making scheme was proposed, in which the procedure to be followed when the determined function for the calibration curve is linear or nonlinear was clearly defined. Statistical tools and coefficients to be calculated to verify the correctness of the choice of the mathematical model were indicated. The discussion was based on analysis of the use of a calibration curve to compare two methods for determining dust particles in air. The application of linear correlation to compare two measurement methods is a non-standard approach. When this approach is applied to, for example, the standard Student's t-test used for comparison, the results can be analyzed at multiple levels of the measurand and constant and proportional systematic errors can be evaluated. The proposed approach, by using the weighted linear regression (X,Y), which takes into account the uncertainty of both scales and heterogenous uncertainty of the measurands of the dependent variable y, makes it possible to select a mathematical model when neither of the two basic assumptions of ordinary linear regression is met. As indicated by the analysis and calculations made during the experiment, improper selection of the regression model leads to erroneous conclusions. Sub-chapter 4.3 of the dissertation discusses the problem of no repeatability of signals obtained on nanoelectrodes in the absence of a supporting electrolyte. The uncertainty of distribution of ionic individuators (which control the actual excess ratio of the base electrolyte) in the layer adjacent to the electrode was analyzed as a potential factor affecting unpredictable and random voltammetric behavior of charged redox probes on nanoelectrodes. Calculations were carried out based on the rules of propagation of standard uncertainty assuming a normal distribution of the measurand. Alternatively, in the case of not meeting the condition that standard uncertainty associated with the measurand (ξ) is significantly smaller than the value assigned to this measurand, the Monte Carlo simulation was used. By developing a graphical relationship between the relative expanded uncertainty of the electrostatic potential limit value (95% confidence interval) and the relative combined uncertainty of the excess ratio of the base electrolyte equivalent to the absence of a supporting electrolyte in an ultrapure aqueous medium, it was clearly indicated when and what method of uncertainty estimation should be applied. Sub-chapter 4.4 of the dissertation focuses on the way of calculating and accounting for measurement uncertainty in the determination of exceedance of permissible values of emissions into the environment, using dust as an example. The applicable legal regulations and standards provide an improper interpretation (inconsistent with the scientific approach to the issue of measurement uncertainty) of the expanded measurement uncertainty, thereby contributing to the increase of permissible emission limits. The proposed decision-making scheme differs significantly from the accepted regulations. The method for calculating standard uncertainty takes into account statistical variability of magnitude of the random error in the analyzed measurement range by using relative differences in the calculation. The developed procedure assumes the estimation of the expanded standard uncertainty of the mean value of relative differences of the corresponding results obtained by the reference and test methods and also the result acceptance level. Results are evaluated in terms of exceeding the acceptance level on the basis of meeting the designated criterion. As a result, a protective band is determined that guarantees compliance with the accepted emission standards calculated according to the proposed procedure. The method for interpreting the measurement result, suggested in the dissertation, taking into account the measurement uncertainty, unambiguously determines whether emission exceedance actually occurred, without increasing the permissible value by the calculated value of the expanded uncertainty. The last chapter of the dissertation deals with the assumptions developed for the expert system of quality control in a research laboratory based on the experience gained when solving research problems with decision-making schemes, which are of prime importance for operation and problem-solving by the expert system. The key to a smooth operation of the expert system is the user interface, which is the way to communicate with expert knowledge gathered in the database. The dissertation proposes an innovative approach to the definition of a metrology problem. It was based on skillfully selected quantizing elements, the right combination of which allows the user to solve a problem at any stage of its advancement. As a result, the user is given freedom of action ‘controlled’ by the system, and further decisions and steps are performed almost intuitively, without the need for extensive knowledge of quality control in a research laboratory. The developed database allows a wide spectrum of activities and the creation of experimental research as a result of performing logical operations based on the adopted criteria. Summary The novelty of the research and considerations carried out during the course of the dissertation is the development of guidelines for creating the expert system supporting quality control in a research laboratory. The conducted experimental research and developed methods, especially for industrial measurement laboratories, allow easy control of the quality of the measurement process and ensure the obtaining of reliable and authoritative measurement results. The presented possibility of using appropriately selected statistical tools and mathematical models ensures a metrological status of instruments, especially those operating in the regime of continuous measurement, without significantly reducing their availability. The non-standard application of linear regression models to compare different test methods measuring the same characteristic, results in a collection of statistically significant data for efficient control of the test method against the reference one. The pioneering approach to measurement uncertainty in air emissions allows a fully reliable determination, by indicating a protective band, of exceeding emission limit values according to the adopted criteria. This is completed by a structured overview of knowledge related to metrology and quality control in a research laboratory presented in the theoretical part of the dissertation.