روش‌شناسي‌ توليد ابزار خود ـ ارزيابي‌ براي‌اندازه‌گيري‌ كيفيت‌ عملكرد در سازمانها
نوشته‌ پوئي‌ مون‌ لي‌ و هسان‌ اي‌. كوازي‌-دانشگاه‌ فناوري‌ نان‌يانگ‌، سنگاپور نويسنده:
حسين‌ دهقاني‌,جانشين‌ وزير دفاع‌ و پشتيباني‌ نيروهاي‌ مسلح‌ مترجم:
: مقاله‌ روش‌شناسي‌ توسعه‌يافته‌اي‌ را پيشنهاد مي‌كند كه‌ معيار ارزيابي‌ جايزه‌ كيفيت‌ ملي‌ را به‌ عنوان‌ مبنايي‌ براي‌ توليدو خلق‌ ابزار خود ـ ارزيابي‌ جهت‌ اندازه‌گيري‌ عملكرد كيفيت‌ سازمانها مورد استفاده‌ قرار مي‌دهد. معيار ارزيابي‌ جايزه‌ كيفيت‌سنگاپور 1(SQA) به‌ عنوان‌ چارچوبي‌ براي‌ توليد وسيله‌ خود ـ ارزيابي‌ مورد بهره‌برداري‌ قرار گرفته‌ است‌. اين‌ معيار در قالب‌پرسشنامه‌اي‌ چندقسمتي‌ (بخشي‌) بيان‌ شده‌ است‌. ابزار خود ـ ارزيابي‌ براي‌ اندازه‌گيري‌ عملكرد كيفيت‌ در عملكردهاي‌ مختلف‌سازمان‌ مورد استفاده‌ قرار گرفته‌ است‌. امتيازات‌ به‌ دست‌ آمده‌ ناشي‌ از به‌كارگيري‌ ابزار خود ـ ارزيابي‌، براي‌ متقاضيان‌ SQAمورد آزمون‌ قرار گرفته‌ است‌. نتايج‌ حاصل‌ وجود ارتباط قابل‌توجهي‌ بين‌ امتيازات‌ ارزيابي‌ و ارزيابي‌ واقعي‌ دريافت‌ شده‌ ازفرمهاي‌ درخواستي‌ SQA را نشان‌ مي‌دهد. در پايان‌ سال‌ 1998 حدود 200 سازمان‌ بازرگاني‌ در سنگاپور، از ابزار خود ـ ارزيابي‌استفاده‌ كرده‌ بودند. با استفاده‌ از روش‌شناسي‌ توصيف‌ شده‌ در اين‌ مقاله‌ مي‌توان‌ ابزارهاي‌ خود ـ ارزيابي‌ مناسب‌ با معيارهاي‌كيفي‌ ملي‌ متفاوت‌ را ابداع‌ كرد.

كليد واژه‌ها: 1. ابزار خود ـ ارزيابي‌ 2. كيفيت‌ عملكرد 3. مديريت‌ كيفيت‌ عملكرد 4. مقايسه‌ جايزه‌هاي‌ مهم‌ كيفيت‌ 5. ارزيابي‌جامع‌ 6. سازوكار امتيازدهي‌.
چكيده:

مقدمه‌
رقابت‌ جهاني‌ با سرعتي‌ خارق‌العاده‌، با به‌ كارگيري‌هر چه‌ بيشتر مدل‌ بازار آزاد و باز شدن‌ مرزها به‌روي‌ سرمايه‌ها و بازرگاني‌ توسط كشورها، در حال‌افزايش‌ است‌. راهبرد بنيادي‌ براي‌ پيشتاز ماندن‌،تمركز بر روي‌ مشتريان‌ و ناب‌ ماندن‌ است‌. فلسفه‌مديريت‌ كيفيت‌ رويكردي‌ را براي‌ تحقق‌ اين‌راهبرد بنيادي‌ فراهم‌ مي‌آورد و اقداماتي‌ را القامي‌كند كه‌ تامين‌كننده‌ رضايت‌ مشتري‌، كاهش‌هزينه‌ها، افزايش‌ بهره‌وري‌ و بالا بردن‌ كيفيت‌محصولات‌ است‌. به‌ طور خلاصه‌، اقدامات‌مديريت‌ كيفيت‌ به‌ تعالي‌ كسب‌ و كار كمك‌مي‌كند.
مديريت‌ كيفيت‌ توسط كشورهاي‌ زيادي‌ به‌عنوان‌ يكي‌ از عناصر كليدي‌ رقابت‌ پذيرفته‌ وشناخته‌ شده‌ و تلاش‌ بلندمدت‌ در سازمان‌خاصيت‌ مديريت‌ كيفيت‌ است‌. حكومتهاي‌ ملي‌نقشي‌ فعال‌ را براي‌ ارتقا و تشويق‌ سازمانها جهت‌اجراي‌ مديريت‌ كيفيت‌ ايفا مي‌كنند. بسياري‌ ازكشورها جايزه‌هاي‌ كيفيت‌ را براي‌ قدرداني‌ ازبنگاههايي‌ كه‌ در به‌ كارگيري‌ مديريت‌ كيفيت‌وضعيتي‌ عالي‌ داشته‌اند بنيان‌ نهاده‌اند. در ايالات‌متحد جايزه‌ كيفيت‌ ملي‌ مالكوم‌ بالدريج‌، درانگلستان‌ جايزه‌ كيفيت‌ بريتانياي‌ كبير، در اروپاجايزه‌ كيفيت‌ اروپا، در ژاپن‌ جايزه‌ دمنيگ‌همچنين‌ جايزه‌ كيفيت‌ ژاپن‌، مورد استفاده‌ قرارگرفته‌ است‌. طي‌ چند سال‌ گذشته‌، بسياري‌ ازكشورهاي‌ ديگر از جمله‌ سنگاپور و فيليپين‌ نيزجايزه‌هاي‌ كيفيت‌ ملي‌ خود را ايجاد كرده‌اند.
اين‌ برنامه‌هاي‌ جايزه‌ كيفيت‌ ملي‌ سبب‌ ارتقاي‌آگاهي‌ كيفيت‌، شناسايي‌ و درك‌ موفقيتهاي‌ كيفيت‌بنگاهها مي‌شود و پايه‌اي‌ را جهت‌ سهيم‌شدن‌ درابتكارات‌ موفقيت‌ مديريت‌ كيفيت‌ فراهم‌ مي‌آورد.بسياري‌ از جايزه‌هاي‌ كيفيت‌ ملي‌ چارچوبي‌ ازشاخصها و ملاكها را به‌كار ببرند كه‌ به‌ دنبال‌ارزيابي‌ كيفيت‌ مربوط به‌ عملكرد سازمانها باشد.اين‌ معيارها سازمانها را وامي‌دارند كه‌ شواهدي‌دال‌ بر به‌ كارگيري‌ رويكردهاي‌ مبتكرانه‌، به‌كارگيري‌ گسترده‌ اين‌ رويكردها، و فلسفه‌اي‌ براي‌بهبود مستمر آنها ارائه‌ دهند. اين‌ الزامات‌پيش‌نيازهايي‌ براي‌ سازمانها جهت‌ اجرا و توسعه‌كيفيت‌ فرايند كار، محصولات‌ و خدمات‌ هستند.سازمانها مي‌توانند در سير كيفيت‌ خود راههاي‌مختلفي‌ را تعقيب‌ كنند، بنابراين‌ ملاكها به‌ دنبال‌القاي‌ راهكار خاصي‌ نيستند بلكه‌ در عوض‌ آنهاهنگام‌ ارزيابي‌ متكي‌ به‌ دورنمايي‌ از پيش‌ترسيم‌نشده‌ هستند.
بسياري‌ از اين‌ جايزه‌ها داراي‌ ملاكهاي‌ مشابهي‌هستند كه‌ از جمله‌ مي‌توان‌ به‌ موارد زير اشاره‌ كرد:رهبري‌، تجزيه‌ و تحليل‌ اطلاعات‌، مديريت‌فرايند، برنامه‌ريزي‌ راهبردي‌، مديريت‌ منابع‌انساني‌، همكاري‌، مسئوليت‌ اجتماعي‌، نتايج‌كيفيت‌، نتايج‌ عمليات‌ و رضايت‌ مشتري‌. دراغلب‌ اين‌ جايزه‌ها، بنگاهها بر مبناي‌ رويكردهاي‌خود مورد ارزيابي‌ قرار مي‌گيرند، عمق‌ به‌ كارگيري‌رويكردها و نتايج‌ عملكرد وابسته‌ به‌ عمليات‌ به‌كيفيت‌ و رضايت‌ مشتري‌ پيوند مي‌خورد(EFQM, 1999, NIST, 1999b). عناصرارزياب‌ تلاش‌ مي‌كنند كه‌ رويكردها را به‌ نتايج‌مربوط كنند و نمونه‌ها در عرصه‌ منابع‌ انساني‌ ورضايت‌ مشتريان‌ قرار دارند. در فرمهاي‌ واقعي‌جايزه‌، بنگاهي‌ كه‌ رويكرد خاصي‌ را براي‌مديريت‌ يا توسعه‌ منابع‌ انساني‌ خود به‌ كار گرفته‌باشد بايد نتايج‌ عملكرد ناشي‌ از به‌ كارگيري‌ اين‌رويكردها را نيز گزارش‌ كند. بنابراين‌، بنگاههاي‌مختلف‌ در كشورهاي‌ مختلف‌ ممكن‌ است‌رويكردهاي‌ متفاوتي‌ را به‌ كار گيرند و در اين‌صورت‌ نتايج‌ عملكردي‌ مورد ارزيابي‌ براساس‌رويكرد به‌ كار گرفته‌ شده‌ سنجيده‌ خواهد شد. اين‌امر، باعث‌ حصول‌ اين‌ اطمينان‌ براي‌ بنگاههامي‌شود كه‌ آنها بر مبناي‌ نتايج‌ و اثربخشي‌رويكردهاي‌ به‌ كار گرفته‌ شده‌ توسط خود ارزيابي‌مي‌شوند.
وضعيت‌ واقعي‌ ارزيابي‌ براي‌ اغلب‌ اين‌جايزه‌هاي‌ كيفيت‌، ارزيابي‌ فرمهاي‌ مكتوب‌ توسطتيم‌هاي‌ ارزياب‌ كيفيت‌ است‌. فرمهاي‌ مكتوب‌توضيح‌ جامعي‌ از نحوه‌ دستيابي‌ بنگاه‌ به‌معيارهاي‌ جايزه‌ را ارائه‌ مي‌كند. هر فرم‌ نمونه‌جزئياتي‌ را در مورد انواع‌ رويكردهاي‌ به‌ كار رفته‌،سطح‌ بكارگيري‌ آنها و نتايج‌ عملكردي‌ مرتبطبااين‌ رويكردها را تامين‌ مي‌كند. بنگاههايي‌ كه‌فرمهاي‌ خود را براي‌ جايزه‌ تسليم‌ مي‌كنند،بازخورد كاملي‌ از تيم‌ ارزيابي‌كننده‌ نسبت‌ به‌ نكات‌قوت‌ و ضعف‌ مربوط به‌ رويكردهاي‌ مديريت‌كيفيت‌ خود دريافت‌ مي‌كنند. همچنين‌ براي‌فرمهاي‌ ارسالي‌ خود امتياز عددي‌ نيز مي‌گيرند.بنگاههاي‌ متقاضي‌ جايزه‌، براي‌ مهياسازي‌ فرم‌درخواست‌ ماهها وقت‌ صرف‌ مي‌كنند و هر كدام‌ ازاين‌ گزارشها ممكن‌ است‌ نزديك‌ به‌ 80 تا 100صفحه‌ باشد (PSB, 1996).
اين‌ فرايند يك‌ فرايند طولاني‌ و خسته‌كننده‌است‌، اين‌ طولاني‌ بودن‌ معمولا بسياري‌ از بنگاههارا از متقاضي‌ شدن‌ براي‌ جايزه‌ باز مي‌دارد مگراينكه‌ فكر كنند كه‌ آماده‌ هستند و در مرحله‌اي‌ ازمسير كيفيت‌ قرار دارند كه‌ شانس‌ بردن‌ جايزه‌ براي‌آنها زياد است‌. با وجود اين‌، معيارهاي‌ مورد استفاده‌در جايزه‌ ملي‌ امكان‌ ارزيابي‌ جامع‌ عملكرد درزمينه‌هاي‌ مختلف‌ را در سازمان‌ فراهم‌ مي‌كند.بنگاهها مي‌توانند به‌ صورتي‌ منظم‌ چارچوب‌ارزيابي‌ را براي‌ سنجش‌ عملكرد كيفيت‌ جاري‌ خودبا ديگران‌ مورد استفاده‌ قرار دهند و زمينه‌هاي‌ بهبودرا مشخص‌ كنند. براي‌ تسهيل‌ به‌ كارگيري‌ گسترده‌ترمعيارهاي‌ جايزه‌، يك‌ ابزار خود ـ ارزيابي‌ در قالب‌پرسشنامه‌ مبتني‌ بر همايش‌ مي‌تواند براي‌اندازه‌گيري‌ عناصر اساسي‌ در هر كدام‌ از معيارهامورد استفاده‌ قرار گيرد. اين‌ ابزار خود ـ ارزيابي‌مي‌تواند توسط كميته‌ جايزه‌ سازمانهايي‌ كه‌ براي‌متقاضي‌ شدن‌ جايزه‌ كيفيت‌ واقعا آماده‌ نيستند امامايل‌اند سطح‌ عملكرد كيفيت‌ واقعي‌ (جاري‌) خودرا ارزيابي‌ كنند به‌ كار گرفته‌ شود. استفاده‌ از اين‌پيمايش‌ خود ـ ارزيابي‌ از جانب‌ يك‌ واحد مركزي‌به‌ آغاز و برپايي‌ اطلاعات‌ ترازيابي‌ بنگاه‌ درون‌ وخارج‌ صنعت‌ كمك‌ مي‌كند.
اين‌ مقاله‌ روش‌شناسي‌ توسعه‌يافته‌اي‌ كه‌معيارهاي‌ ارزيابي‌ جايزه‌ كيفيت‌ ملي‌ را به‌ عنوان‌مبنايي‌ براي‌ ايجاد و خلق‌ ابزار خود ـ ارزيابي‌جهت‌ اندازه‌گيري‌ عملكرد كيفيت‌ سازمانها مورداستفاده‌ قرار داده‌ را ارائه‌ مي‌كند. در اين‌ بررسي‌،چارچوب‌ SQA مورد استفاده‌ قرار گرفته‌ است‌.معيارهاي‌ مورد استفاده‌ توسط SQA كاملا مشابه‌معيارهايي‌ است‌ كه‌ در چارچوب‌ جايزه‌ بالدريج‌در 1997 به‌ كار گرفته‌ شد. در اين‌ مقاله‌، ما بايدتوسعه‌ ابزار ارزيابي‌ و نتايج‌ معتبر آن‌ را مورد بحث‌قرار دهيم‌. تاكيد بر روشي‌ است‌ كه‌ در آن‌ عناصر به‌دست‌ مي‌آيند، سازوكار مناسب‌ امتيازدهي‌ به‌كارمي‌رود، فرايندي‌ كه‌ به‌ كار گرفته‌ مي‌شود بايدمعتبر باشد. ابزارهاي‌ خود ـ ارزيابي‌ در معيارهاي‌جايزه‌ كيفيت‌ ملي‌ كشورهاي‌ مختلف‌ مي‌تواند برمبناي‌ روش‌ توسعه‌ توضيح‌ داده‌ شده‌ در اين‌ مقاله‌تعميم‌ داده‌ شود.

مرور نوشتار
مديريت‌ كيفيت‌ و عملكرد كسب‌ و كار (سازمان‌)
هاكمن‌ و واگمن‌ (1995) يك‌ تحليل‌ مفهومي‌ ازمديريت‌ كيفيت‌ جامع‌ (TQM) ارائه‌ كرده‌ و در آن‌اينكه‌ آيا TQM يك‌ امري‌ واقعي‌ است‌ يا عمدتاتبديل‌ به‌ مانعي‌ شده‌ است‌ كه‌ در سايه‌ آن‌ تغييرات‌سازماني‌ غيرمرتبط به‌ صورت‌ ملغمه‌اي‌ پذيرفته‌مي‌شود را مورد بررسي‌ قرار داده‌اند. نتيجه‌مطالعات‌ آنها نشان‌ داد كه‌ TQM به‌ درجاتي‌ موارداعلامي‌ بنيانگذاران‌ آن‌ را منعكس‌ مي‌كند و درفعاليت‌ سازماني‌ مجموعه‌اي‌ از مفروضات‌ ودستورعملهاي‌ مشترك‌ را نشان‌ مي‌دهد. با وجوداين‌، آنها دريافتند كه‌ TQM به‌ روشني‌ از سايرفعاليتهاي‌ جاري‌ سازمان‌ متمايز نيست‌. آنهاهمچنين‌ اثرهاي‌ برنامه‌ TQM را بر روي‌ نتايج‌ وپيامدها مورد مطالعه‌ قرار دادند و نتيجه‌گيري‌كردند كه‌ پژوهشها در حد وسيعي‌ بر روي‌ نتايج‌كلي‌ متمركز بوده‌ و نتايج‌ بر مبناي‌ موارد گزارش‌شده‌، كاملا مثبت‌ بوده‌ است‌. در نتيجه‌گيري‌ آنهاچنين‌ گفتند:

"مديريت‌ كيفيت‌ جامع‌ آنگونه‌ كه‌ توسط دمينگ‌،ايشيكاوا و جوران‌ مطرح‌ شد مجموعه‌اي‌ ازمداخله‌هاي‌ قدرتمندي‌ است‌ كه‌ در درون‌ بسته‌اي‌جذاب‌ پيچيده‌ شده‌ است‌. هنگامي‌ كه‌ TQM به‌خوبي‌ اجرا شود، سازمان‌ را در بهسازي‌ خود ياري‌مي‌رساند و در عمل‌ مي‌تواند سبب‌ شود كه‌ سازمان‌به‌ جامعه‌ و اعضاي‌ خود خدمات‌ بهتري‌ ارائه‌ كند."
در ادامه‌ نتايج‌ تعدادي‌ از بررسيها كه‌ در آنها به‌اجرا در آمدن‌ TQM گزارش‌ شده‌ است‌ و تاثير آن‌بر عملكرد كلي‌ سازمانها مورد بحث‌ قرار مي‌گيرد.
بنگاه‌ سيستمهاي‌ عمومي‌ (شركت‌ پيتفيلد وام‌. آ) بنگاه‌ مشاوره‌ مديريت‌ كيفيت‌ كه‌ زير
نظر استاد كيفيت‌ آرمند وي‌. فيجن‌بام‌2 اداره‌مي‌شود و يك‌ بانك‌ داده‌ خصوصي‌ را براي‌مشتريان‌ خود فراهم‌ آورده‌ است‌، گزارش‌ كرده‌است‌ كه‌ بنگاههايي‌ كه‌ سيستم‌ TQM را موردبهره‌برداري‌ قرار مي‌دهند به‌ صورتي‌ پيوسته‌،هنجارهاي‌ صنعتي‌ را براي‌ برگشت‌ سرمايه‌ افزايش‌داده‌اند (GAO, 1991, pp. 12-13).
در سال‌ 1991، كنگره‌ آمريكا اداره‌ حسابرسي‌عمومي‌ (GAO) را موظف‌ به‌ تعيين‌ اثر اجرايي‌TQM رسمي‌ در عملكرد 20 بنگاهي‌ كرد كه‌ درميان‌ دارندگان‌ بالاترين‌ امتياز متقاضيان‌ جايزه‌كيفيت‌ ملي‌ بالدريج‌ در سال‌هاي‌ 1988 و 1989بوده‌اند. نتيجه‌ اين‌ مطالعه‌ نشان‌ داد كه‌ بنگاههايي‌كه‌ TQM را اجرا كرده‌اند، عملكرد سازمان‌ (بنگاه‌)آنها بهبود كلي‌ پيدا كرده‌ است‌. تقريبا در تمامي‌موارد، اين‌ سازمانها موفق‌ به‌ دستيابي‌ به‌ روابطبهتر بين‌ كاركنان‌، بهره‌وري‌ بالاتر، رضايت‌ بالاترمشتريان‌، سهم‌ بالاتر بازار، و بهبود سوددهي‌شده‌اند (GAO, 1991).
از نتايج‌ مطالعات‌ صورت‌ گرفته‌، مي‌توان‌نتيجه‌گيري‌ كرد كه‌ اجراي‌ TQM نتايج‌ مثبتي‌ رابراي‌ سازمانها به‌ همراه‌ دارد. اين‌ يافته‌ها نتيجه‌گيريهاي‌ هاكمن‌ و واگمن‌ را تاييد مي‌كند به‌اين‌ معنا كه‌، وقتي‌ TQM به‌ درستي‌ به‌ اجرا گذاشته‌شود، مي‌تواند سازمان‌ را در بهسازي‌ خود و ارائه‌خدمت‌ بهتر به‌ اعضاي‌ جامعه‌اش‌ كمك‌ كند.
مقايسه‌ جايزه‌هاي‌ كيفيت‌ ملي‌ مهم‌
براي‌ درك‌ بهتر معيار ارزيابي‌ جايزه‌هاي‌ كيفيت‌ملي‌ مهم‌، در اختيار داشتن‌ بياني‌ خلاصه‌ ازچارچوبهاي‌ گزينش‌شده‌، منطقي‌ به‌ نظر مي‌رسد.ويژگيهاي‌ برجسته‌ سه‌ جايزه‌ كيفيت‌ ملي‌ يعني‌: جايزه‌ كيفيت‌ ملي‌ مالكوم‌ بالدريج‌(MBNQA)، جايزه‌ كيفيت‌ اروپايي‌ (EQA) وجايزه‌ كيفيت‌ سنگاپور (SQA) ارائه‌ مي‌شوند.تشابهات‌ و اختلافات‌ اين‌ سه‌ مدل‌ مورد بحث‌قرار مي‌گيرد. ذكر اين‌ نكته‌ ضروري‌ است‌ كه‌ جايزه‌كيفيت‌ سنگاپور (SQA) به‌ عنوان‌ مبنايي‌ براي‌توسعه‌ ابزار خود ـ ارزيابي‌ مورد استفاده‌ بوده‌است‌.
چارچوب‌ جايزه‌ كيفيت‌ ملي‌ مالكوم‌ بالدريج‌ 1997
معيار تعالي‌ عملكرد براي‌ سازمانها چارچوبي‌جامع‌ و نتيجه‌گرا جهت‌ به‌ اجرا درآوردن‌ و ارزيابي‌تمامي‌ فرايندها براي‌ اداره‌ تمام‌ عمليات‌ سازماني‌فراهم‌ مي‌آورد (NIST, 1999b). چارچوب‌ شامل‌هفت‌ معيار است‌ كه‌ عبارت‌اند از: رهبري‌،برنامه‌ريزي‌ راهبردي‌، تمركز بر بازار و مشتري‌،اطلاعات‌ و تجزيه‌ و تحليل‌، تمركز بر منابع‌ انساني‌،مديريت‌ فرايند و نتايج‌ كسب‌وكار (براي‌ اطلاعات‌بيشتر به‌ وب‌ سايت‌ www.quality,nist,govمراجعه‌ كنيد.)

جايزه‌ كيفيت‌ اروپايي‌
معيار جايزه‌ كيفيت‌ اروپايي‌ متكي‌ بر مدل‌ بنياداروپايي‌ مديريت‌ كيفيت‌ (EFQM) براي‌ تعالي‌سازماني‌ است‌ . اين‌ چارچوب‌ متكي‌ بر اين‌ مفهوم‌ است‌ كه‌رضايت‌ مشتري‌، رضايت‌ كاركنان‌ و تاثير بر جامعه‌از طريق‌ خط مشي‌ و راهبرد مديريت‌ كاركنان‌،منابع‌ و فرايندها ناشي‌ از رهبري‌ سازماني‌ هستندو نهايتا منجر به‌ نتايج‌ تعالي‌ سازمان‌ مي‌شود. اززمان‌ پيدايش‌ اين‌ مدل‌ در سال‌ 1991 مدل‌ تعالي‌سازمان‌ (BEM) به‌ خوبي‌ ميان‌ سازمانهاي‌اروپايي‌ به‌ عنوان‌ ابزاري‌ شناخته‌ شده‌ مستقر شده‌است‌ و بسياري‌ از كشورهاي‌ اروپايي‌ جايزه‌ كيفيت‌ملي‌ خود را بر چارچوب‌ و معيار BEM بنانهاده‌اند (Porter, et al, 1996).

جايزه‌ كيفيت‌ سنگاپور (SQA)
SQA با بهره‌گيري‌ از بهترين‌ ويژگيهاي‌ مدل‌ جايزه‌كيفيت‌ بالدريج‌ آمريكا، جايزه‌ كيفيت‌ اروپايي‌ وجايزه‌ دمينگ‌ ژاپن‌ مدلسازي‌ شده‌ است‌. به‌ عنوان‌نماد تعالي‌ سازمان‌ جهاني‌،  SQAسازمانها راتشويق‌ به‌ تحكيم‌ سيستم‌ مديريتي‌ خود براي‌بهبود رقابت‌جويي‌ آنها مي‌كند (PSB, 1996).هفت‌ دسته‌بندي‌ در معيارهاي‌ جايزه‌ كيفيت‌ وجوددارد. شكل‌ 3 رابطه‌ پوياي‌ بين‌ اين‌ معيارها را نشان‌مي‌دهد. بايد متذكر شد كه‌ ملاك‌  SQAبسيار شبيه‌ آنهايي‌ است‌ كه‌ قبل‌ از 1997 به‌ كار مي‌رفت‌،جايزه‌ كيفيت‌ ملي‌ مالكوم‌ بالدريج‌ دقيقا معيارهاي‌ارزيابي‌ مشابهي‌ را داشت‌.
بررسي‌ چارچوبهاي‌ سه‌ گانه‌ فوق‌مشابهتهاي‌ جدي‌ بين‌ MBNQA و SQA راآشكار مي‌كند. اما، تفاوتهايي‌ بين‌ وزنها،"موضوعات‌ ارزيابي‌" و "قلمروهاي‌ مورد توجه" در اين‌ دو چارچوب‌ وجود دارد. به‌ نظر مي‌رسد كه‌EQM تا اندازه‌اي‌ در ساختار و معيارهاي‌ ارزيابي‌با دو چارچوب‌ ديگر متفاوت‌ است‌. بررسي‌دقيقتر نشان‌ مي‌دهد كه‌ تشابهات‌ اين‌ سه‌چارچوب‌ بيشتر از تفاوتهاي‌ آنهاست‌. جدول‌ 1اين‌ تشابهات‌ و تفاوتها را به‌ صورت‌ خلاصه‌ نشان‌مي‌دهد.
با در نظر گرفتن‌ تجزيه‌ و تحليل‌ بالا، مي‌توان‌چنين‌ نتيجه‌گيري‌ كرد كه‌: بهره‌گيري‌ از هر كدام‌ از چارچوبهاي‌ جايزه‌ كيفيت‌ ملي‌ بيان‌ شده‌ براي‌خود ـ ارزيابي‌ جهت‌ دستيابي‌ به‌ مديريت‌ كيفيت‌هر سازماني‌ مناسب‌ و مفيد است‌.

ابزارهاي‌ خود ـ ارزيابي‌
نوشتارهاي‌ مربوط به‌ موضوع‌ (بعد نظري‌) حاكي‌از آن‌اند كه‌ ابزار خود ـ ارزيابي‌ متكي‌ بر مدلهاي‌تعالي‌ سازماني‌ مديريت‌ كيفيت‌، مفيد وكمك‌كننده‌ است‌. براي‌ مثال‌ ويلسون‌ (1998)تاكيد مي‌كند كه‌ مدل‌ تعالي‌ سازماني‌ كه‌ توسط  EFQMترغيب‌ مي‌شود، محركي‌ اصلي‌ براي‌خود ـ ارزيابي‌ در انگلستان‌ و سرتاسر اروپا بوده‌است‌. جونز (1999) نشان‌ مي‌دهد كه‌ بنگاههايي‌كه‌ از مدل‌  EFQMبراي‌ خود ـ ارزيابي‌ استفاده‌مي‌كنند، مدل‌ به‌ صورتي‌ نظام‌مند به‌ تشخيص‌ واصلاح‌ نارسهاييهاي‌ عملكردي‌ آنها كمك‌ مي‌كند.بررتون‌ (1996) پيشنهاد مي‌كند كه‌ استفاده‌ از يك‌مدل‌ مشخص‌ به‌ انجام‌ خود ـ ارزيابي‌ به‌ صورتي‌سريع‌ و كارآمد كمك‌ مي‌كند. براساس‌ نظرات‌ايشان‌ مدل‌ جايزه‌ كيفيت‌ انگلستان‌ / اروپايي‌ به‌صورتي‌ موفقيت‌آميز در جامعه‌ اروپايي‌ موردبهره‌برداري‌ قرار گرفته‌ است‌.
در جدول‌ 2 تعدادي‌ از مقاله‌هاي‌ منتشر شده‌در مورد خود ـ ارزيابي‌ به‌ صورتي‌ خلاصه‌ آمده‌است‌.
وو و همكارانش‌ (Wu et al, 1997) بر مبناي‌دسته‌بندي‌ هفتگانه‌ MBNQA و  MQAوسيله‌اي‌را براي‌ خود ـ ارزيابي‌ ابداع‌ كردند. هدف‌ مطالعه‌ آنها توسعه‌ ابزار ساده‌ و كارآمدي‌ بود كه‌ بتواند درجاهايي‌ كه‌ معيار ارزيابي‌ بالدريج‌ به‌ صورت‌ كامل‌اجرا مي‌شود، مورد استفاده‌ قرار گيرد. اين‌ اهداف‌ ازطريق‌ تهيه‌ پرسشنامه‌ بسيار گسترده‌اي‌ كه‌ براي‌جمع‌آوري‌ اطلاعات‌ از سازمانهاي‌ شركت‌كننده‌تدارك‌ ديده‌ شد پيگيري‌ شد و اطلاعات‌ جمع‌آوري‌شده‌ براي‌ تعيين‌ پاسخهاي‌ وابسته‌ به‌ عملكردTQM اندازه‌گيري‌ شده‌ با امتيازات‌ MQA موردتجزيه‌ و تحليل‌ قرار گرفت‌. اين‌ سئوالات‌ بعدا به‌تعداد اندكي‌ تقليل‌ داده‌ شد تا بتواند براي‌ پيش‌بيني‌عملكرد TQM مورد استفاده‌ قرار گيرد.
براون‌ (Brown 1997) توسعه‌ پرسشنامه‌خود ـ ارزيابي‌ براي‌ ارزيابي‌ سطح‌ اقدامات‌مديريت‌ كيفيت‌ سازمانهايي‌ كه‌ معيار بالدريج‌1997 را استفاده‌ مي‌كردند، را اعلام‌ كرد.پرسشنامه‌، مقياسي‌ ده‌ گويه‌اي‌ را استفاده‌ مي‌كرد(كاملا، بله‌ = 10 و ابدا، خير = 0) طبعا اين‌ ابزارپيمايشي‌ موضوع‌ آزمونهاي‌ دقيق‌ قابليت‌ اطمينان‌و اعتبار قرار نگرفت‌.
پري‌ باتوك‌ و استافورد (1997) توسعه‌ واستفاده‌ يك‌ ابزار خود ـ ارزيابي‌ متكي‌ برMBNQA را براي‌ سازمان‌ بهداشت‌ در آمريكاگزارش‌ دادند. ابزار خود ـ ارزيابي‌ از طريق‌ آزمون‌محتواي‌ هر كدام‌ از معيارهاي‌ اصلي‌ MBNQAتوسعه‌ داده‌ شد. اما، به‌ دليل‌ تكميل‌ نبودن‌پرسشنامه‌هاي‌ برگشت‌ داده‌ شده‌، تجزيه‌ و تحليل‌عوامل‌، آزمونهاي‌ قابليت‌ اطمينان‌ و اعتبار قابل‌انجام‌ نبود. تنها از آمار توصيفي‌ براي‌ مشخص‌كردن‌ وضعيت‌ جاري‌ اقدامات‌ مديريت‌ كيفيت‌سازمان‌ استفاده‌ شد.
كوازي‌ و همكاران‌ (1998) چارچوبي‌ را براي‌>عوامل‌ بحراني‌ موفقيت‌< در مديريت‌ كيفيت‌توسعه‌يافته‌ توسط صراف‌ و همكاران‌ (1989)مورد استفاده‌ قرار دادند و اعتبار اين‌ ابزار درسنگاپور مورد آزمون‌ قرار گرفت‌. قابل‌ ذكر است‌ كه‌كار صراف‌ تركيبي‌ از آن‌ چيزهايي‌ بود كه‌ در نوشتاركيفيت‌ وجود داشت‌ و متكي‌ به‌ هيچ‌ مدل‌ جايزه‌كيفيت‌ ملي‌ نبود. نويسندگان‌ ادعا كردند كه‌ ابزارپيشنهادي‌ از استحكام‌ لازم‌ براي‌ مورد استفاده‌ قرارگرفتن‌ به‌ عنوان‌ يك‌ ابزار خود ـ ارزيابي‌ براي‌اقدامات‌ مديريت‌ كيفيت‌ برخوردار است‌.
كوازي‌ و پاديجو (1998) توسعه‌ و كاربرد يك‌ابزار بررسي‌ متكي‌ بر مدلهاي‌ بالدريج‌ / سنگاپوررا گزارش‌ دادند. 39 عنوان‌ در پرسشنامه‌ موردبررسي‌ قرار گرفت‌. پرسشنامه‌ شامل‌ سه‌ عنوان‌اضافي‌ براي‌ اندازه‌گيري‌ عملكرد كيفيت‌ بنگاههاي‌پاسخ‌دهنده‌ بود. تجزيه‌ و تحليل‌هاي‌ لازم‌ براي‌سنجش‌ اعتبار و قابليت‌ اطمينان‌ ابزار توسعه‌ يافته‌انجام‌ شد. آمار توصيفي‌ براي‌ گزارش‌ اقدامات‌مديريت‌ كيفيت‌ سازمانهاي‌ كوچك‌ و متوسطمورد استفاده‌ قرار گرفت‌.

نياز به‌ روش‌ ارزيابي‌ جامع‌
بررسي‌ روشهاي‌ خود ـ ارزيابي‌ توسعه‌يافته‌ درچندساله‌ اخير، نشان‌ داده‌ است‌ كه‌ بنگاهها ازاندازه‌گيري‌ سريع‌ عملكرد كيفيت‌ جاري‌ خود بدون‌اينكه‌ مجبور باشند اين‌ كار را از طريق‌درخواستهاي‌ جايزه‌ كيفيت‌ رسمي‌ انجام‌ دهندسود مي‌برند. گرچه‌ ابزار خود ـ ارزيابي‌ مي‌تواندهمراه‌ با خطوط راهنمايي‌ متفاوتي‌ به‌ كار رود،معيارهاي‌ موجود در جايزه‌هاي‌ كيفيت‌ ملي‌، مانندMBNQA، EFQM و SQA و مانند آنهامي‌تواند به‌ عنوان‌ چارچوب‌ قابل‌ اعتمادي‌ براي‌طراحي‌ چنين‌ ابزاري‌ جهت‌ ارزيابي‌ عمليات‌مديريت‌ كيفيت‌ يك‌ سازمان‌ به‌ كار گرفته‌ شوند.
بجز مطالعات‌ وو و همكاران‌ (1997) وپري‌باتوك‌ و همكاران‌ (1997) كه‌ تلاش‌ در دنبال‌كردن‌ دقيق‌ معيارهاي‌ مطرح‌ شده‌ توسط جايزه‌كيفيت‌ ملي‌ دارند، ساير ابزارهاي‌ خود ـ ارزيابي‌مورد بحث‌ قبلي‌ چنين‌ عمل‌ نكرده‌اند. اما، ابزارخود ـ ارزيابي‌ توسعه‌يافته‌ توسط اين‌ نويسندگان‌،نشان‌ نداده‌ است‌ كه‌ مي‌تواند سنجشي‌ از عملكردكيفيت‌ ارائه‌ دهد كه‌ مشابه‌ آن‌ چيزي‌ است‌ كه‌ گروه‌ارزيابان‌ كيفيت‌ در صورت‌ تهيه‌ و ارائه‌درخواستهاي‌ رسمي‌ مي‌توانند در زمان‌ مشابه‌ ارائه‌كنند.
علاوه‌ بر اين‌، در مطالعه‌ وو و همكارانش‌،>كسب‌ و كار< به‌ عنوان‌ يك‌ معيار در ابزار خود ـارزيابي‌ ديده‌ نشده‌ است‌. اين‌ معيار در چارچوب‌جايزه‌ وجود داشت‌. در چنين‌ وضعيتي‌،بنگاههايي‌ كه‌ در انجام‌ مطالعه‌ مشاركت‌ مي‌كردندحداقل‌ بايد درك‌ روشني‌ از سطح‌ عملكرد كيفي‌خود در هر كدام‌ از معيارهاي‌ قبلي‌ براي‌ پر كردن‌پرسشنامه‌ خود ـ ارزيابي‌ داشته‌ باشند.
احتمالا آنها بازخوردهايي‌ را از درخواستهاي‌رسمي‌ (MQA) خود دريافت‌ كرده‌اند حتي‌ اگرامتيازات‌ رسمي‌ نشان‌دهنده‌ وضعيت‌ آنها نباشد.علاوه‌ بر اين‌، مقايسه‌ امتيازاتي‌ كه‌ در دوره‌هاي‌زماني‌ متفاوت‌ ثبت‌ شده‌اند، ممكن‌ است‌سازگاري‌ بين‌ امتيازات‌ اندازه‌گيري‌ شده‌ را تضمين‌نكند. ممكن‌ است‌ عملكرد كيفيت‌ بنگاهها در طول‌زمان‌ تغيير كند. در نهايت‌، امتيازدهي‌ توسطارزيابان‌ كيفيت‌ متكي‌ بر يك‌ ارزيابي‌ كلي‌ ازچيزهايي‌ است‌ كه‌ سازمان‌ در ارتباط با الزامات‌معيار به‌ دست‌ آورده‌ است‌. يك‌ سازمان‌ ممكن‌است‌ در جنبه‌ خاصي‌ ضعيف‌ باشد در حاليكه‌امتياز كلي‌ خوبي‌ را براي‌ معيار به‌ دست‌ آورد.اجراي‌ طرح‌ شده‌ در ابزار خود ـ ارزيابي‌ براي‌ يك‌معيار خاص‌ بايد قادر به‌ اندازه‌گيري‌ هر كدام‌ از اين‌جنبه‌ها باشد. در اين‌ بررسي‌، عناصر غيرمرتبط باامتيازات‌ رسمي‌ MQA براي‌ معيار از پرسشنامه‌حذف‌ شده‌اند. حذف‌ اين‌ عناصر از پرسشنامه‌ ابزارخود ـ ارزيابي‌ باعث‌ عدم‌ ارزيابي‌ تمامي‌ جنبه‌هاي‌موجود در چارچوب‌ جايزه‌ مي‌شود.
در تحقيق‌ پري‌باتوك‌، ابزار توسعه‌يافته‌ تنها دريك‌ بنگاه‌ به‌ آزمون‌ گذاشته‌ شده‌ و طبعا آزمونهاي‌جدي‌ براي‌ تعيين‌ ميزان‌ اطمينان‌ انجام‌ نشده‌ است‌.همچنين‌، شواهد كافي‌ براي‌ نشان‌ دادن‌ اينكه‌ ابزارخود ـ ارزيابي‌ در تلاش‌ براي‌ پيروي‌ از يك‌ الگوي‌امتيازدهي‌ رسمي‌ مورد استفاده‌ در برنامه‌ جايزه‌كيفيت‌ ملي‌ است‌، در دست‌ نيست‌. يك‌ ابزار خود ـارزيابي‌ كه‌ دقيقا معيار جايزه‌هاي‌ كيفيت‌ ملي‌ راتعقيب‌ كند، اما سازوكار امتيازدهي‌ مشابه‌ باالگوهاي‌ امتيازدهي‌ گروههاي‌ ارزياب‌ كيفيت‌ رافراهم‌ نكند، ممكن‌ است‌ معتبر باشد اما قابليت‌اطمينان‌ نداشته‌ باشد.
يك‌ ابزار خود ـ ارزيابي‌ معتبر براي‌ عملكردكيفيت‌ بايد دو شرط اصلي‌ را تامين‌ كند. اول‌; بايدآن‌ چيزي‌ را كه‌ انتظار مي‌رود اندازه‌گيري‌ كند، در اين‌حالت‌ اندازه‌گيري‌ تمام‌ ابعاد سازمان‌ (كسب‌ و كار)كه‌ به‌ عنوان‌ عناصر موثر بر روي‌ عملكرد كيفيت‌ كل‌سازمان‌ تلقي‌ مي‌شوند، مورد توجه‌ است‌. دوم‌; بايدقادر به‌ اندازه‌گيري‌ كامل‌ اين‌ ابعاد باشد، در اين‌حالت‌ تامين‌ و ارائه‌ امتيازي‌ كه‌ معتبر و قابل‌ مقايسه‌در درون‌ صنعت‌ يا در تمام‌ صنايع‌ باشد مورد نظراست‌. بنابراين‌، استفاده‌ از معيار كيفيت‌ ملي‌ به‌عنوان‌ چارچوبي‌ براي‌ توسعه‌ ابزار خود ـ ارزيابي‌ وحصول‌ اطمينان‌ از اينكه‌ سازوكار امتيازدهي‌ آن‌دقيقا الزامات‌ جايزه‌ كيفيت‌ ملي‌ واقعي‌ را در نظردارد، شرايط دوگانه‌ فوق‌ را تامين‌ مي‌كند.
همان‌گونه‌ كه‌ در ابتدا گفته‌ شد، هدف‌ اين‌ مقاله‌ارائه‌ روش‌ ارزيابي‌ جامعي‌ است‌ كه‌ متكي‌ بر معيارجايزه‌ كيفيت‌ ملي‌ باشد. تاكيد اين‌ مقاله‌ عمدتا برعناصر خاصي‌ كه‌ براساس‌ معيار جايزه‌ كيفيت‌ ملي‌مورد استفاده‌ توسعه‌ يافته‌اند، نيست‌. با وجود اين‌،تاكيد مقاله‌ بر روشي‌ است‌ كه‌ عناصر از طريق‌ آن‌ به‌دست‌ مي‌آيند، بر سازوكار امتيازدهي‌ مناسبي‌ است‌كه‌ بايد مورد استفاده‌ قرار گيرد، و اينكه‌ چگونه‌ بايدمطمئن‌ بودن‌ ابزار مشخص‌ شود. تعميم‌ روش‌پيشنهادي‌ خطوط راهنماي‌ مفيدي‌ را براي‌ توسعه‌ابزارهاي‌ خود ـ ارزيابي‌ متكي‌ بر ديگر چارچوبهاي‌جايزه‌ كيفيت‌ ملي‌ فراهم‌ مي‌آورد.

روش‌ ارزيابي‌
روش‌ پيشنهادي‌ ما به‌ دنبال‌ توسعه‌ يك‌ ارزيابي‌متكي‌ بر پرسشنامه‌ است‌ كه‌ به‌ وسيله‌ آن‌ عناصري‌كه‌ بايد اندازه‌گيري‌ شوند، مبتني‌ بر ماهيت‌ وساختار واقعي‌ معيار مورد استفاده‌ در جايزه‌ كيفيت‌ملي‌ است‌. عناصر با مقياس‌ فاصله‌اي‌ مشخص‌مي‌شوند. سازوكار امتيازدهي‌ از خطوط راهنماي‌امتيازدهي‌ تعيين‌شده‌ در جايزه‌ كيفيت‌ ملي‌ پيروي‌مي‌كند و همچنين‌ بعضي‌ روشهاي‌ امتيازدهي‌ گروه‌ارزيابان‌ را مورد توجه‌ قرار مي‌دهد. هدف‌ روش‌ارزيابي‌ تامين‌ ظرفيتهاي‌ اندازه‌گيري‌ است‌ كه‌ ازرويكردهاي‌ ارزيابي‌، ارزيابان‌ آموزش‌ديده‌ والگوهاي‌ امتيازدهي‌ گذشته‌ آنها پيروي‌ مي‌كند.جايزه‌ كيفيت‌ سنگاپور (SQA) به‌ عنوان‌ مبناي‌طراحي‌ پرسشنامه‌ مورد استفاده‌ قرار گرفته‌ است‌.
همان‌گونه‌ كه‌ قبلا گفته‌ شد، SQA داراي‌ هفت‌معيار (شاخص‌) و هر كدام‌ از اين‌ معيارها شامل‌چند زيربخش‌ (عناصر) است‌ كه‌ بايد مورد ارزيابي‌قرار گيرد. عناصر مربوط به‌ هر كدام‌ از معيارها،بيانگر جنبه‌هاي‌ مختلف‌ سازمان‌ است‌. روش‌ارزيابي‌ مورد استفاده‌ در SQA به‌ دنبال‌ امتيازدهي‌نحوه‌ عملكرد سازمان‌ در اين‌ زمينه‌هاست‌.

توسعه‌ ابزار خود ـ ارزيابي‌
تعيين‌ عناصر; رويكرد مورد استفاده‌ درطراحي‌ پرسشنامه‌ بايد الزامات‌ و نتايج‌ مورد نيازدر هر كدام‌ از معيارها را از طريق‌ مجموعه‌اي‌عناصر منعكس‌ كند. عناصر براي‌ هر كدام‌ اززيرمجموعه‌هاي‌ معيار تعيين‌ مي‌شود. دردرخواستهاي‌ رسمي‌ SQA در مجموع‌ بيست‌ وپنج‌ زيرمجموعه‌ در رابطه‌ با معيارهاي‌ هفتگانه‌وجود دارد.
قبل‌ از طراحي‌ پرسشنامه‌، جلسه‌ مصاحبه‌اي‌را با هيات‌ مديره‌ استاندارد و بهره‌وري‌ سنگاپور3(PSB) كه‌ تشكيلات‌ سازماني‌ SQA است‌،ترتيب‌ داديم‌. ما نحوه‌ آموزش‌ ارزيابان‌ كيفيت‌ براي‌امتياز دادن‌ به‌ درخواستهاي‌ رسمي‌ SQA وهمچنين‌ خطوط راهنمايي‌ امتيازدهي‌ كه‌ بايدرعايت‌ كنند را فرا گرفتيم‌. همچنين‌ روندامتيازدهي‌ براي‌ درخواستهاي‌ گذشته‌ را موردتجزيه‌ و تحليل‌ قرار داديم‌. روند امتيازدهي‌ به‌دامنه‌ امتيازات‌ داده‌ شده‌ به‌ تمام‌ درخواستهاي‌گذشته‌ SQA اشاره‌ داشت‌.
تمام‌ ارزيابان‌ براي‌ امتيازدادن‌ به‌ درخواستهاي‌مبتني‌ بر يك‌ چارچوب‌ نظام‌مند آموزش‌ داده‌مي‌شوند. آنها براي‌ بررسي‌ اينكه‌ آيا سازمانهاداراي‌ رويكردهاي‌ لازم‌ (برنامه‌ها) هستند، ميزان‌ وگستردگي‌ توسعه‌ رويكردهاي‌ آنها، و تعدادي‌ ازمعيارها، نتايجي‌ كه‌ در سايه‌ استفاده‌ از اين‌رويكردها به‌ دست‌ مي‌آيد و مانند آنها آموزش‌ داده‌مي‌شوند. همچنين‌ هر معيار مشخص‌كننده‌اقدامات‌ سازگار رويكردهاي‌ مورد استفاده‌سازمانها جهت‌ بهبود مستمر است‌. چون‌ معيارهاغيرتجويزي‌4 طراحي‌ مي‌شوند، ارزيابان‌ براي‌ارزيابي‌ قدرت‌ و توانايي‌ رويكردهاي‌ اجرا شده‌براي‌ تامين‌ الزامات‌ مورد نظر آموزش‌ داده‌مي‌شوند. آنها به‌ دنبال‌ قضاوت‌ نسبت‌ به‌رويكردها در مقايسه‌ با روشهاي‌ خاصي‌ نيستند.خطوط راهنماي‌ خاص‌ به‌ عنوان‌ معرف‌ عناصركليدي‌ مورد نياز براي‌ تامين‌ الزامات‌ هر كدام‌ ازمعيارها مشخص‌ شده‌ است‌. خطوط راهنماي‌مشابهي‌ براي‌ متقاضيان‌ جهت‌ بهره‌گيري‌ به‌ هنگام‌تهيه‌ پرسشنامه‌هاي‌ رسمي‌ وجود دارد.
عناصر طراحي‌ شده‌ براي‌ هر كدام‌ از معيارهادر پرسشنامه‌ها، در مقايسه‌ با چارچوب‌ ارزيابي‌ مورد استفاده‌ توسط ارزيابان‌ جايزه‌ كيفيت‌ ملي‌،مدلسازي‌ شده‌اند. براي‌ هر كدام‌ از زيربخشهاي‌معيارها، عناصري‌ جهت‌ ارزيابي‌ رويكرد موجود،ميزان‌ جا افتادن‌ رويكرد، و براي‌ بعضي‌ اززيربخشها، گستره‌ روندهاي‌ مثبت‌ در نتايج‌ حاصل‌،طراحي‌ شده‌اند (شكل‌ 4). از آنجا كه‌ معيارهاغيرتجويزي‌ هستند، طراحي‌ و توسعه‌ عناصر كلي‌(عام‌) قابل‌ كاربرد در بسياري‌ از صنايع‌ نسبتا ساده‌مي‌شود. تمام‌ عناصر از قالب‌ عددي‌ شش‌گويه‌5اي‌مشابهي‌ استفاده‌ مي‌كنند. دامنه‌ ارزيابي‌ از 1 (خيرابدا) تا 6 (به‌ مقدار بسيار زياد) است‌. براي‌ نمايش‌نحوه‌ طراحي‌ عناصر، عنصر 3ـ1 در معيار SQA درشكل‌ 5 را مورد مطالعه‌ قرار مي‌دهيم‌.
عنصر 3ـ1 به‌ فعاليت‌ مديريت‌ اشاره‌ مي‌كند.در دفترچه‌ درخواست‌ ارزيابي‌ بيان‌ شده‌ است‌ كه‌ارزيابي‌ اين‌ عنصر خاص‌ تنها مبتني‌ بر رويكرد واستقرار آن‌ است‌ (به‌ اين‌ معنا كه‌ قرار نيست‌ نتايج‌ارزيابي‌ شوند).
با استفاده‌ از اين‌ روش‌ طراحي‌ عنصر، ما عناصر تمامي‌ معيارهاي‌ هفتگانه‌ و زيربخشهاي‌(عناصر) بيست‌ و پنجگانه‌ را به‌ صورت‌ نظام‌مندطراحي‌ كرده‌ايم‌. آنگاه‌ پرسشنامه‌ها براي‌ گروهي‌ ازارزيابان‌ SQA (به‌ همراه‌ تعدادي‌ ازمشاركت‌كنندگان‌ گذشته‌) براي‌ آزمون‌ اعتبارمحتوايي‌ صوري‌ فرستاده‌ شد. از آنها خواسته‌ شدتا در ارتباط با الزامات‌ معيارهاي‌ SQA نسبت‌ به‌هر كدام‌ از عناصر با دقت‌ و وضوح‌ اظهارنظر كنند.تذكر اين‌ نكته‌ ضروري‌ است‌ كه‌ ابزار خود ـ ارزيابي‌بنگاهها را در مورد رويكردهاي‌ خاص‌ آنها موردسئوال‌ قرار نمي‌دهد. در عوض‌، از بنگاههاسئوالهاي‌ كمي‌ نسبت‌ به‌ اينكه‌ آيا رويكردهايي‌توسط آنها به‌ كار گرفته‌ مي‌شود و آيا اطلاعاتي‌ دراختيار دارند كه‌ نتايج‌ عملكرد بعضي‌ از اين‌رويكردها را نشان‌ دهد پرسيده‌ شد. سرانجام‌، يك‌پرسشنامه‌ 99 عنصري‌ بعد از پيوست‌ كردن‌بازخوردهاي‌ مربوط ارائه‌ شده‌ توسط گروه‌مصاحبه‌كنندگان‌، تكميل‌ شد.6
سازوكار امتيازدهي‌; چون‌ پرسشنامه‌ يك‌ ابزارارزيابي‌ كيفي‌ است‌، يك‌ امتياز عيني‌ بايد از هركدام‌ از پاسخهاي‌ وارد شده‌ در پرسشنامه‌ استخراج‌شود. امتياز عيني‌ بايد بتواند عملكرد كلي‌ عمليات‌(اقدامات‌) مديريت‌ كيفيت‌ در يك‌ سازمان‌ را ازعملكرد مربوط به‌ هر كدام‌ از معيارهاي‌ هفتگانه‌SQA از همديگر متمايز كند.
علاوه‌ بر لزوم‌ بازتاب‌ معيار  SQAتوسطسيستم‌ امتيازدهي‌، سازوكار امتيازدهي‌ براي‌ خود ـارزيابي‌ دو ويژگي‌ منحصر به‌ فرد را در هم‌ ادغام‌مي‌كند. ابتدا، براي‌ امتيازدهي‌ هر كدام‌ از عناصر درپرسشنامه‌ها وزن‌ مورد استفاده‌ قرار مي‌گيرد. دليل‌استفاده‌ از وزن‌ بازتاب‌ بازخورد به‌ دست‌ آمده‌ ازگروه‌ ارزيابان‌ مجرب‌ در زمينه‌ ارزيابي‌درخواستهاي‌ واقعي‌ SQA است‌. روندهاي‌امتيازات‌ گذشته‌ براي‌ درخواستهاي‌ رسمي‌، نشان‌داده‌اند كه‌ امتيازات‌ داده‌ شده‌ در جايزه‌ هر سال‌حدود بيست‌ و پنج‌ درصد زير بيشينه‌ امتيازات‌كلي‌ تصريح‌ شده‌ براي‌ جايزه‌ كيفيت‌ بوده‌ است‌.دوم‌، براي‌ تقسيم‌ امتيازات‌ از 6 طيف‌ از طيف‌امتيازات‌ استفاده‌ مي‌شود. در درخواستهاي‌ رسمي‌SQA، ارزيابان‌ ابتدا عملكرد هر كدام‌ از عناصر را،قبل‌ از آنكه‌ آگاهانه‌ نسبت‌ به‌ امتياز آن‌ تصميم‌گيري‌كنند، درون‌ يك‌ طيف‌ قرار مي‌دهند (مانند 40ـ20درصد، 60ـ41 درصد). به‌ همين‌ صورت‌، درعمليات‌ خود ـ ارزيابي‌، براوردهاي‌ واقعي‌ عملكرداقدامات‌ مديريت‌ كيفيت‌ سازمان‌ در سطح‌ طيف‌امتيازات‌7 گزارش‌ مي‌شدند. همچنين‌ امتيازات‌عددي‌ به‌ دست‌ آمده‌ از بررسي‌ پرسشنامه‌ها همواره‌حاوي‌ مقداري‌ تعصب‌ در پاسخهاست‌. قضاوتهاي‌متكي‌ به‌ امتيازات‌ عددي‌ نمي‌تواند پاسخ‌ دقيقي‌ ازعملكرد سازمان‌ باشد. ممكن‌ است‌ امتيازات‌ دوپاسخ‌دهنده‌ اندكي‌ متفاوت‌ باشد اما اين‌ تفاوت‌همواره‌ بيانگر آن‌ نيست‌ كه‌ امتياز بالاتر بهتر است‌.بنابراين‌ مناسبتر است‌ كه‌ امتيازها را به‌گونه‌اي‌درون‌ طيفهاي‌ مختلف‌ قرار دهيم‌ كه‌ براي‌ مشاركان‌نگاهي‌ منصفانه‌تر نسبت‌ به‌ نحوه‌ اقدام‌ خود آنها وديگران‌ تامين‌ كنيم‌.
طيف‌ امتيازات‌ عبارت‌اند از:
1=0 به‌ معناي‌ "خير ابدا"
2= 1pt تا 200pt به‌ معناي‌ "به‌ ميزان‌ بسيار زياد"
3=بالاي‌ 200pt تا 400pt به‌ معناي‌ "به‌ ميزان‌اندك‌"
4= بالاي‌ 400pt تا 600pt به‌ معناي‌ "به‌ ميزان‌متوسط"
5= بالاي‌ 600pt تا 800pt به‌ معناي‌ "به‌ ميزان‌زياد"
6= بالاي‌ 800pt تا 1000pt به‌ معناي‌ "به‌ ميزان‌بسيار زياد"
سازوكار امتيازدهي‌ هيچگاه‌ براي‌شركت‌كنندگان‌ افشا نخواهد شد.
راهنماي‌ پاسخ‌ به‌ پرسشنامه‌; ما براي‌ تكميل‌روش‌ ارزيابي‌ مجموعه‌اي‌ از رهنمودها رادرخصوص‌ چگونگي‌ ارزيابي‌ هر عنصر مشخص‌مي‌كنيم‌ (شكل‌ 6).
در اختيار داشتن‌ چنين‌ رهنمودهايي‌ ما رامطمئن‌ مي‌كند كه‌ هر كدام‌ از پاسخ‌دهندگان‌ باملاحظه‌ هر كدام‌ از عناصر در مورد امتياز مناسب‌براساس‌ داده‌هاي‌ مشترك‌ تصميم‌گيري‌ مي‌كنند.اين‌ مجموعه‌ رهنمودها، مشابه‌ رهنمودهاي‌امتيازدهي‌ مورد استفاده‌ توسط ارزيابان‌ كيفيت‌ دردرخواستهاي‌ ارزيابي‌ رسمي‌ است‌. هر كدام‌ ازعناصر همچنين‌ بر اين‌ مبنا كه‌ داراي‌ [A/D] (هم‌رويكرد و هم‌ استقرار) هستند مورد شناسايي‌ قرارمي‌گيرند. و در صورت‌ لزوم‌، وقتي‌ بر نتيجه‌ تمركز براي‌ گزارشهاي‌ [A/D]:كرده‌ايم‌ R (به‌ معناي‌ نتيجه‌) آورده‌ مي‌شود(شكل‌ 7).
اين‌ براي‌ تسهيل‌ تصميم‌گيري‌ فرد پاسخگونسبت‌ به‌ امتياز هر عنصر است‌. جلسات‌ توجيهي‌حضوري‌ (رودررو) براي‌ نمايندگان‌ بنگاههاي‌شركت‌كننده‌ برگزار مي‌شود. همچنين‌، به‌سازمانهايي‌ كه‌ تلاش‌ دارند پرسشنامه‌ را براي‌خود ـ ارزيابي‌ مورد استفاده‌ قرار دهند توصيه‌مي‌شود تا به‌ جاي‌ استفاده‌ از يك‌ نفر براي‌ تكميل‌پرسشنامه‌ از تيمهاي‌ پاسخگو استفاده‌ كنند. گروه‌(تيم‌) پاسخ‌دهنده‌ بايد عمل‌ خود ـ ارزيابي‌ را بايكديگر انجام‌ دهند، و پاسخ‌ به‌ هر كدام‌ از عناصربايد براساس‌ تصميم‌جمعي‌ و مورد اتفاق‌ آنها باشد.

اعتبار و قابليت‌ اطمينان‌ پرسشنامه‌
براي‌ تحقيق‌ در مورد قابليت‌ اطمينان‌ و اعتبارپرسشنامه‌ 99 عنصري‌ به‌ عنوان‌ وسيله‌ ارزيابي‌،مجموعه‌اي‌ از آزمونهاي‌ آماري‌ در مورد آن‌ انجام‌شد. چون‌ پرسشنامه‌ براي‌ انعكاس‌ دقيق‌ الزامات‌ SQAطراحي‌ شده‌ بود، روش‌ مورد استفاده‌ براي‌آزمون‌ ابزار ارزيابي‌ ميزان‌ قابليت‌ و توان‌ آن‌ درسنجش‌ آن‌ چيزي‌ بود كه‌ به‌ خاطر آن‌ طراحي‌ شده‌بود. آزمون‌هاي‌ تعيين‌ اعتبار شاخصها و نتايج‌ آنهابه‌ اجرا درآمدند. پس‌ از اثبات‌ اين‌ موضوع‌ كه‌ ابزارداراي‌ اعتبار سازگاري‌ و عناصر داخل‌ آن‌ داراي‌اعتباري‌ همگراست‌، صلاحيت‌ و شايستگي‌ ابزاربراي‌ اندازه‌گيري‌ آنچه‌ مورد نظر بود به‌ اثبات رسيده‌ و تاييد شده‌ است‌. آزمون‌ قابليت‌ اطمينان‌،قدرت‌ اندازه‌گيري‌ دقيق‌ ابزار را مشخص‌ مي‌كند.
براي‌ انجام‌ اين‌ آزمونها امتيازات‌ به‌ دست‌ آمده‌از طريق‌ پرسشنامه‌ها با امتيازات‌  SQAرسمي‌ درارتباط با هر كدام‌ از زيربخشهاي‌ 25 گانه‌ (عناصر) و7 شاخص‌ SQA مقايسه‌ شدند. امتيازات‌ رسمي‌داده‌ شده‌ به‌ فرمهاي‌ جايزه‌ كيفيت‌ ملي‌، تامين‌كننده‌مبنايي‌ مناسب‌ (غيرمتعصبانه‌) براي‌ تاييد اعتبارابزار خود ـ ارزيابي‌ بودند. پرسشنامه‌ بايد قادر به‌كسب‌ سطوح‌ مشابهي‌ از عملكرد مديريت‌ كيفيت‌سازمان‌ با آنچه‌ كه‌ در ارزيابي‌ رسمي‌  SQAمنعكس‌شده‌ بود باشد، به‌ شرط آن‌ كه‌ شركت‌ درخواستهاي‌SQA را در زمان‌ مشابه‌ پر كرده‌ بود. با در نظر داشتن‌اين‌ رويكرد، از 110 شركتي‌ كه‌ درخواستهاي‌ رسمي‌SQA را ارائه‌ كرده‌ بودند خواسته‌ شد تا پرسشنامه‌را در زمان‌ تقريبا مشابهي‌ پر كنند. ده‌ شركت‌ شامل‌سازمانهاي‌ توليد پايه‌، خدمات‌ پايه‌ و موسسات‌عمومي‌ مي‌شد. سپس‌ امتيازات‌ به‌ دست‌ آمده‌ ازارزيابي‌ پرسشنامه‌ها و فرمهاي‌ SQA مورد تجزيه‌و تحليل‌ قرار گرفت‌.

آزمون‌ اعتبار شاخصها و نتايج‌
انجام‌ اين‌ آزمون‌ مستلزم‌ مقايسه‌ نتايج‌ به‌ دست‌آمده‌ از خود ـ ارزيابي‌ و امتيازات‌ به‌ دست‌ آمده‌ ازدرخواستهاي‌ SQA براي‌ 10 شركت‌ بود. روش‌مقايسه‌ در سه‌ سطح‌ است‌; زيربخش‌; سطح‌شاخص‌ و سطح‌ كل‌ (كل‌ امتيازات‌).
زيربخش‌; 25 زيربخش‌ (عنصر) در 7شاخص‌ وجود دارد. ابتدا امتيازات‌ به‌ دست‌ آمده‌از پرسشنامه‌ها و SQA به‌ فاصله‌هاي‌ امتيازي‌ نوارامتيازات‌ منتقل‌ شدند (از 1 تا 6).
ابتدا، فاصله‌ها (اختلاف‌ امتيازات‌ بين‌ نتايج‌حاصل‌ از پرسشنامه‌ و SQA) براي‌ هر كدام‌ ازعناصر محاسبه‌ شد. بيشترين‌ فاصله‌ مثبت‌ برابر1/4 بود. شكل‌ 8 اين‌ فاصله‌ را براي‌ تمام‌ 25عنصر نشان‌ مي‌دهد.
در گام‌ بعدي‌ آزمون‌ آماري‌ t روي‌ تفاوتهاي‌زوجي‌ خود ـ ارزيابي‌ و SQA براي‌ هر كدام‌ ازعناصر ميان‌ شركتهاي‌ دهگانه‌ به‌ عمل‌ آمد كه‌ نتايج‌در جدول‌ 3 آمده‌ است‌.
(1) آزمون‌ t براي‌ نمونه‌هاي‌ زوجي‌ در سطح‌زير بخش‌، بين‌ SA و SQA. ميانگين‌ تفاوت‌زوجي‌ (امتياز SA  -امتياز SQA) براي‌ تمام‌عناصر 38ر0 و از لحاظ آماري‌ در سطح‌ اطمينان‌95% معني‌دار است‌. دامنه‌ اطمينان‌ در 95% بين‌29ر0 تا 47ر0 مي‌باشد. چنين‌ مي‌توان‌ نتيجه‌گرفت‌ كه‌ شركتهايي‌ كه‌ پرسشنامه‌ مورد استفاده‌قرار داده‌اند، عملكرد كيفيت‌ خود را بالاتر ازارزيابان‌ واقعي‌  (SQA)ارزيابي‌ كرده‌اند. امااختلاف‌ ميانگين‌ در امتيازدهي‌ ميان‌ خود ـ ارزيابي‌و  SQAرسمي‌ براي‌ هر كدام‌ از عناصر(زيربخشها) تنها حدود 38ر0 آن‌ چيزي‌ است‌ كه‌ ازSQA به‌ دست‌ آمده‌ است‌.
آزمون‌ رتبه‌بندي‌ ويلكوكسون‌8 براي‌ اختلاف‌زوجي‌ بين‌ SQA و SA حاكي‌ از آن‌ است‌ كه‌ (به‌طور ميانگين‌) اكثريت‌ امتيازات‌ عناصر بر اساس‌
پرسشنامه‌ كمي‌ بالاتر از امتيازات‌  SQAهستند.آزمون‌ آماري‌ نشان‌ داد كه‌ 4رz=-7 ، و اين‌ ازلحاظ آماري‌ در سطح‌ اطمينان‌ 95% معني‌داراست‌. اين‌ نتيجه‌ بيانگر آن‌ است‌ كه‌ خطاي‌اندازه‌گيري‌ پرسشنامه‌ كمي‌ در جهت‌ مثبت‌منحرف‌ شده‌ است‌.
به‌ طور خلاصه‌، آزمون‌ آماري‌ در سطح‌ عناصر(زيربخشها) نشان‌ داده‌ است‌ كه‌ متوسط خطاي‌اندازه‌گيري‌ پرسشنامه‌ 38ر0 كمتر از چيزي‌ است‌كه‌ توسط نوار دامنه‌ امتيازات‌ اندازه‌گيري‌ شده‌است‌. به‌ منظور خود ـ مميزي‌ (خود ـ ارزيابي‌)سريع‌ عملكرد كيفيت‌، واريانسي‌ كمتر از يك‌مي‌تواند توجيه‌كننده‌ باشد. بنابراين‌، مي‌توان‌نتيجه‌ گرفت‌ كه‌ پرسشنامه‌ براي‌ اندازه‌گيري‌(سنجش‌) معيارها داراي‌ اعتبار بوده‌ و خود نيزمعتبر است‌.
سطح‌ معيار: مجددا ابتدا فاصله‌هاي‌ هر كدام‌ ازمعيارها محاسبه‌ شده‌ است‌، در سطح‌ معيار،بزرگترين‌ فاصله‌ مثبت‌ نوار دامنه‌ امتيازات‌ 4ر0 ودر بزرگترين‌ فاصله‌ منفي‌ اين‌ فاصله‌ برابر 1ر-0است‌. شكل‌ 9 اين‌ شكاف‌ را براي‌ تمام‌ عناصرنشان‌ مي‌دهد.
سپس‌، آزمون‌ آماري‌ t روي‌ تفاوتهاي‌ زوجي‌ روي‌ نوار دامنه‌ امتيازات‌ بين‌ شركتهاي‌ ده‌گانه‌ انجام‌شده‌ است‌. نتايج‌ زير از آزمون‌ به‌ دست‌ آمده‌ است‌(جدول‌ 4).
(1) آزمون‌ t بين‌ SA و SQA ميان‌ تفاوت‌زوجها در سطح‌ معيار انجام‌ گرفت‌. ميانگين‌اختلافات‌ زوجها براي‌ تمام‌ معيارها 1714ر0است‌. اختلاف‌ ميانگين‌ بين‌ امتيازات‌ SA وامتيازات‌ SQA رسمي‌ در سطح‌ معيار از لحاظآماري‌ معني‌دار است‌ (براي‌ آزمون‌ با سطح‌اطمينان‌ 95%).
مجددا آزمون‌ رتبه‌بندي‌ ويلكوكسون‌ براي‌ تفاوت‌ ميان‌ SQA و  QAEانجام‌ شد. آزمون‌نشان‌ داد كه‌ z=-21191 و در سطح‌ اطمينان‌95% معني‌دار است‌ و اين‌ بدان‌ معناست‌ كه‌ خطاي‌اندازه‌گيري‌ پرسشنامه‌ كمي‌ در جهت‌ مثبت‌ بيشتراست‌.
به‌ طور خلاصه‌، آزمون‌ آماري‌ در سطح‌ معيارنشان‌ داده‌ است‌ كه‌ متوسط خطاي‌ اندازه‌گيري‌پرسشنامه‌ كمتر از 1714ر0 است‌. به‌ منظور خود ـارزيابي‌، تفاوت‌ نسبتا اندك‌ مي‌تواند قابل‌ قبول‌تلقي‌ شود. مجددا مي‌توانيم‌ نتيجه‌گيري‌ كنيم‌ كه‌پرسشنامه‌ داراي‌ اعتبار ساختاري‌ و معياري‌ است‌.
سطح‌ كلي‌ با آزمون‌ t براي‌ نمونه‌ زوجي‌ ميان‌ SAو SQA: در سطح‌ كلي‌، امتيازات‌ كلي‌ براي‌ارزيابي‌ پرسشنامه‌ و SQA رسمي‌ مقايسه‌ شدند.آزمون‌  tبراي‌ اختلاف‌ زوجي‌ براي‌ ده‌ شركت‌ انجام‌شد. نتايج‌ نشان‌ داد كه‌ اختلاف‌ ميانگين‌ 2ر0است‌. اما در سطح‌ اطمينان‌ 95% معني‌دار نيست‌.مي‌توان‌ چنين‌ نتيجه‌گيري‌ كرد كه‌ در سطح‌ كلي‌،امتيازات‌ به‌ دست‌ آمده‌ از ارزيابي‌ پرسشنامه‌ وSQA رسمي‌ تفاوت‌ معني‌داري‌ نشان‌ نمي‌دهد.اين‌ آزمونها، نيز اعتبار ساختاري‌ و قابليت‌اندازه‌گيري‌ معيار را مجددا مورد تاييد قرار مي‌دهد(جدول‌ 5).
آزمون‌ قابليت‌ اطمينان‌
تاييد قابليت‌ اطمينان‌ پرسشنامه‌ بدان‌ معني‌ است‌ كه‌ روشن‌ شود آيا پرسشنامه‌ مي‌تواند به‌صورتي‌ منسجم‌ نتايج‌ اندازه‌گيريهاي‌ دقيق‌ را به‌ دست‌ دهد. ما با بررسي‌ زيربخشهاي‌بيست‌ و پنجگانه‌ و معيارهاي‌ هفت‌گانه‌ درون‌ ده‌شركت‌ بر سطح‌ كلان‌ تمركز كرديم‌. رويكرد مورداستفاده‌، ارزيابي‌ همبستگي‌ متغيرهاي‌ دوگانه‌امتيازات‌ عناصر و معيارهاي‌ به‌ دست‌ آمده‌ ازارزيابي‌ پرسشنامه‌ و SQA رسمي‌ بود. همبستگي‌بسيار قوي‌ بيانگر آن‌ است‌ كه‌ سنجش‌ پرسشنامه‌ دقيق‌ است‌ و اعتبارپرسشنامه‌ را مورد تاييد قرار مي‌دهد. نتايج‌ حاصل‌ از اين‌ تجزيه‌ و تحليل‌ همبستگي‌ در ادامه‌مي‌آيد.
ضريب‌ همبستگي‌ پيرسون‌ بين‌ امتيازات‌عناصر پرسشنامه‌ و SQA برابر 68ر0 است‌، و درسطح‌ اطمينان‌ 99% معني‌دار است‌. ضريب‌همبستگي‌ پيرسون‌ در سطح‌ معيار برابر 702ر0، ودر سطح‌ اطمينان‌ 99% معني‌دار است‌. ضريب‌همبستگي‌ پيرسون‌ در سطح‌ كل‌ براي‌ ده‌ شركت‌863ر0 بود كه‌ در سطح‌ اطمينان‌ 99% معني‌داراست‌. اين‌ نتايج‌ نشان‌ مي‌دهد كه‌ امتيازات‌پرسشنامه‌ با امتيازات‌  SQAرسمي‌ داراي‌همبستگي‌ مثبت‌ است‌ (وقتي‌ الزامات‌ مشابهي‌ در معيار SQA مورد سنجش‌ قرار مي‌گيرد).ضريب‌ همبستگي‌ بيشتر از 6ر0 بيانگر همبستگي‌ قوي‌ در نظر گرفته‌ مي‌شود و بنابراين‌قابليت‌ اطمينان‌ قابل‌ قبولي‌ را نشان‌ مي‌دهد. و براين‌ اساس‌ قابليت‌ اطمينان‌ پرسشنامه‌ تاييدمي‌شود.
بحث‌ و بررسي‌
اعتبار ابزارهاي‌ خود ـ ارزيابي‌ براي‌ سنجش‌اندازه‌گيري‌ عملكرد كيفيت‌
ابزارهاي‌ متعدد خود ـ ارزيابي‌ در دسترس‌ است‌ كه‌توسط سازمانها جهت‌ اندازه‌گيري‌ عملكرد كيفيت‌مورد استفاده‌ قرار مي‌گيرد. بعضي‌ از آنهاپيمايش‌ ـ مبنا (كه‌ با رتبه‌بندي‌ يكپارچه‌ مي‌شوند)در حالي‌ كه‌، ساير ابزارهاي‌ اندازه‌گيري‌ صرفافهرستي‌ از سئوالات‌ مميزي‌اند كه‌ مستلزم‌ ارائه‌پاسخهاي‌ مكتوب‌ هستند. اما، اغلب‌ اين‌ ابزارهاي‌خود ـ ارزيابي‌ بر مبناي‌ ضرورتهاي‌ سازمان‌ يا يك‌صنعت‌ خاص‌ توسعه‌ يافته‌اند. معمولا ابزارهامعيارهاي‌ ارزيابي‌ خود را از مدلهاي‌ كيفي‌مشخصي‌ كه‌ توسط متخصصان‌ كيفيت‌ حمايت‌مي‌شوند و يا تركيبي‌ از مدلهاي‌ كيفيت‌ موردحمايت‌ تعدادي‌ از متخصصان‌ كيفيت‌ استخراج‌مي‌كنند. اين‌ ابزارها براي‌ هدفي‌ كه‌ طراحي‌ شده‌اندمفيدند اما قابل‌ كاربرد در صنايع‌ مختلف‌ نيستند ومورد پذيرش‌ و قبول‌ عام‌ توسط اغلب‌ سازمانهاحتي‌ در كشور خودشان‌ نيز قرار نمي‌گيرند.
هر ابزار خود ـ ارزيابي‌ كه‌ از معيارهاي‌ ارزيابي‌جايزه‌ كيفيت‌ ملي‌ كشور تبعيت‌ مي‌كند، در اغلب‌صنايع‌ كاربرد دارد و به‌ صورت‌ عام‌ براي‌سازمانهاي‌ كشور قابل‌ قبول‌ است‌. قبول‌ عام‌ يك‌ابزار خود ـ ارزيابي‌ امكان‌ مقايسه‌ ميان‌ صنايع‌ وترازيابي‌ عملكرد را فراهم‌ مي‌آورد. اما اجراي‌خود ـ ارزيابي‌ از طريق‌ الزامات‌ معيارها در قالب‌رهنمودهاي‌ جايزه‌ كيفيت‌ ملي‌ كاري‌ زمان‌بر وهراس‌انگيز است‌. اگر سازماني‌ به‌ طور بنيادين‌ دراجراي‌ فرايند كيفيت‌ خود قوي‌ نباشد، اجراي‌ماهرانه‌ شاخصها براي‌ آن‌ مشكل‌ خواهد بود. اين‌واقعيتي‌ است‌ كه‌ بسياري‌ از سازمانهاي‌ خواستاراجراي‌ ارزيابي‌ سريع‌ و سراسري‌ و مطمئن‌ ازلحاظ دقت‌ نتايج‌ ارزيابي‌ را از دست‌ زدن‌ به‌ آن‌ بازمي‌دارد. بنابراين‌، يك‌ ابزار خود ـ ارزيابي‌ متكي‌ به‌همايش‌ پرسشنامه‌اي‌ با خود ـ رتبه‌دهي‌ مستقيم‌عملكرد كيفيت‌ براي‌ همه‌ سازمانها مفيد خواهدبود.
اين‌ پژوهش‌ نشان‌ داده‌ است‌ كه‌ با استفاده‌ ازروش‌ توصيف‌ شده‌ و مورد حمايت‌ اين‌ مقاله‌مي‌توان‌ يك‌ ابزار عمومي‌ خود ـ ارزيابي‌ ابداع‌ كرد.وجود معيارهاي‌ ارزيابي‌ مختلف‌ در جايزه‌هاي‌كيفيت‌ ملي‌ كشورهاي‌ مختلف‌ مهم‌ نيست‌. استفاده‌از روش‌ توصيف‌ شده‌ پيشنهادي‌ به‌ صورت‌ ذاتي‌،طراحان‌ پرسشنامه‌ را براي‌ منظور كردن‌ تمام‌الزامات‌ شاخصهاي‌ مربوط در وسيله‌ خود ـارزيابي‌، هدايت‌ و راهنمايي‌ مي‌كند. با تقليد وپيروي‌ از سيستم‌ امتيازدهي‌ مورد استفاده‌ دردرخواستهاي‌ جايزه‌ كيفيت‌ و رهنمودهاي‌ مربوطبه‌ رتبه‌بندي‌ عناصر پرسشنامه‌، ابزار خود ـ ارزيابي‌قادر به‌ اندازه‌گيري‌ مطمئن‌ عملكرد كيفيت‌ خواهدبود.
گرچه‌ ممكن‌ است‌ تمايلي‌ براي‌ استفاده‌ ازاطلاعات‌ ذهني‌ وجود داشته‌ و بنابراين‌ نتايج‌ارزيابي‌ غيردقيق‌ باشد، اما يافته‌هاي‌ اين‌ تحقيق‌نشان‌ مي‌دهد كه‌ ارزيابي‌ كلي‌ دقيق‌ است‌. كليدكاهش‌ خطاها و ذهني‌ بودن‌ در خود ـ ارزيابي‌مبتني‌ بر داده‌هاي‌ پيمايشي‌، حصول‌ اطمينان‌نسبت‌ به‌ نگاه‌ پاسخ‌دهندگان‌ به‌ عناصر پرسشنامه‌بر اساس‌ معياري‌ مشترك‌ است‌. بنابراين‌ روش‌توصيف‌ شده‌ نه‌ تنها بر توسعه‌ عناصر مقتضي‌براي‌ ارزيابي‌ عملكرد كيفيت‌ تمركز مي‌كند، بلكه‌رهنمودهايي‌ مشابه‌ با رهنمودهاي‌ امتيازدهي‌مورد استفاده‌ ارزيابان‌ كيفيت‌ در درخواستهاي‌رسمي‌ ارزيابي‌ را نيز پيش‌بيني‌ مي‌كند تا توسطپاسخ‌دهندگان‌ به‌ هنگام‌ رتبه‌بندي‌ (امتيازدهي‌) به‌عناصر، مورد استفاده‌ قرار گيرد. همچنين‌،امتيازدهي‌ در يك‌ خود ـ ارزيابي‌ كامل‌ بايد متكي‌بر سازوكاري‌ مشابه‌ با امتيازدهي‌ مورد استفاده‌ دردرخواستهاي‌ واقعي‌ جايزه‌ كيفيت‌ ملي‌ باشد.تركيب‌ مراحل‌ توسعه‌ سه‌ گانه‌ فوق‌ (توسعه‌ عناصربر مبناي‌ چارچوب‌ معيار جايزه‌ كيفيت‌ ملي‌،سازوكار امتيازدهي‌ واقعي‌، رهنمودهاي‌ پاسخ‌مناسب‌) ما را نسبت‌ به‌ ايجاد ابزار خود ـ ارزيابي‌كه‌ قادر به‌ ارائه‌ ارزيابيهاي‌ معتبر باشد، مطمئن‌مي‌سازد.
خلاصه‌ روش‌ توسعه‌
روش‌ توسعه‌ مورد استفاده‌ در اين‌ تحقيق‌، روشي‌عام‌ و قابل‌ انتقال‌ است‌ و مي‌تواند براي‌ توسعه‌ابزار خود ـ ارزيابي‌ متكي‌ به‌ هر جايزه‌ كيفيت‌ ملي‌ديگر مورد استفاده‌ قرار گيرد. اساس‌ روش‌ ارزيابي‌حول‌ ويژگيهاي‌ زير دور مي‌زند:

  • تعيين‌ عناصر: عناصر در پرسشنامه‌ خود ـارزيابي‌ بايد در يك‌ توالي‌ ساختاري‌، كه‌ به‌صورتي‌ دقيق‌ از چارچوب‌ معيار جايزه‌ كيفيت‌ملي‌ تبعيت‌ مي‌كند مدلسازي‌ شوند، و در عين‌حال‌ بايد از رويكرد ارزيابي‌ مورد استفاده‌ارزيابان‌ كيفيت‌ استفاده‌ شود. در اغلب‌جايزه‌هاي‌ كيفيت‌ ملي‌، ويژگيهاي‌ ارزيابي‌معمولا بر رويكرد، استقرار و نتايج‌ (در صورت‌قابليت‌ كاربرد) فرايندهاي‌ كيفيت‌ به‌ صورتي‌غيرتجويزي‌ براي‌ هر كدام‌ از معيارها تاكيدمي‌كند. بنابراين‌، عناصر بايد به‌ گونه‌اي‌ توسعه‌يابند كه‌ سازمان‌ بتواند فرايندهاي‌ كيفيت‌ دردسترس‌ و نتايج‌ عملكردي‌ مرتبط با اجراي‌ اين‌فرايند را ارزيابي‌ كند.
  • سيستم‌ امتيازدهي‌: ابزار خود ـ ارزيابي‌ بايدسازوكاري‌ از امتيازدهي‌ را مورد استفاده‌ قراردهد كه‌ شباهت‌ زيادي‌ به‌ رهنمودهاي‌ ارزيابان‌و روند امتيازدهي‌ گذشته‌ داشته‌ باشد. در اغلب‌جايزه‌هاي‌ كيفيت‌ ملي‌، ارزيابها از رهنمودهاي‌امتيازدهي‌اي‌ استفاده‌ مي‌كنند كه‌ معمولا دامنه‌امتيازات‌ را براي‌ هر كدام‌ از معيارها يا عناصر به‌صدكها تقسيم‌ مي‌كند مانند بيستمين‌،چهلمين‌... هشتادمين‌. همين‌طور، مقياس‌رتبه‌بندي‌ عناصر پرسشنامه‌ خود ـ ارزيابي‌ بايداز رهنمودهاي‌ امتيازدهي‌ تبعيت‌ كند. همچنين‌،روند امتيازدهي‌ گذشته‌، براي‌ تمام‌درخواستهاي‌ جايزه‌ كيفيت‌ بايد به‌ هنگام‌محاسبه‌ امتيازات‌ خود ـ ارزيابي‌ مورد توجه‌قرار گيرند. براي‌ مثال‌، اگر روند امتيازدهي‌گذشته‌ بيانگر آن‌ باشد كه‌، امتيازات‌درخواستهاي‌ واقعي‌ در گستره‌ 200 تا 700(حداكثر امتياز 1000) قرار دارند. آنگاه‌، بايدسازوكاري‌ جهت‌ اندازه‌گيري‌ امتيازات‌ خود ـارزيابي‌ وجود داشته‌ باشد كه‌ از اين‌ روندامتيازدهي‌ پيروي‌ كند. دليل‌ انجام‌ چنين‌ كاري‌،اطمينان‌ يافتن‌ از آن‌ است‌ كه‌ خود ـ ارزيابي‌،يك‌ نشان‌ واقع‌بينانه‌ از سطح‌ واقعي‌ عملكردكيفيت‌ را تامين‌ كند (نتايجي‌ مشابه‌، با نتايج‌ارزيابان‌ جايزه‌ كيفيت‌ ملي‌).
  • رهنمودهاي‌ رتبه‌بندي‌: رهنمودهاي‌ اساسي‌رتبه‌بندي‌ يا رهنمودهاي‌ پاسخ‌ بايد درپرسشنامه‌ خود ـ ارزيابي‌ گنجانيده‌ شوند.رهنمودها اين‌ اطمينان‌ را ايجاد مي‌كنند كه‌پاسخ‌دهندگان‌ عناصر را بر مبناي‌ داده‌هاي‌مشابه‌ و رتبه‌بندي‌ درست‌ مورد ارزيابي‌ ورتبه‌بندي‌ قرار مي‌دهند. رهنمودهاي‌ رتبه‌بندي‌دقيقا از رهنمودهاي‌ داده‌ شده‌ به‌ ارزيابان‌ واقعي‌به‌ هنگام‌ ارزيابي‌ درخواستهاي‌ جايزه‌ كيفيت‌پيروي‌ مي‌كنند. اساسا اين‌ رهنمودها ارزيابان‌جايزه‌ كيفيت‌ را كمك‌ مي‌كنند تا نسبت‌ به‌ميزان‌ و گستردگي‌ اجراي‌ فرايندهاي‌ كيفيت‌(رويكرد) عمق‌ استقرار فرايند و، در صورت‌لزوم‌، قوت‌ نتايج‌ عملكردي‌ تصميم‌گيري‌ كنند.همين‌طور، از پاسخ‌دهندگان‌ به‌ پرسشنامه‌خود ـ ارزيابي‌ انتظار مي‌رود كه‌ به‌ هنگام‌رتبه‌بندي‌ (امتيازدهي‌) درست‌ همچون‌ ارزيابان‌جايزه‌ واقعي‌ به‌ عناصر در پرسشنامه‌ بينديشند.بنابراين‌، مهم‌ است‌ كه‌ پاسخ‌دهندگان‌ قبل‌ ازشروع‌ به‌ اقدام‌ نسبت‌ به‌ نحوه‌ رتبه‌بندي‌درست‌، راهنمايي‌ شوند و رهنمودهاي‌رتبه‌بندي‌ درست‌ و مناسب‌ را به‌ كار ببرند.
    ترجيحا، بايد قبل‌ از شروع‌ تمرين‌ خود ـارزيابي‌ توضيح‌ حضوري‌ دقيق‌ براي‌شركت‌كنندگان‌ داده‌ شود. سرانجام‌ هدف‌ روش‌توصيف‌ شده‌ پيشنهادي‌، طراحي‌ يك‌ وسيله‌خود ـ ارزيابي‌ واقعي‌ است‌ كه‌ بسيار مشابه‌ باروش‌ ارزيابي‌ و الگوي‌ امتيازدهي‌ درخواستهاي‌جايزه‌ كيفيت‌ ملي‌ واقعي‌ باشد.

دقت‌ ابزار خود ـ ارزيابي‌ بر مبناي‌ روش‌توصيف‌ شده‌
ابزار خود ـ ارزيابي‌ كه‌ بر مبناي‌ روش‌ توصيف‌شده‌ پيشنهادي‌ ابداع‌ شد در معرض‌ آزمونهاي‌آماري‌ قرار گرفت‌. هدف‌ از اين‌ آزمونها ارزيابي‌دقيق‌ وسيله‌ و صحت‌ روش‌ توسعه‌يافته‌ است‌.تجزيه‌ و تحليلهاي‌ صورت‌ گرفته‌ براساس‌ يك‌نمونه‌ ده‌تايي‌ از سازمانهاي‌ شركت‌كننده‌ دربهره‌گيري‌ از ابزار خود ـ ارزيابي‌ نشان‌ داده‌ است‌ كه‌اختلاف‌ ميانگين‌ امتيازات‌ به‌ دست‌ آمده‌ از خود ـارزيابي‌ و نتيجه‌ كار ارزيابان‌ كيفيت‌ يك‌ اختلاف‌كوچك‌ است‌.
آزمونهاي‌ t براي‌ تجزيه‌ و تحليل‌ معني‌داري‌اختلافات‌ به‌ اجرا درآمد. در سطح‌ كل‌ اين‌ اختلاف‌از نظر آماري‌ معني‌دار نبود (در سطح‌ اطمينان‌95%). اگرچه‌ اختلاف‌ امتيازات‌ در سطح‌ زيربخش‌(عناصر) و سطحهاي‌ معيار معني‌دار بود (سطح‌اطمينان‌ 95%)، ميانگين‌ اختلافات‌ واقعي‌ بسياراندك‌ بود (38ر0 و 1714ر0).
آزمونهاي‌ رتبه‌بندي‌ ويلكوكسون‌ نيز انجام‌شد، و نتايج‌ نشان‌ داد كه‌ اختلاف‌ امتيازات‌ ميان‌خود ـ ارزيابي‌ و نتيجه‌ كار ارزيابان‌ كيفيت‌ واقعي‌در سطوح‌ معيار و عناصر انحراف‌ مثبت‌ داشت‌ واين‌ حاكي‌ از آن‌ بود كه‌ امتيازات‌ خود ـ ارزيابي‌ به‌طور متوسط بالاتر از امتيازات‌ ارزيابي‌ واقعي‌است‌.
آزمونهاي‌ همبستگي‌ براي‌ ارزيابي‌ قابليت‌اطمينان‌ ابزار خود ـ ارزيابي‌ انجام‌ شد. در
سطوح‌ كل‌، معيار و عناصر، ضرايب‌ همبستگي‌پيرسون‌ به‌ ترتيب‌ عبارت‌ بودند از 863ر0،702ر0 و 68ر0. چون‌ اين‌ ضرايب‌ بالاي‌ 6ر0هستند معلوم‌ مي‌شود كه‌ همبستگي‌ قوي‌ است‌ وابزار خود ـ ارزيابي‌ از قابليت‌ اطمينان‌ برخورداراست‌.
آزمونهاي‌ t ثابت‌ كرده‌ بودند كه‌ وسيله‌ درسطح‌ كل‌ دقيق‌ است‌. اما، دقت‌ اندازه‌گيري‌ درسطوح‌ معيار و شاخص‌ با اختلاف‌ اندك‌ امتيازات‌كاهش‌ مي‌يابد و اين‌ نكته‌ توسط آزمونهاي‌رتبه‌بندي‌ ويلكوكسون‌ نيز تاييد مي‌شود. با وجوداين‌ يك‌ ابزار خود ـ ارزيابي‌ كه‌ تنها اختلافهاي‌كوچكي‌ در امتيازات‌ توليد مي‌كند (كه‌ كسركوچكي‌ از امتيازات‌ داده‌ شده‌ توسط ارزيابان‌جايزه‌ كيفيت‌ است‌) بيانگر اعتبار مثبت‌ خود ابزاراست‌. تجزيه‌ و تحليل‌ و آزمونهاي‌ آماري‌ نشان‌داده‌ است‌ كه‌ ابزار توسعه‌يافته‌ در اين‌ پژوهش‌، قادربه‌ تامين‌ سنجش‌ معتبر عملكرد كيفيت‌ است‌.بنابراين‌، ثابت‌ مي‌شود كه‌ روش‌ توسعه‌يافته‌پيشنهادي‌ در اين‌ پژوهش‌ صحيح‌ و مفيد است‌.بسياري‌ از ديگر ابزارهاي‌ خود ـ ارزيابي‌ تلاشي‌ درتامين‌ امتيازاتي‌ شبيه‌ به‌ نتيجه‌ كار ارزيابان‌ كيفيت‌به‌ عمل‌ نمي‌آورند.
نتيجه‌گيري‌
در اين‌ مقاله‌، روشي‌ براي‌ تهيه‌ ابزارهاي‌ خود ـارزيابي‌ جهت‌ اندازه‌گيري‌ عملكرد كيفيت‌ سازمانهاتوسعه‌يافته‌ است‌. اين‌ روش‌ بهره‌گيري‌ از الزامات‌معيار جايزه‌ كيفيت‌ ملي‌ را به‌ عنوان‌ پايه‌اي‌ براي‌توسعه‌ ابزار خود ـ ارزيابي‌ پيمايشي‌ پايه‌ موردحمايت‌ قرار مي‌دهد. روش‌ پيشنهادي‌ رهنمودي‌براي‌ افرادي‌ كه‌ خواهان‌ توسعه‌ ابزارهاي‌ خود ـارزيابي‌ جهت‌ اندازه‌گيري‌ عملكرد كيفيت‌ سازمانهامي‌باشند، فراهم‌ مي‌آورد.
فايده‌ اين‌ روش‌ آن‌ است‌ كه‌ قابل‌ انتقال‌ ومستحكم‌ است‌. جايزه‌هاي‌ كيفيت‌ ملي‌ مختلف‌،محتواي‌ پرسشنامه‌ها را از يكديگر متمايزمي‌سازد، زيرا الزامات‌ معيار تا اندازه‌ زيادي‌يكسان‌ نيستند. روش‌ توسعه‌يافته‌ فهرستي‌ ازضرايب‌ مشترك‌ را براي‌ تمامي‌ ابزارهاي‌ خود ـارزيابي‌ در نظر نمي‌گيرد و يك‌ پرسشنامه‌ عام‌ وكلي‌ را نيز براي‌ استفاده‌ در تمام‌ كشورها توصيه‌نمي‌كند. در عوض‌، امكان‌ تهيه‌ پرسشنامه‌هاي‌بومي‌ را در چارچوبي‌ كه‌ تامين‌كننده‌ اطمينان‌نسبت‌ به‌ پيروي‌ ابزار خود ـ ارزيابي‌ است‌(ويژگيهاي‌ ارزيابي‌، ارزيابان‌ جايزه‌ كيفيت‌ واقعي‌)فراهم‌ مي‌كند. علاوه‌ بر اين‌، روش‌ توصيف‌ شده‌تامين‌كننده‌ اطمينان‌ نسبت‌ به‌ مدلسازي‌ سازوكارامتيازدهي‌ ابزار خود ـ ارزيابي‌ شبيه‌ (نزديك‌ به‌)جايزه‌ كيفيت‌ ملي‌، است‌.
آزمونهاي‌ آماري‌، اعتبار محتوي‌، اعتبار معيار،اعتبار ساختار و قابليت‌ اطمينان‌ پرسشنامه‌توسعه‌يافته‌ را تاييد مي‌كنند. تاكنون‌، حدود 200سازمان‌ پرسشنامه‌ خود ـ ارزيابي‌ را جهت‌اندازه‌گيري‌ عملكرد كيفيت‌ خود مورد استفاده‌ قرارداده‌اند.

متن مقاله:
.