یک جلسه آزمون شناختی ممکن است روی صفحه مرتب و بینقص به نظر برسد، اما از نظر بالینی ضعیف باشد.
ممکن است شرکتکننده تکلیف را کامل کرده باشد. ممکن است نرمافزار یک نمره تولید کرده باشد. حتی ممکن است گزارش، زمان واکنش، دقت، خطاهای حذف، پاسخهای نادرست و یک برچسب وضعیت را نشان دهد. اما هیچکدام از این موارد بهطور خودکار به این معنا نیست که باید به آن جلسه اعتماد کرد.
این یکی از مهمترین عادتها در ارزیابی شناختی رایانهای است: پیش از آنکه بپرسیم «این نمره چه معنایی دارد؟»، متخصصان باید بپرسند: «آیا این جلسه اصلاً قابل تفسیر بود؟»
این پرسش از بیمار، متخصص و پرونده بالینی محافظت میکند.
یک جلسه هرگز کل داستان نیست
عملکرد شناختی به زمینه بسیار حساس است. ممکن است بیمار خسته، مضطرب، حواسپرت، ناآشنا با تکلیف، معذب از کار با رایانه، نگران قضاوت شدن، یا تحت تأثیر خواب، درد، دارو، خلق، گرسنگی یا محیط آزمون باشد.
یک نمره پایین در یک جلسه ممکن است بازتاب یک دشواری شناختی واقعی باشد. همچنین ممکن است فقط بازتاب یک روز بد برای آزمون باشد.
این موضوع جلسه را بیفایده نمیکند. بلکه یعنی جلسه باید با احتیاط تفسیر شود. گاهی دقیقترین بیان بالینی این نیست که «بیمار دچار اختلال توجه است». ممکن است بیان دقیقتر این باشد: «عملکرد امروز پایینتر از انتظار بود، اما پیش از رسیدن به نتیجهگیری قویتر، جلسه باید در شرایط پایدارتر تکرار شود.»
ارزیابی رایانهای میتواند این کار را آسانتر کند، زیرا دادههای رفتاری دقیق ثبت میکند. اما داده بیشتر، بهطور خودکار به معنای تفسیر بهتر نیست. یک جلسه دقیق اما غیرقابل اعتماد، همچنان غیرقابل اعتماد است.
نشانههایی که ممکن است یک جلسه قابل اعتماد نباشد
متخصصان زمانی باید محتاط باشند که رفتار فرد در طول تکلیف، از تفسیر معنادار پشتیبانی نکند. بعضی نشانههای هشدار آشکارند. بعضی دیگر راحتتر از چشم دور میمانند.
یکی از نشانههای هشدار رایج، پاسخدهی تصادفی است. اگر به نظر برسد شرکتکننده بدون پیروی از قاعده تکلیف کلیک یا ضربه میزند، نتیجه ممکن است بیش از آنکه توانایی شناختی را نشان دهد، بازتاب عدم درگیری و مشارکت با تکلیف باشد. دقت بسیار پایین همراه با پاسخهای غیرمعمولاً سریع میتواند نشان دهد که فرد حدس میزده، عجله میکرده یا دستورالعملها را دنبال نمیکرده است.
نشانه هشدار دیگر، رها کردن تکلیف است. اگر شرکتکننده در میانه تکلیف پاسخ دادن را متوقف کند، بازههای طولانی را بدون پاسخ رها کند، یا به نظر برسد که از ادامه کار منصرف شده است، نمره نهایی ممکن است عملکرد معتبر را با عدم مشارکت مخلوط کند. در این حالت، جلسه ممکن است بیشتر شکست در درگیری با تکلیف را توصیف کند تا کارکرد شناختی را.
نشانه سوم، تعداد بسیار کم آزمونکهای معتبر است. تکلیفهای شناختی برای پشتیبانی از تفسیر، به تعداد کافی پاسخ قابل استفاده نیاز دارند. اگر تعداد زیادی از آزمونکها گمشده، نامعتبر، قطعشده یا آلوده به مشکلات زمانبندی باشند، نتیجه نباید بهعنوان برآوردی پایدار در نظر گرفته شود.
ناپایداری زمانبندی نیز اهمیت دارد. بسیاری از تکلیفهای رایانهای بر زمان واکنش تکیه دارند. اگر دستگاه آزمون، نمایشگر یا محیط باعث ناپایداری زمانبندی شود، تفسیر مبتنی بر زمان واکنش ضعیفتر میشود. در چنین حالتی، نرمافزار نباید بیسروصدا یک گزارش ظاهراً مطمئن تولید کند. باید به متخصص هشدار دهد که کیفیت زمانبندی ممکن است بر تفسیر اثر بگذارد.
بدفهمی تکلیف نیز مسئلهای مهم است. ممکن است شرکتکننده عملکرد ضعیفی نشان دهد نه به این دلیل که حوزه شناختی ضعیف است، بلکه چون دستورالعمل روشن نبوده، مرحله تمرین کافی نبوده، یا شرکتکننده متوجه نشده چه پاسخی از او انتظار میرود.
در نهایت، محیط آزمون اهمیت دارد. سر و صدا، وقفهها، راهنمایی مراقب، اعلانهای تلفن، وضعیت نشستن نامناسب، ناراحتی حرکتی، مشکل دیداری یا ناآشنایی با ابزار ورودی، همگی میتوانند عملکرد را تغییر دهند. یک جلسه آزمون فقط یک نمره نیست؛ رویدادی است که درون یک زمینه بالینی رخ میدهد.
سیستمهای خوب ممکن است زمانی که تعداد آزمونکهای معتبر یا کیفیت زمانبندی پایینتر از آستانه باشد، جلسه را بهطور خودکار با قابلیت اعتماد پایین علامتگذاری کنند و به جای ارائه نمرههای نامطمئن بهعنوان داده بالینی محکم، تفسیر مبتنی بر هنجار را کاهش دهند یا مسدود کنند.
قابلیت اعتماد با اعتبار یکی نیست
قابلیت اعتماد و اعتبار به هم مرتبطاند، اما یک چیز نیستند.
قابلیت اعتماد میپرسد آیا جلسه برای تفسیر به اندازه کافی پایدار است یا نه. آیا داده قابل استفاده کافی وجود داشت؟ آیا شرکتکننده با تکلیف درگیر شد؟ آیا زمانبندی قابل قبول بود؟ آیا پاسخها به اندازه کافی سازگار بودند که بتوانند از یک خلاصه بالینی پشتیبانی کنند؟
اعتبار میپرسد آیا آزمون و تفسیر، واقعاً همان چیزی را که ادعا میکنند برای کاربرد مورد نظر میسنجند یا نه. آیا این تکلیف از نتیجهگیری مطرحشده پشتیبانی میکند؟ آیا گروه مرجع مناسب است؟ آیا تفسیر با شواهد پشتیبانی شده است؟
یک جلسه میتواند در هر یک از این سطوح دچار مشکل شود.
برای مثال، یک تکلیف خوب طراحیشده ممکن است بهطور کلی برای ارزیابی توجه پایدار معتبر باشد، اما جلسه مشخص امروز ممکن است غیرقابل اعتماد باشد، چون شرکتکننده دستورالعملها را نفهمیده است. در این حالت، مشکل لزوماً طراحی آزمون نیست. مشکل، خود جلسه است.
برعکس آن هم ممکن است رخ دهد. یک جلسه ممکن است تمیز و سازگار به نظر برسد، اما متخصص همچنان باید از طرح ادعاهایی که فراتر از شواهد هستند خودداری کند. یک نمای عملکردی خوبظاهر، بهطور خودکار اختلالی را تشخیص نمیدهد یا رد نمیکند.
به جای تفسیر بیش از حد چه باید کرد؟
وقتی یک جلسه غیرقابل اعتماد به نظر میرسد، ایمنترین پاسخ این نیست که تفسیر را بهزور انجام دهیم.
متخصص میتواند پس از توضیح دوباره دستورالعملها، تکلیف را تکرار کند. این کار بهویژه زمانی مفید است که شرکتکننده قاعده را اشتباه فهمیده، با عجله تکلیف را انجام داده، یا با روش پاسخدهی مشکل داشته است.
متخصص میتواند جلسه را بهصورت توصیفی مستند کند. برای مثال: «شرکتکننده امروز در حفظ درگیری با تکلیف دشواری داشت؛ نتایج باید با احتیاط تفسیر شوند.» این از نظر بالینی مسئولانهتر از نوشتن این است که آزمون «نشاندهنده اختلال» است.
متخصص میتواند تفسیر استانداردشده را به تعویق بیندازد. اگر کیفیت جلسه ضعیف است، نمرههای زی، برچسبهای وضعیت یا مقایسههای هنجاری نباید همان وزن را داشته باشند. بسته به سیستم، ممکن است این موارد پنهان شوند، ملایمتر ارائه شوند، یا بهروشنی بهعنوان غیرقابل تفسیر علامتگذاری شوند.
متخصص میتواند به دنبال الگوهای تکرارشونده بگردد. اگر همان مسئله در چند جلسه و تحت شرایط خوب آزمون تکرار شود، معنادارتر میشود. اگر فقط یک بار و در جریان جلسهای پرنویز یا بدفهمیدهشده دیده شود، احتیاط بهتر است.
متخصص همچنین میتواند از جلسه بهعنوان اطلاعات عملکردی استفاده کند. یک آزمون غیرقابل تفسیر ممکن است همچنان نکته مفیدی به متخصص بگوید: فرد در تحمل تکلیف، فهم قاعده، حفظ مشارکت، یا پاسخدهی سازگار تحت تقاضای ساختاریافته مشکل داشته است. این با گفتن اینکه خود حوزه شناختی مختل است فرق دارد.
نرمافزار باید عدم قطعیت را علامتگذاری کند، نه اینکه پنهان کند
یکی از نگرانکنندهترین الگوها در نرمافزارهای بالینی، تولید گزارش ظاهراً مطمئن از داده ضعیف است.
یک داشبورد میتواند حرفهای به نظر برسد. یک نمره میتواند دقیق به نظر برسد. یک نشان رنگی میتواند حس اعتبار ایجاد کند. اما اگر جلسه زیرین بیش از حد پرنویز، بیش از حد کوتاه، بدفهمیدهشده یا از نظر رفتاری ناسازگار بوده باشد، نرمافزار باید این موضوع را قابل مشاهده کند.
نرمافزار خوب ارزیابی شناختی باید به متخصصان کمک کند متوجه شوند چه زمانی نباید تفسیر کنند.
باید جلسات کمکیفیت را علامتگذاری کند. باید زمانی که داده کافی نیست هشدار بدهد. باید مشاهدات توصیفی را از تفسیر بالینی جدا کند. باید از ارائه داده مرجع اولیه یا تقریبی بهعنوان حقیقت بالینی کاملاً اعتبارسنجیشده خودداری کند. همچنین باید نقش متخصص را بهعنوان تفسیرکننده نهایی حفظ کند.
وقتی داده مرجع مقدماتی است یا هنوز در حال اعتبارسنجی تجربی فعال است، گزارشها باید این موضوع را صریحاً بیان کنند؛ از جمله هشدارهای مربوط به هنجارهای مهندسی. نمرههای تقریبی نباید بهعنوان حقیقت بالینی کاملاً اعتبارسنجیشده ارائه شوند.
این موضوع بهویژه در سیستمهای مرحله اولیه یا در حال اعتبارسنجی مهم است. رویکرد صادقانه این نیست که وانمود کنیم هر نمرهای قطعی است. رویکرد صادقانه این است که عدم قطعیت بهروشنی برچسبگذاری شود.
زبان بهتر برای مستندسازی بالینی
وقتی یک جلسه قابل اعتماد نیست، زبان اهمیت دارد.
این نوع بیان، بیمار را از برچسبگذاری بیش از حد محافظت میکند و متخصص را از ادعای بیش از حد دور نگه میدارد.
عملکرد مرتبط با توجه
به جای نوشتن این جمله: «بیمار دچار اختلال توجه بود.»
یک یادداشت بالینی ایمنتر میتواند این باشد: «عملکرد مرتبط با توجه امروز به دلیل مشارکت ناسازگار، بهطور قابل اعتماد قابل تفسیر نبود.»
تکلیفهای کنترل اجرایی
به جای این جمله: «آزمون نشاندهنده اختلال کارکرد اجرایی است.»
بیان بهتر میتواند این باشد: «شرکتکننده در کامل کردن قابل اعتماد تکلیف مبتنی بر قاعده دشواری داشت؛ پیش از نتیجهگیری در سطح حوزه، تکرار ارزیابی توصیه میشود.»
نمرههای استانداردشده
به جای این جمله: «نمره غیرطبیعی است.»
یک یادداشت محتاطانهتر میتواند این باشد: «نمره بهدستآمده باید با احتیاط تفسیر شود، زیرا کیفیت جلسه پایینتر از آستانه لازم برای تفسیر پایدار بود.»
جایگاه توانمایند کجاست؟
توانمایند بر پایه این ایده طراحی شده است که نرمافزار بالینی نباید فقط نتیجه تولید کند. همچنین باید به متخصصان کمک کند تصمیم بگیرند آیا نتیجه شایسته اعتماد هست یا نه.
در توانمایند، نتایج آزمونهای شناختی برای پشتیبانی از تفسیر حرفهای در نظر گرفته شدهاند، نه جایگزینی آن. گزارشها از زبان توصیفی، هشدارهای قابلیت اعتماد و خلاصههای مناسب متخصص استفاده میکنند. وقتی کیفیت داده کافی نیست، سیستم بهگونهای طراحی شده که به متخصص هشدار دهد، نه اینکه جلسه را بیسروصدا بهعنوان دادهای بالینی و محکم ارائه کند.
توانمایند همچنین از مرور طولی پشتیبانی میکند؛ موضوعی که اهمیت دارد، چون یک جلسه بهندرت کل داستان را میگوید. متخصصان میتوانند الگوها را در طول زمان مرور کنند، جلسات را با هم مقایسه کنند و داده عینی تکلیف را با یادداشتهای بالینی نوشتهشده توسط درمانگر مرتبط کنند.
این مسیر ایمنتر برای ارزیابی شناختی رایانهای است: نه خودکارسازیِ مطمئنتر و پرادعاتر، بلکه پشتیبانی شفافتر از استدلال بالینی.
گامهای عملی بعدی
اگر کلینیک شما در حال ارزیابی نرمافزار ارزیابی شناختی رایانهای است، فقط نپرسید سیستم چه چیزی را اندازهگیری میکند. بپرسید از تفسیر بیش از حد چه چیزهایی خودداری میکند.
نرمافزاری که به شما هشدار میدهد، ایمنتر از نرمافزاری است که همیشه مطمئن به نظر میرسد.
کلینیکهای واجد شرایط میتوانند درخواست مجوز آزمایشی توانمایند بدهند؛ این مجوز معمولاً پس از بررسی، ظرف یک روز کاری فعال میشود. کلینیکها همچنین میتوانند برنامههای سالانه برای متخصصان مستقل و کلینیکهای چندکاربره را بررسی کنند، یا اگر به بازخورد ساختاریافته و مشارکت در ساخت هنجار علاقهمند باشند، برای برنامه کلینیکهای بنیانگذار درخواست بدهند.
یک جلسه آزمون شناختی باید اعتماد را به دست بیاورد. نرمافزار خوب باید به متخصصان کمک کند بدانند چه زمانی این اتفاق نیفتاده است.
- آیا وقتی کیفیت جلسه پایین است هشدار میدهد؟
- آیا به متخصصان کمک میکند مشارکت ضعیف، زمانبندی نامعتبر، داده ناکافی یا پاسخدهی ناسازگار را تشخیص دهند؟
- آیا یافتههای توصیفی را از تشخیص جدا میکند؟
- آیا به جای نتیجهگیری از یک نتیجه منفرد، از پیگیری در جلسات مختلف پشتیبانی میکند؟
توانمایند را در کلینیک خود ارزیابی کنید
کلینیکهای واجد شرایط معمولاً ظرف یک روز کاری پس از بررسی لایسنس آزمایشی دریافت میکنند. نیازی به کارت اعتباری نیست.