هنگامیکه صحبت از علم می شود، کلماتی مانند تحقیق، قابلیت تولید مجدد و قابلیت اطمینان کلمات کلیدی محسوب می شوند. ما به عنوان دانشمند در تجزیه و تحلیل آماری مقالات خود ثابت کرده ایم که نتایج ما به صورت معناداری متفاوت هستند. محققان آرزو دارند که مجله ای حاوی نتایج منفی وجود می داشت، مجله ای که در آن آزمایشاتی که به نتیجه نرسیده بودند منتشر می شد. در این صورت دیگر وقت خود را صرف آزمایشاتی که توسط محققان دیگر انجام شده بود و نتایج منفی در پی داشت نمی کردند. متاسفانه، ما اغلب نتایج غیر معنادار متفاوت خود را منتشر نمی کنیم و تلاش داریم برای انتشار اثر خود تفاوت معناداری در آزمایشاتمان بیابیم.
این همان راهی است که اغلب محققان به اشتباه می روند. آنها قوانین آماری پایه را که سبب می شود نتایجشان معنادارتر و تجدیدپذیر به نظر برسند را اشتباه می گیرند. با این وجود، اغلب این روش های کار به لحاظ آماری صحیح نیستند پس مطمئن شوید که خطاهای آماری زیر را (در هنگام تجزیه و تحلیل آماری) در مقاله خود انجام نمی دهید:
خطاهای آماری متداول
گروه کنترل
در هنگام مطالعه تاثیر یک مداخله بر نقاط زمانی متعدد، باید حتما یک گروه کنترل داشته باشید. متغیرهای بسیار دیگری نیز ممکن است وارد آزمایشات شوند که فکرش را نمی کنید مثلا ممکن است آزمایش کننده به تحقیق عادت کرده و نسبت به آغاز تحقیق به صورت کارآمدتری نتایج را گزارش داده باشند. افراد مورد آزمایش نیز شرکت در آزمایش را می آموزند و با گذشت زمان تبحر بیشتری در این کار می یابند. بنابراین این مورد نیاز به کنترل دارد. گروه های کنترل و گروه های آزمایش باید به یک اندازه باشند و باید همزمان با گروه های آزمایش به صورت تصادفی نمونه گیری شوند.
مقایسه دو تاثیر بدون مقایسه مستقیم آنها با یکدیگر
این اتفاق زمانی می افتد که تاثیرگذاری دو فاکتور با یک گروه کنترل سنجیده شود ولی با یکدیگر سنجیده نشود. برای مثال، شما دو گروه دارید و می خواهید دو مداخله متفاوت را با هم مقایسه کنید. به نظر می رسد مداخله A تاثیر بیشتری از مداخله B داشته باشد، اما تجزیه و تحلیل آماری شما ثابت می کند که این دو با هم تفاوت معناداری ندارند. با این وجود، شما دریافته اید که هر مداخله تفاوت معناداری با گروه کنترل دارند. تنها نتیجه ای که می توانید بگیرید این است که هر دو مداخله تفاوت معناداری در مقایسه با گروه کنترل نشان می دهند. نمی توانید بگویید که به لحاظ آماری دو تداخل با هم تفاوت معناداری دارند.
تعداد مشاهدات در مقابل تعداد افراد مورد آزمایش
هر چه تعداد تکرارها در آزمایشات شما بیشتر باشد تجزیه و تحلیل آماری شما قابلیت اطمینان بالاتری خواهد داشت. وسوسه نشوید که به طور ساختگی تعداد واحدهای تحلیل را با استفاده از تعداد مشاهدات به جای افزایش تعداد افراد مورد آزمایش بیشتر جلوه دهید. برای کنترل خودتان، به هدف آزمایش نگاهی بیاندازید. اگر قصد دارید تاثیر یک مداخله را بر یک گروه بررسی کنید در این صورت واحد تحلیل باید تعداد افراد مورد آزمایش باشد.
حذف داده های پرت
ممکن است تصور کنید که باید داده های پرت زیادی را کنار بگذارید چون به نظر می رسد در آن نقطه داده مشکلی رخ داده است. شاید فکر کنید امکان ندارد یک یا دو مورد از نقطه داده هایتان این قدر متفاوت از دیگر مشاهداتتان باشد. با این وجود، داده های پرت می توانند مشاهدات موثقی باشند. اگر یک نقطه داده را حذف کنید، باید این مطلب را ذکر کرده و برای آن دلیل منطقی بیاورید. این نوع شفافیت برای علم ضروری می باشد.
اندازه های کوچک نمونه
در مواردی که نمونه ها نادر و بنابراین محدود هستند، تنها تاثیرات بزرگ به لحاظ آماری قابل تشخیص هستند. به علاوه، شاید نتوان یک تاثیر موثق را شناسایی کرد. اگر خود را در چنین موقعیتی یافتید، ممکن است بتوانید با انجام همانندسازی در داخل و بین نمونه ها و با گنجاندن تعداد کنترل های کافی، از همان حجم نمونه کوچک استفاده کنید.
یک مجموعه از آزمایشات را با مقایسه تاثیر یک مداخله قبل و بعد از آن مداخله کامل کرده اید. سپس متوجه می شوید که نتایج میان این دو گروه خیلی معنادار نیستند. با این وجود، در طول تجزیه و تحلیل آماری متوجه تغییری در رفتار نمونه هایتان می شوید. وسوسه می شوید گروهتان را به زیر گروه هایی تقسیم کنید و اطلاعات پایه را کنار بگذارید تا فرضیه خود را ثابت کنید. این کار با عنوان تحلیل چرخه ای یا مضاعف شناخته می شود. برای تایید فرضیه تان باید دوباره آزمایش را با معیار تجزیه و تحلیلی که جدیدا تعریف می کنید و گروه های کنترل مناسب تکرار کنید.
هک کردن P
این موضوع زمانی اتفاق می افتد که محققان به صورت ساختگی احتمال دستیابی به مقدار P معنادار را با افزودن کوواریانس ها، خارج کردن افراد مورد آزمایش یا تغییر پارامترهای نتیجه افزایش می دهند. این کارها می تواند به لحاظ آماری نتیجه ای معنادار بدهد زیرا هر چه تعداد آزمایشات بیشتری انجام بدهید احتمالا نتیجه مثبت کاذب بیشتری می یابید. احتمالات به همین صورت عمل می کند. اگر خود را در چنین موقعیتی یافتید سعی کنید شفاف عمل کنید و از داده های موجود برای توجیه تحقیقات اضافه استفاده کنید.
عدم تصحیح مقایسه های چندگانه
مقایسه های چندگانه زمانی اتفاق می ا فتد که دو گروه با استفاده از بیش از یک متغیر با هم مقایسه شوند. برای مثال، شما تاثیر یک دارو را بر داوطلبان بررسی می کنید و نتیجه چندین علامت را ارزیابی می نمایید. در این نوع آزمون ها، هر چه تعداد فاکتورها بیشتر باشد احتمال مثبت کاذب شدن برای یکی از متغیرها بیشتر می شود. مطمئن شوید که مقایسه چندگانه یک گروه با مجموعه بزرگتری از متغیرها با استفاده از آمار مربوط به آزمایش خود را تصحیح کرده باشید.
تفسیر بیش از اندازه نتایج غیر معنادار
معناداری مقدار P برابر با 0.05 به صورت اختیاری توضیح داده می شود و تنها نشان می دهد که احتمال پیشامد یک نتیجه در یک جمعیت زیاد است. برای اینکه مقدار P معنادار باشد یاید با اندازه اثر و و فاصله اطمینان 95 درصد گزارش شود. در این صورت خواننده می تواند مقیاس اثر را بهتر فهمیده و نتیجه گیری کند که آیا نتایج را می تواند برای جمعیت مربوطه بر اساس نتایج جمعیت نمونه پیش بینی نماید یا خیر.
اشتباه گرفتن همبستگی با رابطه علیت
رابطه میان دو متغیر اغلب با استفاده از همبستگی ها تجزیه و تحلیل می شود. اگر میان دو متغیر همبستگی یافت شود به این معنا نیست که یک اثر سبب دیگری می شود. برای تایید رابطه علیت نیاز به آزمایشات بیشتری می باشد.
ملاحضات
هدف از تجزیه و تحلیل آماری، بیان داستان یک مداخله یا تاثیر است که بر روی آن تحقیق می کنید. باید مطمئن شوید که همه قسمت های داستان را برای نتیجه گیری های معنادار در اختیار دارید.
