假设检验的基本思想实质上是带有某种概率性质的反证法. 为了检验一个假设是否正确,首先假定该假设正确,然后根据抽取到的样本对假设作出接受或拒绝的决策. 如果样本观察值导致了不合理的现象的发生,就应拒绝假设,否则应接受假设.
假设检验中所谓“不合理”,并非逻辑中的绝对矛盾,而是基于人们在实践中广泛采用的原则,即小概率事件在一次试验中是几乎不发生的,但概率小到什么程度才能算作“小概率事件”?显然,“小概率事件”的概率越小,否定原假设就越有说服力. 常记这个概率值为,称为检验的显著性水平. 对不同的问题,检验的显著性水平不一定相同,但一般应取为较小的值,如0.1,0.05或0.01等.
假设检验是基于某一置信水平来说的,对于同一假设检疫问题,可能因为置信水平不同而得出不同的结论。可能在某一相对较低的置信水平下接受原假设,而在另一较高的置信水平下拒绝原假设(接受备择假设)。