从连家人的脸都认不出的人，到只是一瞬间忘记的人

面孔失认症的程度并非像黑白分明那样可以清晰划分，而是被认为处于一种连续的幅度（谱系）之中。程度较轻的情况下，困难可能仅限于特定场合，比如只有在与初次见面的人在场所或服装发生变化后再相遇时才不易察觉。

到了中度，即使在职场或学校等特定群体中，也容易出现如果不是经常见面的人，就要等对方出声才能察觉，或是发型、眼镜一变就难以判断是同一个人等困扰，且此类困扰会有所增加。重度的情况下，即便是家人、配偶或多年的朋友，也可能仅凭面孔无法判断是谁，需要强烈依赖声音、体型、说话方式等除面孔以外的线索来生活。

严重程度的差异，被认为与本人的努力或意识无关，而是取决于面孔识别处理本身的困难程度。即使同为面孔失认症，对某些人而言可能只是轻微的不便，对另一些人而言却可能对日常生活本身造成很大影响，不能一概而论地认定“因为是面孔失认症所以会这样困扰”。

困难程度需要结合本人的访谈以及测量面孔记忆与识别能力的检查等多种信息综合评估。仅凭自我评估的结果，无法确定严重程度。

面孔失认症的困难从外表上不易察觉，因此容易被周围误解为“态度不好”“对人不感兴趣”“不愿意记住别人”。有时即便对方出声打招呼却没有察觉、未能回应，也会被视为失礼的态度。

为了避免这类误解，有些人会逐渐回避人多的聚会或与新朋友见面的场合，结果反而加深了孤立感和对人际关系的不安。尤其在重度情况下，据报告反复经历认错人的尴尬，也会不断累积为心理上的负担。