從連家人的臉都認不出的人，到只是一瞬間忘記的人

面孔失認症的程度並非像黑白分明那樣可以清晰劃分，而是被認為處於一種連續的幅度（譜系）之中。程度較輕的情況下，困難可能僅限於特定場合，比如只有在與初次見面的人在場所或服裝發生變化後再相遇時才不易察覺。

到了中度，即使在職場或學校等特定群體中，也容易出現如果不是經常見面的人，就要等對方出聲才能察覺，或是髮型、眼鏡一變就難以判斷是同一個人等困擾，且此類困擾會有所增加。重度的情況下，即便是家人、配偶或多年的朋友，也可能僅憑面孔無法判斷是誰，需要強烈依賴聲音、體型、說話方式等除面孔以外的線索來生活。

嚴重程度的差異，被認為與本人的努力或意識無關，而是取決於面孔識別處理本身的困難程度。即使同為面孔失認症，對某些人而言可能只是輕微的不便，對另一些人而言卻可能對日常生活本身造成很大影響，不能一概而論地認定「因為是面孔失認症所以會這樣困擾」。

困難程度需要結合本人的訪談以及測量面孔記憶與識別能力的檢查等多種資訊綜合評估。僅憑自我評估的結果，無法確定嚴重程度。

面孔失認症的困難從外表上不易察覺，因此容易被周圍誤解為「態度不好」「對人不感興趣」「不願意記住別人」。有時即便對方出聲打招呼卻沒有察覺、未能回應，也會被視為失禮的態度。

為了避免這類誤解，有些人會逐漸迴避人多的聚會或與新朋友見面的場合，結果反而加深了孤立感和對人際關係的不安。尤其在重度情況下，據報告反覆經歷認錯人的尷尬，也會不斷累積為心理上的負擔。