最高裁判所は、裁判所の中でも文字通り最高位の裁判所であり、皆さんには通常は縁のないところだと思われます。

そもそも、裁判官は、有権者の多数派の意見等におもねることなく、正義の判断を行うことが求められているため、原則的には、その良心に従い、独立して職権を行い、憲法と法律にのみ、拘束されるものとされています(憲法76条3項)。
また、裁判官は、裁判により、心身の故障のために職務を執ることができないと決定された場合を除いて、公の弾劾によらない限り罷免されず、行政機関が裁判官の懲戒処分を行うこともできません(憲法78条)。
更に、裁判官の報酬は、在任中、これを減額することができません(憲法79条6項、80条2項)。
このように、裁判官には高度の独立性が認められています。

ですが、あまりに独りよがりな判決ばかり出されてもいけないので、最高裁判所の裁判官に限って、時々国民の審査を受けましょうと、憲法で決められているのです。
具体的には、最高裁判所の裁判官の任命は、その任命後初めて行われる衆議院議員総選挙の際に、国民の審査に付され、その後10年を経過した後で初めて行われる衆議院議員総選挙の際に、更に審査に付され、その後も同様とされています(憲法79条2項)。
この場合に、投票者の多数が裁判官の罷免を可とするときは、その裁判官は罷免されます(同条3項)。
×を多数つけられた裁判官は、クビになるというわけですが、積極的に×と書かれない限り、マイナス票にはなりません(つまり、白票は×の扱いにはならないので、何も書かなかった場合は、×とはカウントされないということです)。
有権者も、誰がどんな裁判官なのかよく分からないため、例年、とりあえず用紙の最初に名前のある裁判官に、×が多くつく傾向がある、とも言われています。

この国民審査の権利も、国民の大事な権利の一つですので、ご参考までに。