Како 16-годишник се откажал од германското државјанство, велејќи дека попрво би бил граѓанин на светот отколку националист. Немал државјанство до 1901 година, кога станал граѓанин на Швајцарија. Ајнштајн бил голем борец за слободата на говорот и човековите и граѓанските права. Во 1952 година, на Ајнштајн му понудиле да биде претседател на Израел, но тој љубезно ја одбил понудата велејќи дека е стар, но и дека ја нема природната способност да се занимава со луѓе.
Иако бил најпаметниот човек во очите на обичниот свет, неговиот љубовен живот покажал дека е длабоко несовршен. Ајнштајн имал два брака, еден со Милева Мариќ, а друг со роднината Елса. Додека бил во брак ја почнал врската со Елса. Се шпекулирало дека жената со која имал љубовна афера, Маргарита Коненкова, била руски шпион, но историчарите никогаш не ги потврдиле овие наоди.
Ајнштајн и Милева имале едно дете пред бракот, девојче за кое се мисли дека починало како бебе или било дадено на посвојување. Во бракот со Милева добил два сина, а едниот од нив, Едвард, имал шизофренија. Според некои писма, Ајнштајн бил благодарен на песните и цртежите што му ги испраќал болниот син, наведувајќи дека Едвард е негова слика и прилика, обземен од неизлечивата ментална болест.
Имал огромна љубов кон виолината, без која не одел никаде, а сакал и едрење. Се наведува дека бил страстен пушач, а често бил фотографиран и со своето луле.
Во април 1955 година, на 76 години, Ајнштајн бил примен во болница поради болка во градите. Наредниот ден починал, бидејќи наводно одбил операција која можела да му го спаси животот. Била спроведена обдукција за која докторот Томас Штолц Харви немал дозвола, и му ги извадил мозокот и очите, а остатокот од телото го дал на кремирање. Ова било спротивно на желбата на Ајнштајн, кој сакал целото тело да му биде кремирано.
Наводно докторот барал, но и добил дозвола од синот на Ајнштајн, Ханс, да спроведе истражување на мозокот на големиот Ајнштајн. Доктор Харви го чувал мозокот на научникот во својата канцеларија без знаци дека ќе го почне истражувањето, па поради тоа бил отпуштен од болница. Заминувајќи од работното место, докторот го зел мозокот со себе и го исекол на 200 парчиња. Одвреме-навреме научниците го контактирале да им испрати дел од мозокот на Ајнштајн за да спроведат истражувања што тој ги ветил, а никогаш не ги спровел. Очите на Ајнштајн му припаднале на неговиот офталмолог Хенри Абрамс. Абрамс и Ајнштајн биле големи пријатели откако научникот му станал пациент, и заедно учествувале во разни политички и активистички случувања. Иако постоеле шпекулации дека очите ќе бидат продадени на аукција, Абрамс до својата смрт негирал дека ќе ги продаде очите од некој што го сметал за голем пример.