Asal mula Aljabar dapat ditelusuri berasal dari bangsa Babilonia Kuno yang mengembangkan sistem aritmatika yang cukup rumit, dengan hal ini mereka mampu menghitung dalam cara yang mirip dengan aljabar sekarang ini. Dengan menggunakan sistem ini, mereka mampu mengaplikasikan rumus dan menghitung solusi untuk nilai yang tak diketahui untuk kelas masalah yang biasanya dipecahkan dengan menggunakan persamaan Linier, Persamaan Kuadrat dan Persamaan Linier tak tentu.
Sebaliknya, bangsa Mesir, dan kebanyakan bangsa India, Yunani, serta Cina dalam milenium pertama sebelum masehi, biasanya masih menggunakan metode geometri untuk memecahkan persamaan seperti ini, misalnya seperti yang disebutkan dalam ‘the Rhind Mathematical Papyrus’, ‘Sulba Sutras’, ‘Euclid's Elements’, dan ‘The Nine Chapters on the Mathematical Art’. Hasil karya bangsa Yunani dalam Geometri, yang tertulis dalam kitab Elemen, menyediakan kerangka berpikir untuk menggeneralisasi formula matematika di luar solusi khusus dari suatu permasalahan tertentu ke dalam sistem yang lebih umum untuk menyatakan dan memecahkan persamaan, yaitu kerangka berpikir logika Deduksi.
Seperti telah disinggung di atas istilah ‘Aljabar’ berasal dari kata arab "al-jabr" yang berasal dari kitab ‘Al-Kitab al-Jabr wa-l-Muqabala’ (yang berarti "The Compendious Book on Calculation by Completion and Balancing"), yang ditulis oleh Matematikawan Persia Muhammad ibn Musa al-Kwarizmi. Kata ‘Al-Jabr’ sendiri sebenarnya berarti penggabungan (reunion). Matematikawan Yunani di jaman Hellenisme, Diophantus, secara tradisional dikenal sebagai ‘Bapak Aljabar’, walaupun sampai sekarang masih diperdebatkan siapa sebenarnya yang berhak atas sebutan tersebut Al-Khwarizmi atau Diophantus?. Mereka yang mendukung Al-Khwarizmi menunjukkan fakta bahwa hasil karyanya pada prinsip reduksi masih digunakan sampai sekarang ini dan ia juga memberikan penjelasan yang rinci mengenai pemecahan persamaan kuadratik.
Sedangkan mereka yang mendukung Diophantus menunjukkan Aljabar ditemukan dalam Al-Jabr adalah masih sangat elementer dibandingkan Aljabar yang ditemukan dalam ‘Arithmetica’, karya Diophantus. Matematikawan Persia yang lain, Omar Khayyam, membangun Aljabar Geometri dan menemukan bentuk umum geometri dari persamaan kubik. Matematikawan India Mahavira dan Bhaskara, serta Matematikawan Cina, Zhu Shijie, berhasil memecahkan berbagai macam persamaan kubik, kuartik, kuintik dan polinom tingkat tinggi lainnya.
Peristiwa lain yang penting adalah perkembangan lebih lanjut dari aljabar, terjadi pada pertengahan abad ke-16. Ide tentang determinan yang dikembangkan oleh Matematikawan Jepang Kowa Seki di abad 17, diikuti oleh Gottfried Leibniz sepuluh tahun kemudian, dengan tujuan untuk memecahkan Sistem Persamaan Linier secara simultan dengan menggunakan Matriks. Gabriel Cramer juga menyumbangkan hasil karyanya tentang Matriks dan Determinan di abad ke-18. Aljabar Abstrak dikembangkan pada abad ke-19, mula-mula berfokus pada teori Galois dan pada masalah keterkonstruksian (constructibility).
Tahap-tahap perkembangan Aljabar simbolik secara garis besar adalah sebagai berikut:
- Aljabar Retorik (Rhetorical algebra), yang dikembangkan oleh bangsa Babilonia dan masih mendominasi sampai dengan abad ke-16.
- Aljabar yang dikontruksi secara Geometri, yang dikembangkan oleh Matematikawan Vedic India dan Yunani Kuno.
- Syncopated algebra, yang dikembangkan oleh Diophantus dan dalam ‘the Bakhshali Manuscript’.
- Aljabar simbolik (Symbolic algebra), yang titik puncaknya adalah pada karya Leibniz.
