代数学可以笼统地解释为关于字母运算的学科。在中学所学的初等代数中，字母仅用来表示数。初等代数从最简单的一元一次方程开始，一方面进而讨论二元及三元的一次方程组，另一方面研究二次以上及可以转化为二次的方程组。沿着这两个方向继续发展，代数学在讨论任意多个未知数的一次方程组，也叫线性方程组的同时，还研究次数更高的一元方程及多元方程组。发展到这个阶段，就叫做高等代数。
线性代数是高等代数的一大分支，是研究如何求解线性方程组而发展起来的。线性代数的主要内容有行列式、矩阵、向量、线性方程组、线性空间、线性变换、欧氏空间和二次型等。在线性代数中，字母的含义也推广了，它不仅用来表示数，也可以表示行列式、矩阵、向量等代数量。笼统地说，线性代数是研究具有线性关系的代数量的一门学科。线性代数不仅在内容上，更重要的是在观点和方法上比初等代数有很大提高。
在线性代数中最重要的内容就是行列式和矩阵。虽然表面上看，行列式和矩阵不过是一种语言或速记，但从数学史上来看，优良的数学符号和生动的概念是数学思想产生的动力和钥匙。
行列式出现于线性方程组的求解。行列式的概念最早是由十七世纪日本数学家关孝和提出来的，他在1683年写了一部叫做《解伏题之法》的著作，标题的意思是“解行列式问题的方法”，书里对行列式的概念和它的展开已经有了清楚的叙述。欧洲第一个提出行列式概念的是德国的数学家、微积分学奠基人之一莱布尼兹(Leibnitz)。1750年克莱姆(Cramer)在他的《线性代数分析导言》中发表了求解线性方程组的重要基本公式(即人们熟悉的 Cramer 克莱姆法则)。1764年，法国数学家贝佐特(Bezout)把确定行列式每一项的符号的手续系统化了。对给定了含n个未知量的n个齐次线性方程，Bezout证明了系数行列式等于零是该方程组有非零解的条件。法国数学家范德蒙(Vandermonde)是第一个对行列式理论进行系统的阐述(即把行列式理论与线性方程组求解相分离)的人，并且给出了一条法则，用二阶子式和它们的余子式来展开行列式。就对行列式本身进行研究这一点而言，他是这门理论的奠基人。法国数学家拉普拉斯(Laplace)在1772年的论文《对积分和世界体系的探讨》中，证明了Vandermonde的一些规则，并推广了他的展开行列式的方法，用r行中所含的子式和它们的余子式的集合来展开行列式，这个方法现在仍然以他的名字命名。德国数学家雅可比(Jacobi)也于1841年总结并提出了行列式的系统理论。另一个研究行列式的是法国数学家柯西(Cauchy)，他大大发展了行列式的理论，在行列式的记号中他把元素排成方阵并首次采用了双重足标的新记法，与此同时发现两行列式相乘的公式及改进并证明了Laplace的展开定理。行列式现在的两条竖线记法是英国数学家凯莱(Cayley)最先给出的。
相对而言，最早利用矩阵概念的是拉格朗日(Lagrange)在1700年后的双线性型工作中体现的。拉格朗日期望了解多元函数的最大、最小值问题，其方法就是人们知道的拉格朗日乘数法。为了判定多元函数的最大、最小值，他首先需要一阶偏导数为0，另外还要有二阶偏导数矩阵的条件。这个条件就是今天所谓的正、负定二次型及正、负定矩阵的定义。尽管拉格朗日没有明确地提出利用矩阵。1848年英格兰数学家西尔维斯特(Sylvester)首先提出了矩阵这个词，它来源于拉丁语，代表一排数。1855年英国数学家凯莱(Cayley)建立了矩阵运算的规则。Cayley研究了线性变换的组成并提出了矩阵乘法的定义，使得复合变换ST的系数矩阵变为矩阵S和矩阵T的乘积。他还进一步研究了那些包括矩阵逆在内的代数问题。著名的凯莱-哈密尔顿(Cayley-Hamilton)理论即断言一个矩阵的平方就是它的特征多项式的根，就是由Cayley在1858年在他的矩阵理论文集中提出的。利用单一的字母A来表示矩阵是对矩阵代数发展至关重要的。在发展的早期公式det(AB)= det(A)det(B)为矩阵代数和行列式间提供了一种联系。数学家Cauchy首先给出了特征方程的术语，并证明了阶数超过3的矩阵有特征值及任意阶实对称行列式都有实特征值；给出了相似矩阵的概念，并证明了相似矩阵有相同的特征值。1878年德国数学家弗罗伯尼(Frobenius)发表了关于矩阵论的很有影响的论文，提出矩阵的最小多项式(即以矩阵为根的次数最低的多项式)是特征多项式的因式而且是唯一的。他又将不变因子和初等因子的概念引进到矩阵理论中来，得到矩阵等价的充分必要条件是它们有相同的初等因子或不变因子的结论。他还发表了埃尔米特使用过的正交矩阵这个术语的正式定义，引进了矩阵的秩的概念。他的论述还涉及矩阵的相似变换，合同矩阵等。
高斯(Gauss)大约在1800年提出了高斯消元法并用它解决了天体计算和后来的地球表面测量计算中的最小二乘法问题。(这种涉及测量、求取地球形状或当地精确位置的应用数学分支称为测地学。)虽然高斯由于这个技术成功地消去了线性方程的变量而出名，但早在两千多年前我国的数学名著《九章算术》中就出现了解释如何运用“高斯”消去的方法求解带有三个未知量的三方程系统。在当时的几年里，高斯消去法一直被认为是测地学发展的一部分，而不是数学。而高斯-约当消去法则最初是出现在由Wilhelm Jordan撰写的测地学手册中。许多人把著名的法国数学家约当(Camille Jordan)误认为是“高斯-约当”消去法中的约当。
向量的概念，从数学的观点来看不过是有序三元数组的一个集合，然而它以力或速度作为直接的物理意义， 并且数学上用它能立刻写出物理上所说的事情。向量用于梯度、散度、旋度就更有说服力。第一个涉及一个不可交换向量积(即v×w不等于w×v)的向量代数是1844年由德国数学家格拉斯曼(Grassmann)在他的《线性扩张论》一书中提出的。在这部名著中，他引入了欧几里得n维空间概念，研究了点、直线、平面、两点间距离等概念，并把这些概念推广到n维空间。在19世纪末美国数学物理学家吉布斯(Gibbs)发表了关于《向量分析基础》的著名论述。其后英国物理学家迪拉克(Dirac)提出了行向量和列向量的乘积为标量。我们习惯的列矩阵和向量都是在20世纪由物理学家给出的。
西尔维斯特在二次型的化简和创立标准形理论方面起了重要作用。在二次型化简的研究中西尔维斯特得到了两个二次型等价的充分必要条件是它们有相同的秩和相同的指数，相继得到的另一个重要结果就是著名的“惯性定律”，即秩为r的一个实二次型f(x1,x2, ...,xn)可以通过非奇异的线性变换化成规范形
y12+ y22+…+ yp2- yp+12-…-yr2
其中指数p是唯一确定的，现在教科书中称为正惯性指数．当时西尔维斯特没有给出证明，这个定律后来被J．雅可比(Jacobi)重新发现并证明．判定二次型是否正定具有重要的理论和实用价值。将二次型化为规范形来判定是方法之一，但是能否不用化简，只用二次型的系数进行判定呢？西尔维斯特对这个问题进行了研究，得到著名的西尔维斯特定理：一个n元实二次型正定的充分必要条件是该二次型的n个顺序主子式全为正数。
线性代数的主要理论成熟于十九世纪。由于代数运算是有限次的，而且缺乏连续性的概念，也就是说，代数学主要是关于离散性的。尽管在现实中连续性和不连续性是辩证的统一的，但是为了认识现实，有时候需要把它分成几个部分，然后分别地研究认识，再综合起来，就得到对现实的总的认识。这是我们认识事物的简单但是科学的重要手段，也是代数学的基本思想和方法。代数学注意到离散关系，并不能说明这是它的缺点，时间已经多次、多方位的证明了代数学的这一特点是有效的。其次，代数学除了对物理、化学等科学有直接的实践意义外，就数学本身来说，代数学也占有重要的地位。代数学中产生的许多新的思想和概念，大大地丰富了数学的许多分支，成为众多学科的共同基础。二次世界大战后随着现代数字计算机的飞速发展和广泛应用，许多实际问题可以通过离散化的数值计算得到定量的解决。于是作为处理离散问题的线性代数，成为从事科学研究和工程设计的科技人员必备的数学基础。