古代、文字は鉛を動物の皮などにこすって記述した。のちに、細長い鉛と錫の合金（はんだ）を用い、外側に木軸を巻きつけた、現在の鉛筆の原型がつくられた。これと同じ原理のものは、現在も美術家が使用している。やがて芯の部分が黒鉛に変わり、削って使うようになったことで現代の鉛筆の原型ができあがったと言える。
黒鉛を使った鉛筆が最初に記述に現れるのは、1565年に、スイスのドイツ系博物学者コンラート・ゲスナー (Konrad Gesner) の『とくに石と岩にふくまれる化石の形とイメージについて』である。ゲスナーが使用した鉛筆の本体は丸い筒状の木でできており、先端に黒鉛の小さな塊を詰めるものだった。黒鉛がなくなると新しいものを詰めた。本に記載するくらいには珍しかったようだが、記述によればゲスナー自身はしばらく前からこの道具を使っていた。野外で化石を記録する際、インクつぼの不要な鉛筆はゲスナーにとって大変に便利なものであった。
16世紀の終わりには、イギリスのボローデールでカンバーランド黒鉛鉱が発見され、鉛筆が作られるようになった。ゲスナーのものも、芯はカンバーランド産黒鉛である可能性が高い。1610年までには、ロンドンの市場で鉛筆は普通に売られていた。初期のものはゲスナーの使ったもののような、木や金属で作った軸の先に、黒鉛の塊を詰めるものだった。黒鉛を木ではさんだり、針金で巻いたようなものも実在した。
2枚の細長い木の板の間に、芯となる細長い黒鉛の棒をはさんで固定した、現代のように削って使用する鉛筆は、1616年までに発明された。
記録に残るこの種の鉛筆の最初の製造業者は、ドイツのニュルンベルクに住むフリードリッヒ・ステッドラー（Friedrich Staedtler, 後のステッドラー社の創業者の先祖にあたる）で、1662年に町当局に鉛筆製造許可願いを出したが、町はこの仕事は指物師のものだとして却下した。しかし、1675年には、ステッドラーと同業者は、鉛筆製造業者のギルドを作ることを許されるようになっていた。
削って使う鉛筆は当初、芯は四角く軸は八角形だった。ただし、初期は指物師が鉛筆を作ったので、製造者によっては円形や六角形のものを作った者もいる。長さは6インチまたは7インチで、幅と厚さは1/3ないし1/2インチだった。現代のものと大差ない。
黒鉛はイギリス特産で、この時代、鉛筆はイギリス産のものが多く使われた。また、輸出産業を保護するため、しばしばイギリスは黒鉛を禁輸にし、完成品の鉛筆のみを輸出する政策をとった。イギリスの黒鉛鉱は19世紀までに掘り尽くされ、現在では中国、ブラジル、スリランカなどで地下から黒鉛を採掘している。初期の鉛筆は、途中までしか芯は詰められなかった。末端部分の削ってしまうと持てなくなり捨てる部分には最初から芯を入れなかったのである。この工夫は19世紀まで続いた。
鉛筆が普及し、黒鉛が不足すると、黒鉛を節約し、黒鉛くずも活用する方法が考えられた。最初の着想は1726年までにドイツで実現された。黒鉛くずと硫黄をまぜて溶かし、固めるというものだったが、筆記時に引っかかりが生じて滑らかな筆記性に欠け、のちにカルノー式鉛筆が登場するとすぐに消えた。
20世紀の終わりに、日本で伊達政宗の墓所・瑞鳳殿から鉛筆が発見された。これはゲスナーの使ったのとほぼ同じ構造だったが、芯は練って作ってあった。政宗の鉛筆は1636年までには製造されていたと考えられるため、練って作る芯の使用は少なくとも90年はさかのぼることになった。
日本には、17世紀に製造された鉛筆として、政宗の鉛筆のほか、徳川家康の鉛筆も残っている。
1770年に消しゴムが発明された。
1793年にイギリスとフランスの間で戦争がおきると、フランスに黒鉛と鉛筆が輸入できなくなった。戦争大臣のラザール・カルノー は、技師・発明家のニコラ＝ジャック・コンテ (Nicholas-Jacques Conté) に代替品の開発を命じた[2]。1795年にコンテは、黒鉛と粘土を混ぜて焼いて作るという、現在と同じしくみの芯を開発した。コンテの開発した方法では、黒鉛を大幅に節約でき、また黒鉛くずも利用できた。更に、粘土の量によって書く文字の色の濃さも変化させることができるようになった。またコンテは1798年パリで催された世界初の国内博覧会で、黒芯の発明により、賞を受賞した[3]。
1839年、ドイツのロタール・ファーバーはコンテの黒芯を用いて現在と同様の六角形の鉛筆を開発すると共に、鉛筆の長さや太さ、硬さの基準を設けた。彼はまた初めて会社名を鉛筆に刻印した。この功績からファーバーは男爵の爵位を授かり、王室顧問にも就任した。彼の会社は現在もファーバーカステルとして鉛筆をはじめとした筆記具を製造している。
アメリカのハイマン・リップマン (Hyman L. Lipman) は、1858年3月30日に消しゴムをニカワで鉛筆に固定させる消しゴム付き鉛筆を発明した。リップマンはこの特許をジョセフ・レケンドーファー (Joseph Reckendorfer) に10万ドルで売り莫大な富を築いた。エバーハード・ファーバー (Eberhard Faber) はこの特許の前に、金属片を押し付けて鉛筆に消しゴムをつける方式を考案し、別に特許をとった。この2者の間で特許紛争となったが、連邦最高裁は、消しゴムつき鉛筆自体に新規性が認められないとし、両方の特許を無効とする判決を下した。
鉛筆削りは19世紀の終わりに発明された。ポケットに入れられる小さなものが若干早く市場に出た。机に設置する大きなものは少し遅れて開発された。当初は、ハンドルを回すことによってヤスリが回転するというしくみだった。
1870年代までは、鉛筆の芯は四角のままだった。また、19世紀中ごろまでは、鉛筆の形も八角形のものが主流で、外見は17世紀のイギリスのものからほとんど変化しなかった。ファーバーが基準を定めたのち、19世紀末までには、鉛筆の形は円、六角形または三角形になり、芯も丸くなった。八角形で芯が四角いものは、工程上芯が中央からずれる場合があり、その場合鉛筆削りではうまく削れなかったのでしだいに消えていった。三角形のものは製造工程の都合上安価にできず、あまり普及しなかった。
イギリスの次に鉛筆生産国になったのはドイツだった。20世紀初期まで、主な鉛筆輸出国はドイツだった。しかし、第一次世界大戦が起きるとドイツ製鉛筆が入手できなくなり、1915年ごろからは日本製のものが世界で使われた。ただし、日本製のものは両端にしか芯のないキセル鉛筆などの粗悪品が多く、国際的には評価が低かった。第一次大戦が終わると日本製品の輸出は極端に低下した。
しばらくはドイツと日本が主な鉛筆製造国だったが、第二次世界大戦の影響で、1940年代はどちらの国も輸出がほぼ止まった。
印刷付き鉛筆は、1949年に日本のトンボ鉛筆が最初に製造した。これ以前の印字は箔押しであった。精巧な曲面印刷技術を用いたものは、1951年までに、日本の伊藤意匠研究所（現在のいとう鉛筆意匠）創業者伊藤一喜と本多鉛筆印刷の本多信によって始められた。これにより、社名などを印字した贈答用鉛筆が多く作られるようになった。
