Die Gründungsgeschichte von IBM ist untrennbar mit dem deutschen Emigranten Hermann Hollerith verbunden, einem 1860 in Buffalo (New York) geborenen Ingenieur. Er erfindet 1884 eine Maschine mit der große Datenmengen erstmals auf mechanischem Wege erfasst und ausgewertet werden können. Als Assistent im Amt für Volkszählung tüftelt er an einer Methode, die langwierigen und aufwändigen Volkszählungen, die in Amerika regelmässig durchgeführt werden, effizienter zu gestalten. Seine Idee ist es, für die Datenerfassung eine Lochkarte zu verwenden, anstatt der bisherigen Karten, auf denen man bestimme Felder ankreuzte. Mit der Lochkartentechnologie lässt sich die Datenerfassung sehr viel schneller durchführen, als mit der bis dahin verwendeten Methode. Zum Einsatz kommt die Hollerith-Maschine erstmals bei der elften amerikanischen Volkszählung 1890. Die Daten von 65 Millionen US-Bürgern können mit Hilfe von 43-Hollerith-Maschinen innerhalb von nur 4 Wochen erhoben werden. Dies bedeutet eine enorme Zeitersparnis gegenüber den bisher eingesetzen Verfahren. Erst 1920 setzt auch Deutschland die erste Hollerith-Maschine zur Volkszählung ein. Im Jahr 1896 ruft Hermann Hollerith seine "Tabulating Machine Company" ins Leben. Hollerith, als Unternehmer nicht erfolgreich, muss seine Patente im Jahre 1911 an den Multiunternehmer Charles R. Flint verkaufen, wodurch Holleriths Firma in dessen Firma Computing Tabulating Recording Company (CTR) aufgeht.

1914 ernennt Flint den 40 jährigen Thomas J. Watson (1874-1956) zum Direktor dieser Firma, aus der 1924 nach Zukäufen und Umorganisationen die Firma IBM entsteht. Watson, der vorher eine Führungskraft bei NCR war, und seinem modernem Führungsstil (Hauptslogan Watsons: "THINK") sowie der Lochkarte Hollerith's war es zu verdanken, dass die IBM bald die Herrschaft über den damaligen Markt mechanischer Lochkarten-Maschinen erlangte. Sie war die Grundlage für die spätere Vormachtstellung in der Computerbranche. In den ersten 4 Jahren unter Watsons Führung verdoppelte IBM seinen Gewinn auf ca. 2 Mio. $.

Als 1929 die große Wirtschaftskrise begann und die ganze US-Wirtschaft vor sich hin siechte, machte IBM noch Gewinne und zahlte seinen Aktioären 5% Dividende aus. Die Fertigung ließ man weiterlaufen und legte die Teile auf Halde. 1931 wird die IBM 600 entwickelt, eine Multiplikationsmaschine auf Lochkartenbasis, 1934 das Nachfolgemodell 601, die mit einer Schalttafel programmiert werden konnte. Die erste elektrische Schreibmaschine folgt 1935 (IBM produzierte Schreibmaschinen bis 1990). Im gleichen Jahr erläßt die US-Regierung auch das Sozialversicherungsgesetz. Dafür wird eine aktuelle Beschäftigungsstatistik für 26 Mio. Menschen benötigt. IBM erhält einen entsprechenden Auftrag und führt die Statistik so gut durch, das bald weitere Regierungsaufträge folgen.

Im Jahr 1944 dann ein weiterer Meilenstein in der IBM Geschichte (und natürlich für die gesamte Entwicklung der Branche): der IBM ASCC. Der ASCC (Automatic Sequence Controlled Calculator) war ein riesiger, lochstreifengesteuerter Rechnenautomat, der aus 700.000 Einzelteilen bestand. Über elektromechanische Relais konnten die 4 Grundrechenarten durchgeführt werden. 1948 folgte dann der SSEC (Selective Sequence Electronic Calculator), der bereits viele rein elektronische Bauteile enthielt und es als erster Computer überhaupt erlaubte, gespeicherte Programme zu modifizieren.

1953 begann für IBM mit dem Modell 701 die EDV. Die 701 war IBM's erste elektronische Datenverarbeitungssystem und zudem als erster Computer mit einem Magnetband als Speichermedium ausgestattet. Das System schaffte 2200 Multiplikationen in der Sekunde und war einer der ersten seriengefertigten Rechner überhaupt. 1956 stellte IBM dann zum ersten Mal so was ähnliches wie eine Festplatte her. Die RAMAC (Random Access Method for Accounting and Control), die auf 50 Magnetplatten bereits 5 MB Daten im Direktzugriff speichern und lesen konnte. In diesem Jahr übergibt Watson - mittlerweile 82 Jahre alt - die Geschäftsleitung an seinen Sohn Thomas und stirbt 6 Wochen später.

1957 folgt die IBM 704, erstmals mit einem Fortran Compiler ausgestattet. Fortran war die Programmiersprache, die im wissenschaftlich/technischen Bereich bevorzugt wurde. Im folgenden Jahr entwickelt IBM eine Produktionsstraße zur Transistor-Herstellung, auf der stündlich 1800 Transistoren gebaut und überprüft werden können. Man wußte bei IBM, das Transistoren bis zu 200 mal schneller sind als Vakuumröhren, zudem billiger in Herstellung und zuverlässiger. Natürlich folgt mit der IBM 1401 auch schnell ein transistor-basierter Rechner. Mit diesem System wird auch der erste Kettendrucker ausgeliefert. Die neue Drucktechnik des Typs 1403 übertraf von der Geschwindigkeit her alle Vorgänger um das Vierfache, und das bei deutlich gestiegener Druckqualität.

1960 werden bei den Olympischen Winterspielen in Kalifornien erstmals Computer eingesetzt, natürlich von IBM. Vielleicht war dieses Ereignis auch ein wichtiger Meilenstein, der den Computern verhalf, ins Licht der Öffentlichkeit zu treten. Mit Sicherheit aber die aufkommende Raumfahrt, für die der Computer mittlerweile ein unentbehrliches Werkzeug war. In den 60iger Jahren schrieben IBM's Softwareingenieure Millionen Zeilen von Code nur für die Raumfahrt.

IBM war zu dieser Zeit (und natürlich auch in der Vergangenheit) ständig bemüht, Forschung und Entwicklung zu fördern. 1961 wurde das Thomas J. Watson Research Center in New York eröffnet und das Forschungslaboratorium in Zürich nahm seine Arbeit auf.

1964 wurde das System/360 vorgestellt, nach Aussage von IBM die wichtigste Produktankündigung in der Geschichte des Unternehmens. Hardwareseitig war die SLT-Technik (Solid Logic Technology) neu: Keramikmodule mit Schaltkreisen, die dichter, schneller und zuverlässiger waren als alle Transistoren. Außerdem war das System skalierbar, eine Vielzahl von Kombinationsmöglichkeiten mit unterschiedlich leistungsfähigen Zentraleinheiten und Peripheriegeräten konnte geliefert werden. Eine weitere Besonderheit: ein Betriebssystem (DOS/386 oder OS/386), das für Kompatibiltät der dafür entwickelten Software auch bei zukünftigen Systemen sorgen sollte. IBM konnte am Anfang monatlich 1000 Stück dieser Computer verkaufen, als Folge expandierte das Unternehmen enorm. In dieser Hochphase begannen die IBM-Ingenieure, mit dem Laserlicht zu experimentieren.

1965 startete die USA das Gemini-Raumfahrtprogramm. Bei allen Flügen sind kleine IBM Computer dabei. Auch für das NASA-Kontrollzentrum in Houston (Texas) wird von IBM ein Computer geliefert: das System 2361 war der größte Computer, der jemals gebaut wurde, bezüglich seiner Ausmaße. Bei der Mondlandung 1969 waren natürlich auch IBM-Computer maßgeblich beteiligt.

1971 erfinden die IBM Forscher die Flexy-Disk. Ebenfalls 1971 dann ein Führungswechsel: der überaus erfolgreiche CEO Tom J. Watson übergibt seinen Posten an Frank Cary. Watson hatte bis zum Ende seiner Amtszeit den Umsatz auf 7 Mrd. $ gesteigert und "Big Blue" (Spitzname für IBM) beschäftigte weltweit ca. 250.000 Menschen. Vielleicht war Watson auch den vielen Gerichtsprozessen nicht mehr gewachsen, die IBM zu dieser Zeit durchzufechten hatte. Er stirbt 1993 im Alter von 79 Jahren. Erst im Jahre 1982 sollte die US-Regierung die Klagen wieder zurückziehen.

Trotzdem kam in den folgenden Jahren eine wahre Produktflut von IBM auf den Markt. 1972 wird mit der Winchester-Festplatte (IBM 3340) revolutionäre Technik vorgestellt. Deren Lese-/Schreibkopf bewegt sich auf einem Luftfilm von einem 5 Millionstel Millimeter. Das neue Spitzenmodell 3033 kommt auf den Markt, auch die Midrange-Systeme /32, /34 und /38, neue Versionen des Systems /370, der 64K RAM-Chip und auch andere Produkte wie die Kugelkopfschreibmaschine mit Korrekturtaste.

1981 wird John R. Opel neuer CEO und eine neue Ära bei IBM begann. Aufgrund der Erfolge von Apple, Commodore und Tandy im Homecomputerbereich beschließt Opel, ebenfalls in diesen Markt einzusteigen. Aber viel Kopfzerbrechen wollte IBM sich bei diesem Unternehmen nicht machen (vielleicht stand man auch unter Zeitdruck), also designte man ein erweiterungsfähiges und billig herzustellendes Motherboard, kaufte bei Intel eine CPU zu, und auch das passende Betriebssystem wollte man sich über einen Zulieferer besorgen, was schlußendlich die damals kleine Firma Microsoft übernahm (s.a. Wissenswertes, DOS). Was IBM nicht erwartet hatte, der PC (Modell 5150, später 5160) wurde trotz magerer Grundausstattung (nur 16 KB RAM, eine 360KB Floppy, monochromer Monitor und keine Grafik) ein Riesenerfolg.

Vielleicht erkannte man bei IBM, das dem PC die Zukunft gehörte, und wenn nicht, hatten die Verkaufszahlen sicherlich ein wenig nachgeholfen. Jedenfalls wurde die Entwicklung weitergeführt, man wollte die - praktisch in den Schoß gefallenene - Marktführerschaft nicht leichtfertig wieder einbüßen. 1984 brachte IBM mit dem AT (Advanced Technology) einen kompatiblen, aber wesentlich leistungsfähigeren PC mit der Intel 80286 CPU und 40 MB Harddisk auf den Markt.

1985 wurde John F. Akers CEO bei IBM. IBM stellt dsas Token Ring Netzwerk vor, das bald neuer Standard für LAN (Local Area Network) werden würde. Trotzdem ging die Marktsättigung, die 1985 erstmals spürbar wurde, auch an IBM nicht spurlos vorrüber, den auch "Big Blues" Umsätze sanken. Daher betrachtet es Akers als seine wichtigste Aufgabe, die Strukturen des Konzerns an die neuen Umstände anzupassen. Mit Hilfe von Frühpensionierungsprogrammen reduzierte man die weltweite Mitarbeiterzahl um 13.000. Nur in den Forschungsabteilungen blieb alles beim alten, und das zahlte sich aus: 1986 erhielten Gerd Binnig und Heinrich Rohrer (Rastertunnelmikroskop) den Nobelpreis für Physik, ein Jahr später Georg Bednorz und Alex Müller (Supraleiter).

1987 war man dann bei IBM zum ersten Mal zu langsam. Das erste PC-Modell mit dem neuen Intel 80386 stammte nicht von IBM, die noch junge, aber erfolgreiche Firma Compaq war dem Computerriesen zuvor gekommen. 1988 jedoch konnte mit der AS/400 ein neues Midrange-System erfolgreich am Markt platziert werden. Beim ersten Modell mit dem Intel 80486 hatte 1989 dann wieder von IBM die Nase vorn.

Louis V. Gerstner jr. wird 1993 neuer IBM-Chef. Er war der erste Mann in dieser Position, der nicht aus IBM's eigenen Reihen, sondern von der Firma RJR Nabisco kam (davor 11 Jahre bei American Express). Er führte bald tiefgreifende Änderungen in IBM's Organisationsstruktur durch: Straffung der Produktlinie, Veränderung der Arbeitsabläufe und kostenreduzierende Maßnahmen. 1995 wird der Softwarehersteller Lotus übernommen, ein Jahr später Tivoli Systems.