En 1914 en Dayton, Ohio, nace el primer hijo del fundador de la empresa IBM. Tom Jr. conseguiría poner a la empresa a la cabeza del negocio de los computadores.

En su adolescencia y juventud tuvo crisis depresivas, pues se consideraba incapaz de ser un buen continuador de la empresa de su padre.

En 1933 ingresa en la Universidad de Brown y a pesar de ser un mal estudiante termina sus estudios en 1937, momento en el se incorpora, a su pesar, como vendedor a la empresa IBM. El trabajo no le gusta, ya que prefiere dedicarse a su gran pasión de volar en avión y participar en fiestas, que a llamar a sus clientes.

La Segunda Guerra Mundial lo libera de su incómodo trabajo y desde 1940 a 1945 participa en la guerra como piloto de las fuerzas armadas Norteamericanas. Watson voló por Asia, África y el Pacífico, demostrando ser un excelente piloto con nervios de acero.

En 1945 se casa con Olive Fiel Cawley, con la que tiene un hijo y cuatro hijas.

En 1946 vuelve a incorporarse a IBM y un año después es nombrado Vicepresidente y miembro del Consejo de Dirección y, posteriormente, Presidente. Rápidamente se da cuenta de que el futuro de la compañía está en los computadores.

En los años 60 con el liderazgo absoluto de IBM en el negocio de los computadores, se planteó el objetivo de reemplazar sus productos por una familia de computadores compatibles que pudieran dar respuesta a las necesidades de los clientes; así, sin necesidad de cambiar el equipo completo, a partir de una máquina pequeña se pueden incrementar los recursos hardware manteniendo la compatibilidad del software. Esta flexibilidad suponía dar un giro de 360 grados a los productos de la compañía dejando a los anteriores obsoletos, lo cual inspiro el nombre del popular equipo IBM System/360. Esta decisión implicaba adquirir un serio riesgo económico, pues era necesario realizar una inversión de cinco veces los ingresos anuales de IBM en ese momento. A pesar de ello, el System/360 revolucionó la industria de tal manera que el número de computadores IBM instalados en 1964 era de 11.000, alcanzando la cifra de 35.000 en 1970.

En 1971 sufre un ataque al corazón y disminuye su grado de compromiso con la empresa.

En 1979 es nombrado por el presidente Jimmy Carter Embajador de los Estados Unidos en Moscú, cargo en el que permanecería hasta 1981.

En 1985, con 70 años de edad, se retira de la empresa IBM, con los cargos de presidente emérito y miembro del Consejo de Dirección .

A lo largo de su carrera profesional no solamente igualó a su padre sino que lo sobrepasó con creces, llegando a dominar la empresa IBM el 70% del mercado mundial de los computadores.

Murió en 1993 en Greenwich, Connecticut a la edad de 79 años.