Первый тепловоз серии ТЭМ был создан на Брянском машиностроительном заводе в 1959 году, а спустя два года появился маневровый ТЭМ2 с двигателем повышенной мощности. Кузов нового локомотива по своей конструкции практически не отличался от первой машины этой серии. Они были оснащены тяговыми электродвигателями ЭДТ-340В, отличающимися от двигателей, установленных на тепловоз 2ТЭ10У конструкцией моторно-осевых подшипников.
Новая модель был оборудован электромагнитной порошковой муфтой для привода компрессора, а также автоматикой для регулирования температуры масла дизеля. Первый ТЭМ2 в 1961 году тягово-теплотехнические испытания, которые показали, что двигатель работает на полную мощность только при скорости менее тридцати семи километров в час. Позже на них стали устанавливать вместо тяговых электродвигателей ЭДТ-340В более мощные двигатели ЭД-104Б.
Как и при разработке 2ТЭ10У, в конструкцию нового локомотива в процессе выпуска вносились изменения, которые облегчали эксплуатацию и ремонт тепловозов. В 1967 году прежний двигатель был заменен на более мощный электродвигатель ЭД-107. С 1968 года их начали оснащать усовершенствованным дизелем ПД-1М, более экономно расходовавшим топливо за счет усовершенствования таких узлов двигателя, как поршни, турбокомпрессор, газораспределитель, топливный насос. Затем была установлена система автоматического пуска электродвигателя, система автоматической локомотивной сигнализации.
Впоследствии их стали оборудовать новыми цепями управления, дающими возможность работать двум машинам одновременно в системе нескольких единиц. Выпущенный в 1970 году тепловоз этой сери первым из локомотивов был удостоен государственного Знака качества. С 1976 по 1985 год Брянский машиностроительный завод продолжал выпуск и ремонт тепловозов этой серии. За эти годы их конструкция постоянно модернизировалась, устаревшее оборудования заменялось более современным. В частности, происходила замена тяговых генераторов, электродвигателей и других узлов. Все это позволяло повысить долговечность и надежность оборудования, экономичность двигателя.