23 декабря 1953 г. на летные испытания вышла вторая опытная машина, несколько отличная от прототипа (потребовался выпуск около 4700 новых чертежей). Наиболее существенные изменения включали уменьшение длины фюзеляжа на 1 м; разработку новой передней стойки шасси и изменение конструкции задней стойки, что позволило увеличить взлетный угол атаки с 7,5° до 10,5°; увеличение площади закрылков на 20% и угла отклонения закрылков с 30° до 38°; установку наружных узлов подвески управляемых бомб; широкое применение высокопрочного сплава В-95. В результате всех усовершенствований удалось снизить массу планера на 850 кг, а длину разбега (без стартовых ускорителей) на 650 м.

Постановлением СМ СССР от 19 сентября 1953 г. заводу № 23 предписывалась постройка опытной партии самолетов М-4 — трех в 1954 г. и восьми в 1955 г. 15 апреля 1954 г. бомбардировщик был официально представлен на государственные испытания, которые начались 4 мая 1954 г. Таким образом, несмотря на то что техническое проектирование самолета В.М. Мясищева началось на два года позже, чем аналогичного американского бомбардировщика Боинг В-52, М-4 поднялся в воздух лишь десять месяцев спустя после первого полета американской машины, а серийный выпуск реактивных стратегических бомбардировщиков в России и США начался практически одновременно.

Из-за малой длины ВПП заводского аэродрома первые серийные самолеты с отстыкованными консолями крыла на специальной барже перевозились по Москве-реке в г. Жуковский, на аэродром ЛИИ, где находилась летно-доводочная база ОКБ В.М. Мясищева. В дальнейшем был освоен и взлет бомбардировщиков с филевского аэродрома.

1 мая 1954 г. самолет М-4 был впервые публично продемонстрирован на воздушном параде над Красной площадью, его появление вызвало сильный международный резонанс, в США впервые заговорили о техническом отставании от России в области даль-небомбардировочной авиации.

В ходе летных испытаний выявился сильный «шимми» носовой колесной тележки, что даже приводило в ряде случаев в срыву с креплений бомбардировочного прицела. Однако проблема была решена довольно быстро: по рекомендации ИДТИ изменили демпфер передней стойки и уменьшили размеры колес.

Один из самолетов М-4, проходивший войсковые испытания на аэродроме в г. Энгельсе, в 1955 г. был задействован в качестве своеобразной мишени при отработке военными летчиками из Центра боевого применения ВВС (одно из его подразделений базировалось тогда на аэродроме Разбойщина под Саратовом) методики атаки скоростного бомбардировщика с передней полусферы. Существовало мнение, что такие атаки при скоростях истребителя и бомбардировщика, приближающихся к 1000 км/ч, выполнить нельзя (в частности, к такому выводу пришли в США, где реактивные бомбардировщики В-47 и В-52 оснастили лишь кормовой стрелковой точкой, оставив переднюю полусферу незащищенной). «Огонь» по М-4 из кинофотопулемета открывался на предельной дистанции (около 3000 м), выход из атаки выполнялся вниз, под бомбардировщик (по словам летчика Е.М. Ильина, проводившего испытания, при «стрельбе» силуэт гигантского самолета по мере сближения постепенно занимал чуть ли не весь прицел истребителя МиГ-17). Было установлено, что МиГ-17 могут успешно атаковать реактивный бомбардировщик не только «в хвост», но и «в лоб», что оправдывало сохранение на М-4 мощного пушечного вооружения, обеспечивающего зону обстрела, близкую к сферической.

В 1956 г. на втором опытном М-4 отрабатывалось применение самолета в качестве торпедоносца, действующего против крупных морских целей, что значительно расширяло область боевого применения машины. Следует заметить, что в дальнейшем «морская тематика» стала одной из главных для всех отечественных тяжелых бомбардировщиков, однако их основным оружием стали не торпеды, а противокорабельные ракеты.

Из-за недостаточной экономичности двигателей АМ-3 первые серийные бомбардировщики не показали требуемой межконтинентальной дальности (вместо 9500 км практическая дальность полета самолета М-4 с нормальной бомбовой нагрузкой 5000 кг составляла лишь 8500 км). Требовались работы по дальнейшему повышению ЛТХ бомбардировщика. Одним из путей решения возникших проблем была установка на самолет новых, более экономичных двигателей. В ОКБ были выполнены компоновочные работы и соответствующие расчеты вариантов самолета с двумя ТРД ВД-5 В.А. Добрынина, четырьмя и шестью АЛ-7 A.M. Люлька и четырьмя АМ-ЗФ А.А. Микулина (в частности, с четырьмя АЛ-7Ф самолет должен был иметь практическую дальность с 5000 кг бомб 12 000 км и потолок над целью 14 000 м). В 1956—57 гг. на самолет М-4 установили двигатели РД-ЗМ5, созданные под руководством П. Зубца. В дальнейшем их заменили на ТРД РД-ЗМ-500А с тягой на максимальном режиме 9500 кгс, а на «чрезвычайном» режиме — 10 500 кгс. С новой силовой установкой самолет развил максимальную скорость 930 км/ч на высоте 7500 м и достиг потолка 12 500 м.

Большая дальность полета позволяла использовать бомбардировщик М-4 в качестве фоторазведчика для полетов в глубокий тыл противника. При этом требовалась небольшая доработка: с целью увеличения высотности с самолета снималась часть оборудования и вооружения, экипаж уменьшался до пяти человек, в грузоотсеке устанавливалось необходимое фотооборудование. В результате при дальности полета 8000 км удалось получить высоту над целью 15 000 м, как у английских бомбардировщиков серии «V».