實行軍銜制需要改革服裝，軍委專門成立了軍服改革領導小組，洪學智拿著禮服的樣子去征求彭德懷的意見。禮服的方案定下來后，投入生產的報告彭德懷卻遲遲未批，洪學智幾次去找他詢問，彭德懷都說：“做禮服我不反對，可肩章為什么非要搞金絲呢？我們國家并不富裕，如果把這些錢用在實實在在的武器裝備上，不是更好嗎？”1955年，中國人民解放軍軍銜制正式頒布。在中南海懷仁堂，彭德懷接受了毛澤東為他授予的元帥軍銜。軍隊體制建設走上正軌后，彭德懷提出，應適時地把軍事工作重點轉移到國防建設上來。不僅要建設一支強大的海軍，而且要打造一條鋼鐵的海上防線，完成沿海和縱深的國防防御體系。彭德懷的戰略構想得到了毛澤東的贊同。這天，彭德懷來到一個偏遠的海島視察，他沒有按照預先安排好的去聽匯報，而是直接進了伙房，和炊事員們聊天。彭德懷還問了海防團長很多問題，諸如海島的面積、沙灘的硬度、潮汐的變化。島上有多少官兵？多少是農村來的？他們的文化程度怎么樣？把團長問得啞口無言。彭德懷批評團長：“你一不知戰士的疾苦，二不知民族的榮辱，那點心思全用在給首長拍馬屁上了！”彭德懷的批評讓海防團長羞愧難當。