Родился в Виленской губернии, в семье сельского учителя. В 1914 г. с отличием заканчивает Гомельскую гимназию. Авиацией Павел Осипович увлекся после того, как увидел полеты в Гомеле русского летчика С. Уточкина. Юноша начинает читать литературу по авиации, поступает в МВТУ, участвует в кружке воздухоплавания под руководством профессора Н.Е. Жуковского.

Дипломный проект Сухого назывался «Одноместный истребитель с мотором мощностью 300 л.с.». В 1924 г. Павел Осипович успешно его защищает под руководством А.Н. Туполева, который берет молодого инженера к себе, в ЦАГИ, в отдел авиации, гидроавиации и опытного строительства. Сухой принимает участие в работе над самолетами АНТ-1, АНТ-2. В 1925 г. Сухому предоставляется уже целая бригада для разработки истребителя - полутораплана по конкурсу, в котором участвует ещё и коллектив Н.Н. Поликарпова. Созданный при участии Сухого И-4 превосходил по маневренности И-3 Поликарпова и был принят на вооружение.

В начале 30-х годов Сухой строит скоростной цельнометаллический истребитель И-14, но в серию решено было запустить И-16 Поликарпова, т.к. И-16, имел деревянную конструкцию, хорошо освоенную на советских заводах. Сухой принимает участие также в проектировании АНТ-25, создаваемого для установления рекорда дальности полета. Построенный с использованием многочисленных технических новшеств, АНТ-25 устанавливает мировой рекорд в 1937 г. Большая заслуга в нем принадлежит П.О. Сухому, которого награждают орденом «Знак Почета». Затем Сухой создает дальний бомбардировщик ДБ-2. На этом самолете, названном «Родина», в 1938 г. экипажем В. Гризодубовой был установлен мировой рекорд дальности полета для женщин. Сухого награждают орденом Трудового Красного Знамени.

В 1937 г. Сухой по заданию Сталина строит ближний бомбардировщик ББ-1. В Харькове создается ОКБ под руководством Сухого. После многочисленных усовершенствований самолет ББ-1 принимается на вооружение под названием Су-2. Во время Великой Отечественной войны Су-2 хорошо проявил себя не только в качестве бомбардировщика, но как штурмовик и разведчик.

Еще до войны Сухой начал проектировать бронированный штурмовик Су-6. Но он, как и более мощный Су-8, в серию не пошел. Сухой переключается на реактивные машины: истребители Су-11 и Су-17, которые появились в конце 40-х годов. Однако промышленность уже освоила выпуск истребителей Яковлева и Микояна. Конструкторское бюро Сухого временно закрывают, но в 1953 г. опять восстанавливают. Поставлена задача: создать сверхскоростной истребитель. В 1955 г. Су-7, имевший скорость свыше 2.000 км/ч, совершил первый полет. Самолет был взят на вооружение, что явилось большим успехом Павла Осиповича. В 1956 г. появился Су-9 - истребитель-перехватчик, способный, благодаря своей РЛС эффективно бороться с нарушителями воздушного пространства страны. За создание Су-7 и Су-9 Сухому присваивают звание Героя Социалистического труда. В дальнейшем КБ Сухого создало сверхзвуковые истребители-перехватчики Су-11 и Су-15, Су-7Б с изменяемой геометрией крыла. За большие заслуги в создании новой техники П.О. Сухого в 1965 г. наградили второй Золотой медалью Героя социалистического Труда.

КБ им. П.О. Сухого и поныне продолжает традиции, заложенные его основателем, создает новые самолеты, как военные, так и гражданские.
           Скончался 15 сентября 1975 года. Похоронен на Новодевичьем кладбище в Москве.