Осип Шор родился в Никополе (ныне — Днепропетровская область, Украина), в семье «Брацлавского 2-ой гильдии купеческаго сына Беньямина Хаимовича Шора и жены его Куни родился сын Осип». Вырос в Одессе, куда Шоры переехали, когда Осе был год. В 1917 году пытался учиться в Петроградском Технологическом институте, но Гражданская война в России сделала учёбу невозможной, и Осе пришлось ехать домой. В 1918—1919 годах, возвращаясь в Одессу, пережил массу авантюр: с целью добычи средств к существованию представлялся то художником, то шахматным гроссмейстером, то женихом (женился на толстушке и перезимовал у неё), то представителем подпольной антисоветской организации.
Вернувшись в Одессу, оформился работать инспектором уголовного розыска, работал в Одесской ЧК. Шор был занятным рассказчиком с большим опытом авантюрных приключений, и рассказывал о своих похождениях известному писателю Валентину Катаеву, у которого зародилась идея описать его приключения. Своей идеей и рассказами о похождениях Шора Катаев поделился с неизвестными тогда журналистами Ильёй Ильфом и своим младшим братом Евгением Петровым, которым предложил совместно написать книгу — они в качестве литературных рабов, готовящих за гонорар черновики и варианты, а Катаев, как маститый писатель — правящий глава и автор. Однако Ильф и Петров решили написать книгу самостоятельно по подсказанному Катаевым сюжету, и так появились знаменитые «Двенадцать стульев», основанная главным образом, на изложении похождений Осипа Шора. Она стала весьма популярной и культовой книгой, осебенно среди работников советских «правоохранительных» органов.
Умер в Москве 6 ноября 1978 года, похоронен на Востряковском кладбище.
В Никополе, на родине Осипа Шора, с конца 1990-х по 2003 год местными энтузиастами ежегодно проводился День авантюриста. В программу, среди прочего, входил конкурс по распиливанию гирь.
