С февраля 1856 года – письмоводитель канцелярии Архиепископа Ярославского и Ростовского Нила, в дальнейшем – Секретарь Ярославской духовной консистории. Обнаружив в архивах Консистории массу исторических документов, в 1859-1861 гг. опубликовал ряд фундаментальных трудов по истории Ростово-Ярославской епархии РПЦ. Благодаря этому, сегодня известен в основном как выдающийся ярославский краевед, знаток и исследователь региональной церковной истории. Впервые в истории Ярославской духовной консистории составил и опубликовал в 1861 году «Именную роспись начальствующих и служебных лиц Ярославской епархии» - поимённый справочник всех лиц, служивших в это время в губернии по «духовному ведомству». Книга сегодня является одним из важнейших пособий при проведении генеалогических изысканий лицами, чьи предки происходили из ярославского духовенства.

Фактический создатель и первый главный редактор еженедельника «Ярославские епархиальные ведомости» (дореволюционная версия издания выходила с апреля 1860-го до ноября 1917 года). Несмотря на своё название, газета печатала самую разнообразную официальную информацию, в т.ч. сведения юридического характера от официальных органов власти, что требовало от редактора познаний в том числе и в сфере права.

19 июня 1871 года был назначен одним из 4 нотариусов города Ярославля, открыл нотариальную контору в здании Ярославского городского общественного банка (нынешний адрес здания – ул. Свободы, д. 12; вход в нотариальную контору был со двора через арку). Документы, изготовлявшиеся нотариусом Крыловым, отличались аккуратностью исполнения и подробным и точным описанием фигурировавших в них объектов недвижимости и иных ценностей. 12 октября 1875 года оставил должность нотариуса, так как стал мировым судьёй 1-го участка города Ярославля (участок охватывал центр города). В качестве мирового судьи более 20 лет занимался, в том числе, и делами ярославских нотариусов: принимал дела, книги и печати закрывавшихся нотариальных контор для последующего разбора и передачи на постоянное хранение в Нотариальный архив Ярославского окружного суда.

В 1897 году принимал активное участие в организации и проведении в Ярославском уезде и городе Ярославле Всероссийской переписи населения, за что был награждён медалью.

Работал Председателем Земской управы Ярославского уезда, затем – Председателем Ярославской губернской земской управы. Активно способствовал развитию образования в городе Ярославле в конце XIX – начале ХХ вв. По инициативе Аполлинария Платоновича Крылова в 1911 году была начата кампания по сбору средств на сооружение в Ярославле памятника князю Ярославу Мудрому – основателю города (идея установки памятника оказалась реализованной только в 1993 году).

Трудился на разных должностях до конца 1911 года, т.е. до 77 лет; был вынужден уйти в отставку по состоянию здоровья. На пенсии пробыл 3 месяца. Скончался 18 марта (ст. ст.) 1912 года. На отпевании А.П. Крылова, проходившем в Богоявленской церкви г. Ярославля, присутствовали тогдашний ярославский губернатор, предводитель губернского дворянства, городской голова и другие должностные лица города и губернии. Отдельный венок был преподнесён от Ярославского окружного суда. Совершил отпевание Архиепископ Ярославский и Ростовский Тихон (будущий Патриарх Московский и всея Руси Тихон).

А.П. Крылов погребён на кладбище при ярославской церкви Параскевы Пятницы что на Туговой горе.