弘化元年、土佐郡福井村（高知市）に安岡忠郷の二男として生まれる。
別名平安佐輔。

金馬は田野学館で学問を学び、ここで交流を深めたようで、文久２年山内容堂を警護すべく五十人組が結成されると、金馬はこれに加わり、中岡慎太郎の組に入って活躍しています。文久3年1月同郷で顔見知りである千屋寅之助に誘われ勝海舟の門下生となり、龍馬とも知己を深め航海術を学んでいく。

文久3年、土佐勤王党への弾圧が始まると勝塾で学ぶ土佐の塾生にも帰国命令が出るが、坂本龍馬や高松太郎ら多くの同志が脱藩する決意で修行を続ける中、金馬は勝海舟と相談の上一旦土佐へ帰国する。　
　
しかし、金馬は身の危険を感じ元治元年に脱藩して長州へ亡命して、浪人部隊である忠勇隊に所属し、ここには同じく土佐脱藩者の松山深蔵や久留米の真木外記が隊長を務めており、中岡慎太郎や池内蔵太も所属して、禁門の変にも参加する。三条実美ら公卿が大宰府へ移される事になると金馬も随行しています。

そこで土佐の同志吉井源馬らと回天隊を組織して対馬へ渡るなど活動を続けます。その後各地を奔走していた中岡慎太郎らの周旋もあり、再び長州で高杉晋作の保護を受ける事になり三田尻の長州海軍へ入ります。そこで士官見習という身分で庚申丸に乗り込み慶応２年の馬関海峡戦で活躍するのです。馬関海峡戦をさかいに再び龍馬に誘われ金馬は行動を共にして海援隊が組織されると参加して大極丸に乗りこみ活躍しています。

明治維新後の金馬は、その航海術や実務経験を買われて土佐商会所有の順海丸の船長となり活躍しています。明治6年には海軍少主計となり、横須賀海軍に務めている。また金馬は龍馬の妻であったお龍が再婚する時には媒酌人を務めている。
明治27年51歳で死去。