Debugging with GDB にプロトコルの説明があります。 ソースコードだと、gdb/remote.cあたりから読みはじめるのがよさそうです。 どーやら、gdbはデバッグターゲット毎にstruct target_opsってな構造体で管理しているみたいです。