Несмотря на то, что исходники Hotline так и не были опубликованы, по сети гуляют с десяток разных описаний протоколов, используемых в продуктах Hotline. Как люди их добывали? У меня сильное подозрение, что вручную, кропотливо вылавливая сниффером пакеты из сети. Эта работа уже дала свой результат: буйным цветом расцвели клоны Хотлайна, и исходники многих из них совершенно открыты.

Описание протоколов, используемых в Hotline, можно взять, например, здесь.

Если вас интересуют протоколы Hotline не из спортивного интереса, а с точки зрения построения работающих программ, рекомендую посетить места, где работающие программы лежат в исходниках: HX, WinHXD или Tube.