"pop out" y "pop in" son acciones para abrir ventanas en todo tipo de software, y tienen significados claros y estandarizados, que se indican a continuación. Estas acciones para los chats de Facebook las veo traducidas de maneras sumamente variadas, incluyendo todo tipo de anglicismos, en las diversas páginas en Internet (aún excluyendo las que son traducciones automática), por lo que conviene usar las traducciones generales estandarizadas (que también describen cómo funcionan en Facebook).

"pop out" es abrir en una ventana separada, es decir, la ventana se puede manejar como cualquier ventana normal, reubicar, etc. Es sumamente común, por lo que no aporto referencias.

"pop in" es abrir en una ventana emergente, es decir, una ventana relativamente pequeña que es parte de la ventana original, y con diversas limitaciones. Puede verse la descripción y probar como funciona en:
https://codelibrary.opendatasoft.com/widget-tricks/ods-pop-i...