Puedo reproducir su problema, el comando Remove-AzRoleAssignmentllamará a Azure AD Graph para validar el $objectidque pasó, por lo que debe otorgar el permiso Directory.Read.All de aplicación de Azure AD Graph ( no Microsoft Graph, no el permiso delegado ).

Después de agregar el permiso, hay un retraso (30 m - 1 h), luego prueba el comando, funciona. (Pruebo en local, lo mismo en cloud shell)

Nota : Excepto el permiso en Azure AD, su entidad de servicio también debe tener el permiso en el ámbito de la suscripción / recurso específico, por ejemplo, la entidad de servicio es el Owner/User Access Adminrol en el ámbito Access control (IAM)de la suscripción / recurso específico (en su caso, la cuenta de almacenamiento ). Si la entidad de servicio no tiene el rol, agréguelo como se muestra a continuación.

En Azure Devops, no es necesario iniciar sesión con Connect-AzAccount(en realidad, en el shell de nube, tampoco es necesario iniciar sesión, pero si desea hacerlo, también está bien), iniciará sesión automáticamente con la entidad de servicio relacionada con la conexión de servicio ( Task version >= 4.*).
Por lo tanto, asegúrese de que el secreto de su principal de servicio sea correcto y de que se haya verificado la conexión. Para ejecutar Remove-AzRoleAssignment, también agregue el permiso anterior para el registro de la aplicación relacionado con la conexión del servicio.

Entonces pruébalo, funciona.
