恶意软件会执行非授权行为，而正常软件因漏洞引入外部代码也会执行非授权行为。

行为监控包括行为捕获和安全审计。行为捕获是捕获软件加载动态库、访问文件、访问注册表、访问系统资源、加载内核模块、访问其他进程、访问网络和访问物理设备等。行为捕获技术采用函数指针的挂钩或者内联挂钩，劫持软件函数。当软件调用对应的函数时，监控代码获得控制权。行为捕获可以在用户层或者内核层实现。用户层的实现容易被恶意代码绕过，出现漏报；内核层的实现可以阻止用户层的恶意代码绕过，但难以对抗内核层的恶意代码。为此，行为捕获可以放在VMM（虚拟机监视器）中，该实现对于恶意代码是透明的，可以全面捕获恶意代码的行为，但存在底层内存代码与上层函数之间的语义鸿沟。安全审计是针对具体的访问行为，根据预定义的安全策略，及时阻断该访问，或者警示用户，或者记录访问日志。

行为监控在软件层、操作系统层和虚拟机监视层植入监控代码，实现控制流的劫持。该方式会干扰软件自身的执行，引入新的攻击面，增加软件的执行开销。同时，恶意代码也会利用行为监控的签名或者软件函数的测试结果识别潜在的行为监控，然后抑制自己的非授权访问，绕过行为监控的安全审计。恶意代码还可以直接修改预定义的安全策略，使得恶意代码的行为符合其安全策略，从而逃过行为监控的安全审计。

行为监控已广泛部署在杀毒工具和主机防御工具中，识别非授权的系统资源访问、可执行文件写操作、系统自启动项的写操作和非授权的网络访问等。与特征码检测结合，构建静动互补的安全检测机制。主动防御工具采用非授权行为累加策略检测恶意代码，只有累加行为超过给定阈值，才会触发设定的响应措施。该工具可以降低误报，但会增加漏报。