ARL资产侦察灯塔系统搭建及使用

ARL（Asset Reconnaissance Lighthouse）资产侦查灯塔旨在快速发现并整理企业外网资产并为资产构建基础数据库，无需登录凭证或特殊访问即可主动发现并识别资产，让甲方安全团队或者渗透测试人员快速寻找到指定企业资产中的脆弱点,降低资产被威胁利用的可能性并规避可能带来的不利影响。

资产梳理的路径会根据输入的数据进行变动与调整。如输入数据为基于域名时，采用的技术手段包括DNS枚举、智能域名生成枚举、第三方API服务来获取子域名，随后将域名解析为IP（当输入数据基于IP时，可直接进入后续阶段），既是对IP进行端口扫描、服务识别、系统识别、站点识别和WEB指纹识别，同时爬取站点URL，并对首页进行截图，完成资产发现。

当通过域名或是IP识别出对应的安全应用后，便可将其与鱼鹰(Osprey)poc漏洞检测框架、通用漏洞扫描（CRS）、漏洞预警系统（VAS）和漏洞盒子相关联，快速准确识别资产威胁，降低资产风险。

工具特色

更快速

无需要登录凭证或特殊访问即可发现并识别资产，使用主动发现来识别资产，资产发现速度快，普通域名任务只需数分钟。

更全面

通过域名解析、递归子域名、IP端口信息扫描、关联分析等多种方式 进行资产发现，目标支持IP, IP段和域名，完善的API接口，方便与其他平台进行联动输出资产信息，搜索引擎调用，补全无法从首页爬取的URL。

更有效

能够让甲方安全团队或者渗透测试人员更加有效地梳理在线资产，寻找到指定企业资产中的薄弱点和攻击面

免责声明

如果您下载、安装、使用、修改本系统及相关代码，即表明您信任本系统。在使用本系统时造成对您自己或他人任何形式的损失和伤害，我们不承担任何责任。 如您在使用本系统的过程中存在任何非法行为，您需自行承担相应后果，我们将不承担任何法律及连带责任。 请您务必审慎阅读、充分理解各条款内容，特别是免除或者限制责任的条款，并选择接受或不接受。 除非您已阅读并接受本协议所有条款，否则您无权下载、安装或使用本系统。您的下载、安装、使用等行为即视为您已阅读并同意上述协议的约束。

资产侦察灯塔系统搭建

1、系统要求

目前暂不支持Windows，Linux和MAC建议采用Docker运行，系统配置最低2核4G。

由于自动资产发现过程中会有大量的的发包，建议采用云服务器可以带来更好的体验。

实验环境：

系统：centos7.5，主机名：xuegod63，IP地址：192.168.1.63

2、资产侦察灯塔系统搭建

1）、部署 docker 容器虚拟化平台

安装 docker 环境依赖

yum install -y yum-utils device-mapper-persistent-data lvm2

配置国内 docker 的 yum 源（阿里云）

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装epel扩展仓库

yum -y install epel-release

安装 docker-ce和docker-compose

yum install docker-ce docker-ce-cli containerd.io docker-compose -y

注：

docker-ce-cli 作用是 docker 命令行工具包

containerd.io 作用是容器接口相关包

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

启动docker并设置开机自启动

systemctl start docker && systemctl enable docker

查看显示 Docker 版本信息

docker version

可以正常查看docker版本信息，说明docker部署没有问题。

使用阿里云 docker 镜像加速器，提升 pull 的速度

创建配置文件 daemon.json

vi /etc/docker/daemon.json

需要手动创建 daemon.json 文件。 写入以下内容

{
"registry-mirrors":["https://e9yneuy4.mirror.aliyuncs.com"]
}

上面为添加代码

systemctl daemon-reload

systemctl restart docker

docker info

可以看到镜像仓库的地址，已经改为阿里云

2）、资产侦察灯塔系统部署

拉取镜像

docker pull tophant/arl

docker-compose 启动

git clone https://github.com/TophantTechnology/ARL

cd ARL/docker/

docker-compose up -d

根据报错提示，我们执行：

docker volume create --name=arl_db

再次执行docker-compose

docker-compose up -d

查看是否运行正常

docker-compose ps

! 查看状态.png

打开谷歌浏览器，访问：https://192.168.1.63:5003

使用默认账号：admin，密码：arlpass登录

资产侦察灯塔系统的使用

1、资产分组

资产分组功能用于整合资产范围内的域名资产到资产组中，用户也可以对资产组范围内的资产进行监控，实时监控新增资产。

新建资产组，可以通过批量导入的方式将资产范围内的域名资产添加到资产组中，一个资产组中可以包含多个域名信息。

添加监控任务

通过指定资产组，和添加监控任务操作，可以下发域名资产的监控任务到ARL中，后台将会根据运行间隔对监控任务内的资产进行扫描，用于发现监控新增的资产。

运行间隔时间不能小于6个小时

添加成功后，点击资产监控可以查看到所有的监控任务。

通过资产分组中的添加监控任务之后，资产监控中将会展示正在运行的监控任务，运行的次数，运行间隔等信息，用户也可以通过资产组范围ID来检索监控范围内的相关资产内容。

在任务管理中也会添加监控任务。

2、新建策略

通过创建不同的策略，可以对资产进行不同方案的扫描，可以针对不同类型的资产，根据资产的功能创建指定的策略。

设置策略的名称和策略描述，描述可以不用填写

1）域名和IP配置

域名爆破类型：选择对域名爆破的字典

大字典：常用2万字典大小；

测试：少数几个字典，常用于测试功能是否正常。

端口扫描类型：

测试：少数几个端口

TOP1000：常用top 1000端口

TOP100：常用top 100端口

全部端口：所有端口1-65535

域名爆破：是否开启域名爆破

DNS字典智能生成：根据已有的域名生成字典进行爆破

Riskiq 调用：利用RiskIQ API进行查询域名

ARL 历史查询：对arl历史任务结果进行查询用于本次任务

crt.sh 调用：利用 crt.sh 网站 API 进行子域名发现

端口扫描：是否开启端口扫描，不开启站点会默认探测80,443

服务识别：是否进行服务识别，有可能会被防火墙拦截导致结果为空

操作系统识别：是否进行操作系统识别，有可能会被防火墙拦截导致结果为空

Fofa IP查询：利用Fofa API进行查询域名

SSL 证书获取：对端口进行SSL 证书获取

服务(python)识别：使用python脚本进行服务识别

这里大家根据要收集的信息进行选择即可。

2）站点和风险配置

站点识别：对站点进行指纹识别

搜索引擎调用：利用搜索引擎结果爬取对应的URL

站点爬虫：利用静态爬虫对站点进行爬取对应的URL

站点截图：对站点首页进行截图

文件泄露：对站点进行文件泄露检测，会被WAF拦截

3）弱口令爆破设置

根据需要自行选择即可，这里全部选择。

都设置完了，点击确定按钮。

在策略配置列表可以看到我们新添加的策略。

任务下发对资产进行扫描和探测。

任务类型：

资产侦查任务：目标支持IP、IP段和域名，对资产进行端口识别、服务识别、系统识别等。

这里我们选择资产侦查任务，输入目标后点击确定。

任务下发成功后，可以到任务管理里查看。

等待任务执行完成，点击任务名或Task_id就可以查看结果了。

资产侦察灯塔系统升级

cd /root/ARL

git pull

cd /root/ARL/docker

docker-compose pull

docker-compose up -d