如何收集企业数据，来实现数据分析、AI数据训练、数据拓客使用，是目前所有人面临的一个技术问题。如果市场上有个技术或者有个工具可以聚合这些数据的话，我觉得将会促进大数据+AI的发展。数据采集根据采集数据的类型可以分为不同的方式,主要方式有:传感器采集、爬虫、录入。对于新闻资讯类、行业互联网和政府开放的数据,可以通过编写网络爬虫,设置好数据源后进行有目标性的爬取数据。
简数采集平台的宗旨就是让更多的人可以简单快速地采集到数据，可无需懂HTML代码；操作方面最多的是录入采集网址、使用鼠标点选采集内容或对参数项打勾，一般来说几分钟就可以配好。简数可以把数据通过http接口发布到数据分析系统，或导出成excel、sql、CSV文件，方便后续的做各类的数据分析。
几种针对各种软件系统的数据采集的方式方法。
1、软件接口对接方式
各个软件厂商提供数据接口，实现数据汇集，为客户构建出自己的业务大数据平台；
实现过程如下：
1）协调多方软件厂商工程师，了解对方系统的业务流程以及数据库相关的表结构设计等，讨论如何实现数据的正确汇集并且在业务上可行。推敲各个细节，最后确定一个双方都认可的方案。两个系统的接口是在双方工程师的配合下完成的。有的处理可以在A系统进行，也可以在B系统进行，这种情况作决定的依据是，考虑以后可能会出现功能改动，势必会对现有系统造成影响，选择受变动影响比较小的方案。
2）确定方案，编码
3）编码结束，进入测试、调试阶段
4）交付使用
接口对接方式的数据可靠性较高，一般不存在数据重复的情况，且都是客户业务大数据平台需要的有价值的数据；同时数据是通过接口实时传递过来，完全满足了大数据平台对于实时性的要求。
但是接口对接方式需花费大量人力和时间协调各个软件厂商做数据接口对接；同时其扩展性不高，比如：由于业务需要各软件系统开发出新的业务模块，其和大数据平台之间的数据接口也需要做相应的修改和变动，甚至要推翻以前的所有数据接口编码，工作量很大且耗时长。
2、开放数据库方式
一般情况，来自不同公司的系统，不太会开放自己的数据库给对方连接，因为这样会有安全性的问题。为实现数据的采集和汇聚，开放数据库是最直接的一种方式。
两个系统分别有各自的数据库，同类型的数据库之间是比较方便的：
1）如果两个数据库在同一个服务器上，只要用户名设置的没有问题，就可以直接相互访问，需要在from后将其数据库名称及表的架构所有者带上即可。
select * from DATABASE1.dbo.table1
2）如果两个系统的数据库不在一个服务器上，那么建议采用链接服务器的形式来处理，或者使用openset和opendatasource的方式，这个需要对数据库的访问进行外围服务器的配置。
不同类型的数据库之间的连接就比较麻烦，需要做很多设置才能生效，这里不做详细说明。
开放数据库方式可以直接从目标数据库中获取需要的数据，准确性很高，是最直接、便捷的一种方式；同时实时性也有保证；
开放数据库方式需要协调各个软件厂商开放数据库，其难度很大；一个平台如果要同时连接很多个软件厂商的数据库，并且实时都在获取数据，这对平台本身的性能也是个巨大的挑战。
3、基于底层数据交换的数据直接采集方式
通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，进行包流量分析采集到应用数据，同时还可以利用仿真技术模拟客户端请求，实现数据的自动写入。
实现过程如下：使用101数据采集引擎对目标软件的内部数据交换（网络流量、内存）进行侦听，再把其中所需的数据分析出来，经过一系列处理和封装，保证数据的唯一性和准确性，并且输出结构化数据。经过相应配置，实现数据采集的自动化。
基于底层数据交换的数据直接采集方式的技术特点如下：
1）独立抓取，不需要软件厂家配合；
2）实时数据采集；数据端到端的延迟在数秒之内；
3）兼容Windows平台的几乎所有软件（C/S,B/S）； 作为数据挖掘，大数据分析的基础；
4）自动建立数据间关联；
5）配置简单、实施周期短；
6）支持自动导入历史数据。
“工欲善其事，必先利其器。”上述困境是一个连锁反应。问题的根源在于缺乏有效的工具支持。
亿信ABI的 数据填报功能一方面能实现对业务流程和数据收集的管理，对缺失的数据进行补录，也可以制作全新的填报表单用于录入数据，实现数据分析填报一体化。
填报界面用表单即可实现，展示界面用分析报表即可实现，业务流程用工作流即可实现的简单业务系统。比如考勤管理系统、报销管理系统等。没有复杂流程要求的轻量灵活的及时数据采集。比如做个调查问卷，个人信息登记表，应聘登记表。
该功能同时还为用户提供如下填报需求：
专业报表设计器可帮助用户方便、快速地制作web填报方式的各种业务填报。
可灵活设定填报数据与数据入库映射规则，直接将填报的数据存储至数据库，便于后续查询与汇总统计分析。
填报表具有下拉列表、下拉日历等丰富的编辑控件与数据合法性校验功能，保证数据录入的效率与正确性。
通过数据留痕功能，可保存每次上报时的数据、检索所有留痕的记录、可以当前数据为标杆，对历史数据进行对比操作。
供填报任务下发功能，可在系统内将业务填报表下发至特定人员或机构，进行数据采集任务下达。
填报任务下发还具有自动邮件通知、填报数据审核与回退、任务流转、填报权限控制、附件上传等丰富的填报应用功能。
按使用组件不同，ABI填报表分为表格填报表和表单填报表。用分析区表格组件制作的填报表称为表格填报表，如下图所示：
用表单组件制作的填报表称为表单填报表，如下图所示：
当然，同一张填报表可以既有表单组件又有表格组件，如下图。
按录入数据条数分，可以分为变长填报表和非变长填报表。所谓变长填报表，就是一次填报，可以录入多条数据，可以自行增删数据行。如上图中的同业比较这一块，通过+可以新增数据行以录入多行数据。
Excel数据分析工具实现的功能，都可以通过亿信ABI实现，而且步骤比Excel简单，最终的数据分析结果更加直观。数据分析用亿信ABI就够了，还有跟多宝藏功能等着你来发掘。
目前，由于数据采集融合技术的缺失，往往依靠各软件原厂商研发数据接口才能实现数据互通，不仅需要投入大量的时间、精力与资金，还可能因为系统开发团队解体、源代码丢失等原因出现的死局，导致了数据采集融合实现难度极大。在如此急迫的需求环境下基于底层数据交换的数据直接采集方式应运而生，从各式各样的软件系统中开采数据，源源不断获取所需的精准、实时的数据，自动建立数据关联，输出利用率极高的结构化数据，让数据有序、安全、可控的流动到所需要的企业和用户当中，让不同系统的数据源实现联动流通，为客户提供决策支持、提高运营效率、产生经济价值。
