CRUD生成器DBuilder设计与实现，crud生成器dbuilder

CRUD生成器DBuilder设计与实现，crud生成器dbuilder

第一章           引言

1.1 研究背景及意义

计算机软件技术发展至今，数据库已成为最广泛使用的存储格式化数据的媒介，数据库程序开发技术也日趋完善，大型的ORM框架使得数据库程序开发变得简单，并已成为操作关系型数据库的主流方式。数据库程序主要代码为CRUD(create, retrieve, update, delete)代码，随着ORM框架功能的完善，编写CRUD代码也衍生其固定的流程，对不同数据库表进行操作的CRUD代码也存在高度可重用性。当前编写重复性的CRUD代码成为开发人员的常态，不仅严重降低其积极性，而且损失其开发效率，所以迫切需要一种能够快速生成CRUD代码的产品，以期减少这方面的工作，提高开发效率。

1.2 研究现状

目前国外已经诞生一些解决上述需求的、具有很高可用性的CRUD生成器产品：CrudKit，CRUD-Admin-Generator，Dadabik，GroceryCrud，SximoBuilder。这些产品各有其特点，但也有一共同点：都是基于PHP进行开发（这在一定程度上决定于PHP语法的灵活性及其解析性）。SximoBuilder是其中的典型代表，尽管SximoBuilder设计独特、可用性高、流行度高，但也存在如下不足之处：

• 不支持自定义表单控件；
• 不支持多数据库；
• 验证规则不完善，不支持异步验证；
• 代码冗余度极大。

然而对于当今日益复杂的web程序，上述几点是开发过程必须考虑的问题，因此，开发一款既具有SximoBuilder现有功能、又完善其不足之处的CRUD生成器产品，势在必行。

1.3 研究内容

基于国内外CRUD生成器研究现状，笔者开发一款名为DBuilder（D为DataAdministrator的简写）的CRUD 生成器。

DBuilder借鉴SximoBuilder的模块为代码单元、由模板生成代码的思想，但拥有与SximoBuilder完全不同的代码生成器逻辑。它在实现SximoBuilder核心的代码生成、通用CRUD两种功能的基础上，通过重写代码逻辑完善其不足之处：代码冗余度大、缺少前端验证。

第二章           DBuilder系统分析

DBuilder面向的主要用户人群为web后台管理员以及开发人员，因此其系统分析过程，将更多的站在web后台管理员及开发人员的角度考虑问题。

2.1 需求分析

项目需要实现如下几点核心功能。

1)        数据源管理

用户可以在界面为项目配置多个数据源。配置的数据源信息包括数据库类型、地址、数据库名、端口、用户名、密码等信息。支持对数据源的增删改查，保证对数据源的增删改查不轻易造成系统问题。

2)        代码生成

此功能是DBuilder的核心要实现的功能，用户在选择数据源和数据表之后，能够对数据库表的字段做简单配置，配置包括Form表单配置、List（Table）列表配置、关系配置、全局属性配置。配置完成后DBuilder要能生成对数据库表的CRUD的MVC代码，即需要实现CRUD可用功能，但不用编写代码。

3)        数据库表CRUD

生成的代码必须支持数据表记录的新建、删除、更新、查询操作。

4)        菜单管理

DBuilder要能将生成的代码跟一个菜单项绑定，让用户点击菜单项之后，就可以使用DBuilder生成的CRUD功能。此菜单必须包括后台菜单，前台菜单不是必须的。

5)        用户管理

用户要实现多种角色。必须能够以邮箱为用户唯一标识，并作为登录参数。未来还要实现支持QQ、微信、新浪微博基于OAuth2.0的互联登录。

6)        权限管理

DBuilder要能实现不同用户角色对不同CRUD代码的执行、访问权限做到三维的可配置。譬如，现有一个文章管理的CRUD功能模块，用户角色分为系统管理员（SuperAdmin），管理员（Admin），访客（Guest），那么DBuilder要能实现如下的三维权限配置，且将之作为所有Module的默认权限。

表2-1 Module权限配置表

用户组与权限	查看	编辑	删除	导出
SuperAdmin	√	√	√	√
Admin	√	√	√
Guest	√

7)        站点参数配置

DBuilder作为一个网站的web后台程序，对站点的全局参数配置也是必须的，这些参数包括网站名字、关键词、联系地址、友情链接等等。

8)        操作日志

DBuilder要记录用户的操作信息，包括访问的页面、执行的CRUD类型、时间等等信息。日志的记录形式支持数据库和文件两种方式。

9)        多语言支持

DBuilder要支持多国语言的切换。至少应该支持中文和英语两种语言，且以中文为默认。

10)    多数据库类型支持

DBuilder要支持多种类型数据库，暂时主要支持关系型数据库，包括mysql，MS SqlServer，oracle，PostGreSQL等等。

2.2 数据原型分析

按照需求提取可得实体有:用户、用户组、数据源、代码模块、菜单，关系有：权限、日志。实体与关系的含义如下：

• 用户：表示使用DBuilder的用户；
• 用户组：表示用户的类型分组，用户类型应该至少包括访客、管理员、超级管理员三种；
• 数据源：表示DBuilder包含的数据库配置，一个数据源的配置包含连接一个数据库所需的基本参数；
• 代码模块：表示DBuilder生成的代码模块，描述了代码文件和配置；
• 菜单：表示DBuilder的左侧菜单项；
• 权限：表示用户组对每个代码模块的各种操作权限；
• 日志：表示用户对每个代码模块的CRUD访问日志。

实体与关系的ER图如下：

 

图2-1 ER图

2.3 原则性要求

DBuilder应该要做成一套高性能、高可用的CRUD生成器，为此DBuilder设计中应该符合下面几项原则：

• DBuilder要精确到每个数据库字段可配置；
• 应具备一个WEB后台应用的雏形，使用户可在此基础上快速建立完整的WEB后台应用；
• DBuilder要尽可能减少SQL操作，必要时可借助缓存、异步等技术，减少请求的处理逻辑，提高页面效率，减少用户等待时间；
• DBuilder要有美观、简洁、直观的用户界面；
• DBuilder要留有大量的扩展接口，能够让用户通过二次开发快速实现较为复杂的功能。

第三章           DBuilder系统设计

3.1 系统架构

DBuilder有下面2个核心的构件Core CRUD 模块和GModule，GModule对Core CRUD 模块有继承依赖的关系，GModule由MVC Code和CRUD Config组成；Core CRUD模块是手工编写的代码，而GModule是DBuilder生成的代码；Core CRUD 模块实现CRUD操作，GModule实现扩展功能。下图表示了这两个构件的组成和关系

 

图3-1概念与构件

下面对图中设计的概念、构件、模块关系以及Build与CRUD流程做详细阐述。

3.1.1 Core CRUD 模块

Core CRUD 模块实现核心CRUD操作，一切对GModule MVC中Controller的CRUD请求，最终转交至Core CRUD 模块进行处理。Core CRUD 模块会开放一些预处理和后处理接口交由GModule实现，这些接口会在Model，Controller，View上都有体现。

Core CRUD 模块主要包括如下文件

• app/controllers/admin/AdminController.php
• app/models/BaseModel.php
• app/config/crud/admin.php
• app/views/admin/core/list.blade.php
• app/views/admin/core/form.blade.php

Core CRUD 模块读取GModule Configuration实现真正的CRUD操作。

3.1.2 GModule

GModule（Generated Module）不但实现了Core CRUD Module接口（MVC代码），而且具有自己配置文件（CRUD Configuration）。每一GModule表示以一张数据库表为主表，具备CRUD功能的代码文件合集（包括对应的MVC + Configuration代码）。譬如，DBuilder生成的一个GModule， 主表为core数据源user表，名字为User，那么User GModule应包含下面代码文件：

• controllers/UserController.php
• models/User.php
• views/user/_list.blade.php
• views/user/_form.blade.php
• views/user/view.blade.php
• config/crud/user.php

代码文件命名取决于GModule的名字，故为保证生成的代码文件不冲突，取GModule的名字（GModule Key，GModule Name）作为GModule的唯一标识。每一个GModule的信息都被保存在数据库中。一次新建 GModule操作将会新建上述所有代码文件，更新相关文件，并插入一条GModule记录到数据库。一次更新 GModule操作将只会更新Configuration文件。

GModule 由MVC代码和CRUD Configuration代码组成，下面分别进行阐述：

• MVC代码：用来实现扩展接口。CRUD请求应最先路由到GModule MVC的中的Controller（控制器）。并且GModule MVC 应与Core CRUD Module的MVC代码有继承关系。
• CRUD Configuration代码：实现对GModule主表增删改查参数的配置。该文件放置在app/config/crud/目录下，以php array的格式定义。它包含对所有字段的表单，列表，视图，关系等参数的配置，以及全局的参数配置。

GModule并不表示具体某一个模块，而是代指一类模块，这种模块可以由DBuilder生成，或者由开发人员手工建立。它主要用来实现Core CRUD Module的接口，主要包括下述几部分

1)        Controller接口

假设GModule模块的 Controller为A，Core CRUD Module 的Controller为B，则A应继承自B。CRUD请求会先路由到A，而实际的处理者是B。A会实现B开放的下列接口。

• beforeListExcuteQuery(&querier)：该接口在List查询器执行查询之前调用，传递的参数为查询器引用。用来在查询之前，绑定特殊的查询参数。
• beforeList(&data)：该接口在List查询器执行之后，渲染List视图之前调用。传递的参数为视图参数引用，其中包括查询出的model集合。用来对查询的model 集合做后处理，或者对list视图绑定一些Module专有的参数。
• beforeEditExcuteQuery(&querier)：该接口在Edit请求中Model查询器执行查询之前调用，传递的是查询器引用。用来绑定查询model需要的特殊参数。
• beforeEdit(&data)：该接口在Edit中Model查询器执行之后，渲染视图之前调用，传递的是视图参数引用，其中包括查询器查询出的model。用来做渲染前的预处理。
• afterSave(&model)：该接口在Edit中，保存编辑的之后调用，传递的是保存在数据库中，最新的数据库记录持久化的model。用来对model做一些复杂的后级联处理。
• beforeView(data)： 该接口在View请求中，View 查询器查询之后调用，传递的是视图参数的引用。用来对视图显示做预处理。

2)        Model 接口

GModule MVC代码中的Model也继承自BaseModel，实现 BaseModel类开放的一些接口可以完成扩展。

formatXXXAttribute()：该接口用来格式化某个字段。本产品基于Laravel，其已经具备类似的接口，就是getXXXXAttribute()。但这样的接口的优先级比字段优先级高，这在特殊的情况下为开发带来了不便，所以再设计一个类似的接口，该接口的优先级低于字段本身。

3)        View 接口

视图的扩展接口与前两者不同，主要体现在子视图与视图块上，也就是在Core CURD模块的视图基础上，扩展视图组件。默认Core CRUD MVC视图生成的是一个表格或者一个表单，占满页面。而View接口将提供在该表格上下左右扩展页面组件的能力。

4)        Configuration

每一个GModule对应一个Configuration文件，其中包含GModule对主表各个字段的配置参数，以及布局参数。

3.1.3 模块关系

CRUD请求路由到GModule的Controller，GModule代码实现Core CRUD MVC开放的接口，而由Core CRUD Module去真正实现对数据库的CRUD操作。每一个GModule的信息应该被记录在数据库表中，以便给GModule关联菜单，控制权限，记录操作日志等等。一些主要模块之间的关系如下图所示。

 

图3-2模块关系

从图2-2中可以看到，由GModule管理模块根据用户配置来生成一个GModule A，当用户的CRUD请求到达GModule A时，GModule 会讲请求转交Core CRUD进行处理，Core CRUD 模块再以SQL对数据库进行CRUD操作。

3.1.4 Build 与 CRUD流程

DBuilder项目的方案，将真正的CRUD操作交给了Core CRUD Module去执行，CRUD参数由GET或者POST请求参数与GModule Configuration构成，而GModule的MVC代码只是去实现Core CRUD MVC开放的一些预处理或者后处理接口。

图2-3是DBuilder最核心的流程图，包含Module的生成和处理CRUD请求的过程，图2-4是SximoBuilder 中Module的生成和处理CRUD请求的流程图。

 

图3-3 DBuilder 代码生成和处理CRUD的流程

 

图3-4 SximoBuilder 代码生成和处理CRUD的流程

对比两者，可以看到两者的最大区别，是DBuilder复用一份CRUD代码，而不是像Sximo那样为每一个Module生成一套可以当独执行的CRUD代码。这样做的好处是提高了复用性,并通过Module CRUD MVC实现预处理/后处理接口达到扩展性的目的。

3.2 Core数据源

Core数据源是DBuilder的默认数据源，其类型为mysql，数据库名为dbuilder，本节按照《数据原型分析》一节进行详细的数据库设计。为提高程序性能，数据源信息保存在代码文件app/config/datasource.php中，文件内容如下：

    'core' =>

        array (

            'driver' => 'mysql',

            'host' => 'localhost',

            'database' => 'dbuilder',

            'username' => 'root',

            'password' => 'root',

            'charset' => 'utf8',

            'collation' => 'utf8_unicode_ci',

            'prefix' => '',

            'edit' => false,

            'port' => 3306,

        ),

        // more data source

 );

其中Core数据源有下述数据表：

1)        d_menu 表：表示后台左侧树形菜单，每一个可点击跳转的菜单项必须与一个Module进行关联。

表3-1 web后台左侧菜单表