Android项目构建过程分析

发表于 | 分类于 | | 阅读次数:

构建过程

项目的构建：当我们打开一个项目，我们可以看到的是我们写的Java Code文件or Other JVM Code，资源文件，Build配置文件，但是通过run the project，我们就可以得到一个在我们的Andoid设备上可以运行的Apk，上线应用市场，还需要我们对其进行签名处理，来确保我们App的唯一性和安全性。整个过程就是所谓的项目构建。如下图所示。

如何实现整个构建的过程，对于每一个构建的步骤，都需要相应的功能模块来进行，比如Java Code编译，如何打成dex包等等，而这Android则为我们提供了相应的工具，在Android Studio命令行窗口中，我们可以通过相应的命令行来进行控制，但是，整个构建过程涉及到很多的步骤，很多的工具的使用，如果都通过命令行来进行控制，势必会相当麻烦，因此Androd Studio等IDE则对整个过程进行了一个打包，当我们在Run project的时候，底层的打包工具就会被调用，打包流程都会自动执行。然后我们只需要对构建文件按照自己的需求进行相应的配置，就可以构建出自己所需要的项目。
那么，整个Andoid项目的构建过程中，都执行了那些构建的任务呢？

总览

首先看一下，Google官方为我们提供的详细的构建过程图

图中绿色标注为其中用到的相应工具，蓝色代表的是中间生成的各类文件类型。

  • 首先aapt工具会将资源文件进行转化，生成对应资源ID的R文件和资源文件。
  • adil工具会将其中的aidl接口转化成Java的接口
  • 至此，Java Compiler开始进行Java文件向class文件的转化，将R文件，Java源代码，由aidl转化来的Java接口，统一转化成.class文件。
  • 通过dx工具将class文件转化为dex文件。
  • 此时我们得到了经过处理后的资源文件和一个dex文件，当然，还会存在一些其它的资源文件，这个时候，就是将其打包成一个类似apk的文件。但还并不是直接可以安装在Android系统上的APK文件。
  • 通过签名工具对其进行签名。
  • 通过Zipalign进行优化，提升运行速度（原理后文会提及）。
  • 最终，一个可以安装在我们手机上的APK完成了。

下图是一个Android项目构建过程的详细步骤图。

aapt打包资源文件，生成R.java和编译后的资源（二进制文件）

第1步：aapt打包资源文件，生成R.java和编译后的资源（二进制文件）
讲到资源文件的处理，我们先来看一下Android中的资源文件有那些呢?Android应用程序资源可以分为两大类，分别是assets和res：

  1. assets类资源放在android根目录的assets子目录下，它里面保存的是一些原始的文件，可以以任何方式来进行组织。这些文件最终会被原装不动地打包在apk文件中。如果我们要在程序中访问这些文件，那么就需要指定文件名来访问。例如，假设在assets目录下有一个名称为filename的文件，那么就可以使用以下代码来访问它：
    1
    2
    AssetManager am= getAssets();    
    InputStream is = assset.open("filename");
  2. res类资源放在android根目录的res子目录下，它里面保存的文件大多数都会被编译，并且都会被赋予资源ID。这样我们就可以在程序中通过ID来访问res类的资源。res类资源按照不同的用途可以进一步划分为以下10种子类型：
    layout(布局文件)，drawable，xml，value，menu，raw，color，anim，animator，mipmap。
    为了使得一个应用程序能够在运行时同时支持不同的大小和密度的屏幕，以及支持国际化，即支持不同的国家地区和语言，Android应用程序资源的组织方式有18个维度，每一个维度都代表一个配置信息，从而可以使得应用程序能够根据设备的当前配置信息来找到最匹配的资源来展现在UI上，从而提高用户体验。由于Android应用程序资源的组织方式可以达到18个维度，因此就要求Android资源管理框架能够快速定位最匹配设备当前配置信息的资源来展现在UI上，否则的话，就会影响用户体验。为了支持Android资源管理框架快速定位最匹配资源，Android资源打包工具aapt在编译和打包资源的过程中，会执行以下两个额外的操作：
  • 赋予每一个非assets资源一个ID值，这些ID值以常量的形式定义在一个R.java文件中。
  • 生成一个resources.arsc文件，用来描述那些具有ID值的资源的配置信息，它的内容就相当于是一个资源索引表。包含了所有的id值的数据集合。在该文件中，如果某个id对应的是string，那么该文件会直接包含该值，如果id对应的资源是某个layout或者drawable资源，那么该文件会存入对应资源的路径。

为什么要转化为二进制文件？

  • 二进制格式的XML文件占用空间更小。这是由于所有XML元素的标签、属性名称、属性值和内容所涉及到的字符串都会被统一收集到一个字符串资源池中去，并且会去重。有了这个字符串资源池，原来使用字符串的地方就会被替换成一个索引到字符串资源池的整数值，从而可以减少文件的大小。
  • 二进制格式的XML文件解析速度更快。这是由于二进制格式的XML元素里面不再包含有字符串值，因此就避免了进行字符串解析，从而提高速度。
    有了资源ID以及资源索引表之后，Android资源管理框架就可以迅速将根据设备当前配置信息来定位最匹配的资源了。

R.java解读


原始的资源文件res/values/strings.xml内容如下：

1
2
3
4
5
6
7
8
<?xml version="1.0" encoding="utf-8"?>  
<resources>  
  
    <string name="app_name">Cert</string>  
    <string name="hello_world">Hello world!</string>  
    <string name="action_settings">Settings</string>  
  
</resources>

对应R.java文件的内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
public final class R {  
              ...  
    public static final class string {  
                     ...  
        /**  Description of the choose target button in a ShareActionProvider (share UI). [CHAR LIMIT=NONE]  
         */  
        public static final int abc_shareactionprovider_share_with=0x7f0a000c;  
        /**  Description of a share target (both in the list of such or the default share button) in a ShareActionProvider (share UI). [CHAR LIMIT=NONE]  
         */  
        public static final int abc_shareactionprovider_share_with_application=0x7f0a000b;  
        public static final int action_settings=0x7f0a000f;  
        public static final int app_name=0x7f0a000d;  
        public static final int hello_world=0x7f0a000e;  
    }  
                     ...  
}

可以看到每个资源文件在R中都是一个class，每个资源项名称都分配了一个id，id值是一个四字节无符号整数，格式是这样的：0xpptteeee，（p代表的是package，t代表的是type，e代表的是entry），最高字节代表Package ID，次高字节代表Type ID，后面两个字节代表Entry ID。

Package ID相当于是一个命名空间，限定资源的来源。Android系统当前定义了两个资源命令空间，其中一个系统资源命令空间，它的Package ID等于0x01，另外一个是应用程序资源命令空间，它的Package ID等于0x7f。所有位于[0x01, 0x7f]之间的Package ID都是合法的，而在这个范围之外的都是非法的Package ID。

Type ID是指资源的类型ID。资源的类型有animator、anim、color、drawable、layout、menu、raw、string和xml等等若干种，每一种都会被赋予一个ID。

Entry ID是指每一个资源在其所属的资源类型中所出现的次序。注意，不同类型的资源的Entry ID有可能是相同的，但是由于它们的类型不同，我们仍然可以通过其资源ID来区别开来。

AAPT


通过上图我们可以看到Resources是通过resources.arsc把Resource的ID转化成资源文件的名称，然后交由AssetManager来加载的。
而Resources.arsc这个文件是存放在APK包中的，他是由AAPT工具在打包过程中生成的，他本身是一个资源的索引表，里面维护者资源ID、Name、Path或者Value的对应关系，AssetManager通过这个索引表，就可以通过资源的ID找到这个资源对应的文件或者数据。

AAPT这个工具在打包过程中主要做了下列工作：

  • 把”assets”和”res/raw”目录下的所有资源进行打包（会根据不同的文件后缀选择压缩或不压缩），而”res/“目录下的其他资源进行编译或者其他处理（具体处理方式视文件后缀不同而不同，例如：”.xml”会编译成二进制文件，”.png”文件会进行优化等等）后才进行打包；
  • 会对除了assets资源之外所有的资源赋予一个资源ID常量，并且会生成一个资源索引表resources.arsc；
  • 编译AndroidManifest.xml成二进制的XML文件；
  • 把上面3个步骤中生成结果保存在一个*.ap_文件，并把各个资源ID常量定义在一个R.java中；

*.ap_这个文件存放在build/intermediates/res的目录下，下图是这个文件存放的路径截图：

解压出来。

aidl

第2步：aidl
aidl，全名Android Interface Definition Language，即Android接口定义语言。是我们在编写进程间通信的代码的时候，定义的接口。
输入：aidl后缀的文件。输出：可用于进程通信的C/S端java代码，位于build/generated/source/aidl。

Java源码编译

第3步：Java源码编译
我们有了R.java和aidl生成的Java文件，再加上工程的源代码，现在可以使用javac进行正常的java编译生成class文件了。

输入：java source的文件夹（另外还包括了build/generated下的：R.java, aidl生成的java文件，以及BuildConfig.java）。
输出：对于gradle编译，可以在build/intermediates/classes里，看到输出的class文件。

代码混淆（proguard）

第4步：代码混淆（proguard）
源码编译之后，我们可能还会对其进行代码的混淆，混淆的作用是增加反编译的难度，同时也将一些代码的命名进行了缩短，减少代码占用的空间。混淆完成之后，会生成一个混淆前后的映射表，这个是用来在反应我们的应用执行的时候的一些堆栈信息，可以将混淆后的信息转化为我们混淆前实际代码中的内容。
而这个过程使用的工具就是ProGuard，是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 其具备三个主要功能。

  • 压缩 - 移除无效的类、属性、方法等
  • 优化 - 优化bytecode移除没用的结构
  • 混淆 - 把类名、属性名、方法名替换为晦涩难懂的1到2个字母的名字
    当然它也只能混淆Java代码，Android工程中Native代码，资源文件（图片、xml），它是无法混淆的。而且对于Java的常量值也是无法混淆的，所以不要使用常量定义密码等重要信息。同时对于混淆，我们可以通过代码制定去混淆哪些，不去混淆哪些。

转化为dex

第5步：转化为dex
调用dx.bat将所有的class文件转化为classes.dex文件，dx会将class转换为Dalvik字节码，生成常量池，消除冗余数据等。由于dalvik是一种针对嵌入式设备而特殊设计的java虚拟机，所以dex文件与标准的class文件在结构设计上有着本质的区别,当java程序编译成class后，使用dx工具将所有的class文件整合到一个dex文件，目的是其中各个类能够共享数据，在一定程度上降低了冗余，同时也是文件结构更加经凑，实验表明，dex文件是传统jar文件大小的50%左右。class文件结构和dex文件结构比对。

apkbuilder

第6步：apkbuilder
打包生成APK文件。旧的apkbuilder脚本已经废弃，现在都已经通过sdklib.jar的ApkBuilder类进行打包了。输入为我们之前生成的包含resources.arcs的.ap_文件，上一步生成的dex文件，以及其他资源如jni、.so文件。
大致步骤为
以包含resources.arcs的.ap_文件为基础，new一个ApkBuilder，设置debugMode

1
2
3
4
5
6
apkBuilder.addZipFile(f);
apkBuilder.addSourceFolder(f);
apkBuilder.addResourcesFromJar(f);
apkBuilder.addNativeLibraries(nativeFileList);
apkBuilder.sealApk(); // 关闭apk文件
generateDependencyFile(depFile, inputPaths, outputFile.getAbsolutePath());

对APK签名

第7步：对APK签名
对APK文件进行签名。Android系统在安装APK的时候，首先会检验APK的签名，如果发现签名文件不存在或者校验签名失败，则会拒绝安装，所以应用程序在发布之前一定要进行签名。签名信息中包含有开发者信息，在一定程度上可以防止应用被伪造。对一个APK文件签名之后，APK文件根目录下会增加META-INF目录，该目录下增加三个文件：

  • MANIFEST.MF
  • NETEASE.RSA
  • NETEASE.SF
    Android系统就是根据这三个文件的内容对APK文件进行签名检验的。签名过程主要利用apksign.jar或者jarsinger.jar两个工具。将根据我们提供的Debug和Release两个版本的Keystore进行相应的签名。

zipalign优化

第8步：zipalign优化
Zipalign是一个Android平台上整理APK文件的工具，它首次被引入是在Android 1.6版本的SDK软件开发工具包中。它能够对打包的Android应用程序进行优化， 以使Android操作系统与应用程序之间的交互作用更有效率，这能够让应用程序和整个系统运行得更快。用Zipalign处理过的应用程序执行时间达到最低限度，当设备运行APK应用程序时占更少的RAM。
Zipalign如何进行优化的呢？
调用buildtoolszipalign，对签名后的APK文件进行对齐处理，使APK中所有资源文件距离文件起始偏移为4字节的整数倍，从而在通过内存映射访问APK文件时会更快。同时也减少了在设备上运行时的内存消耗。
最终这样我们的APK就生成完毕了。

典型的APK中内容

  • AndroidManifest.xml 程序全局配置文件
  • classes.dex Dalvik字节码
  • resources.arsc 资源索引表
  • META-INF该目录下存放的是签名信息
  • res 该目录存放资源文件
  • assets该目录可以存放一些配置或资源文件

参考链接

res/values/public.xml：https://codeday.me/bug/20170816/57361.html
Android代码混淆之ProGuard
http://rensanning.iteye.com/blog/2224635
Android资源管理框架（Asset Manager）简要介绍和学习计划
http://blog.csdn.net/luoshengyang/article/details/8738877
Android应用程序资源的编译和打包过程分析
http://blog.csdn.net/luoshengyang/article/details/8744683