目前，越來越多的AI場景將AI能力直接部署在移動端，其優勢主要在于實時、省流、以及安全性等方面。這些AI能力給移動端產品帶來巨大的想象空間，促進了移動互聯網下半場的繁榮。

在移動端智能化的背后，離不開移動開發者以及人工智能應用算法工程師。在實際業務開發中，算法工程師開發出來的AI算法，最終都要交付給移動開發者進行工程落地。這個落地的鏈條其實難度相當大，總結來說涉及以下兩方面：

-一款沒有任何AI實踐的產品，不僅要進行模型的訓練、預測引擎的集成，還需要根據不同模型進行數據的前后處理，圖像的各種顏色空間、存儲格式的轉換，過程中可能會使用到Python、C/C++、iOS、Android等多種語言，接入門檻高。

-同時，接入AI能力的過程非常復雜，涉及引擎調用相關開發、前后處理相關開發、甚至并發相關處理，考慮到移植和復用情況，更需要兼容多種業務場景、進行模塊化拆分，導致工作量成倍增加。

如果您也面臨以上問題，那么LiteKit將是您最好的選擇!話不多說，我們先看效果!

　視頻超分

(高清原視頻截圖) (低清超分后視頻截圖)

這個圖片來自百度百家號推出壯美極境公益項目的視頻。左邊的圖片為480p原始視頻截圖，右邊的圖片為360p視頻通過超分能力重建的480p視頻截圖。通過左右視頻截圖對比，可以看到超分后的視頻(右側)在手機上可以達到與原始視頻(左側)幾乎一致的視覺體驗。

(超分前) (超分后)

左圖是360p原始視頻的單幀畫面，右邊將360p視頻超分到480p的畫面，對比來看畫面放大后，畫面不僅沒有損失清晰度，而且變得更清楚。

所謂視頻超分，通俗來說，就是將低像素的視頻轉成高像素，而且視頻還能變得更清楚!

而對于手機場景來說，視頻超分本身最重要的不僅僅是追求極致的超分效果，而是速度和效果的均衡。手機視頻超分主要目標是在手機端上達到25FPS(手機端的視頻通常是25FPS，通常來說24FPS+視覺上才不會感覺到卡頓)的前提下，對畫面進行優化重建。

LiteKit提供的視頻超分是業內首次開放的能夠達到25FPS的視頻超分解決方案。在手機移動應用項目中最常見的是360p視頻。LiteKit支持從360p到480p場景下進行25FPS的超分。除此以外，LiteKit的視頻超分能夠對播放器解碼后的YUV420視頻幀數據直接進行處理，并獲得相同格式的輸出數據，消除了將視頻幀數據進行數據格式轉換的過程，大大方便了用戶的使用，并降低使用耗時。

　性能優化

LiteKit的視頻超分能力模型，經過反復的性能調優，可以支持360p->480p的超分場景下播放器25FPS的持續超分。

從上面的測試結果可以看到，在18年iPhoneXsMax上，視頻超分也能夠達到32.15ms的預測速度，支持播放器25FPS的超分。在最新的iPhone12上，相比iPhoneXsMax，預測速度進一步提升30%。

手勢識別

這是LiteKit提供的手勢識別AI能力。它可以準確的檢測手勢所在位置的矩形坐標、手勢類型和置信度，支持識別六種類型的手勢，包括手、五指手勢、V手勢、握拳、1手勢、OK手勢。

人像分割

(人像分割前)(人像分割后)

這是LiteKit提供的人像分割AI能力，能夠提供實時的人像分割，準確地分割人像和背景，可用于去除背景、人像摳圖、照片合成、背景替換等業務之中。

　快速體驗

以上就是LiteKit目前開放出來的AI能力，這些AI能力可以直接點擊以下鏈接快速安裝Android Demo體驗(只需一部安卓手機即可)：

https://github.com/PaddlePaddle/LiteKit/releases/download/0.0.10/MMLKitDemo_0.0.10.apk

　可以一秒接入的AI能力

對于APP開發者來說，是不是很想知道這些能力能否接入到自己的移動應用之中呢?

答案當然是肯定的!不僅能接入，而且可以說是一秒就能接入你的APP工程!

LiteKit提供視頻超分、人像分割、手勢識別一系列AI能力，這些AI能力均來自于百度各個業務線AI場景多年的技術沉淀，并以SDK的形式提供，做到了開箱即用。

即使是沒有任何AI實踐的APP開發者，只需通過調用兩三個簡單API連接LiteKit提供的SDK軟件包，就可以順利接入AI能力。就像拆開快遞箱一樣簡單，打開箱子就可以直接用。

你可以把SDK想象成一個虛擬的程序包，在這個程序包中有一份做好的軟件功能，這份程序包幾乎是全封閉的，只有一個小小接口可以連通外界，而這個接口就是API。

　如何接入

LiteKit的接入只需要創建、推理、釋放三步即可完成AI能力的開發。雖然對于視頻超分、人像分割、手勢識別，甚至包括未來將要開源的新AI能力，輸入輸出會各有不同，但是整體流程和API的樣式都被抽象成類似的步驟，甚至API的命名都會保持高度一致，讓學習成本降到最低。下面的代碼就是視頻超分能力的接入過程：

(內容持續更新中，最新內容可以訪問此鏈接獲取。https://github.com/PaddlePaddle/LiteKit)

　LiteKit的設計

LiteKit把接入過程整體抽象為：創建、推理、釋放三步：

-創建后，可以反復使用執行推理

-推理的過程整體只有一類API：對輸入數據(input)執行推理，同步返回輸出數據(output)。圖中和模型直接相關的前后處理的流程，都被封裝在了AI能力推理接口內部，用戶既不需要關心，也不需要任何處理。為了方便不同業務不同的輸入，每個能力的推理接口可能有幾個，這幾個接口能力完全相同，唯一不同的只是輸入和輸出類型，用戶通常只需要根據自己的輸入輸出類型關心最便捷使用的一個即可。

-釋放與創建一一對應，當AI業務退出的時候，執行即可。

關于輸入數據的獲取和輸出數據的使用，在真實的業務落地中，是需要開發者進行考慮的問題。例如在推理前，需要拿到相機幀，考慮到手機的自動旋轉及前后鏡頭的問題，需要開發者對圖像進行旋轉。在獲得推理結果后，需要開發者把推理的結果用適當的方案進行渲染。

LiteKit的架構

LiteKit從下至上主要分為三層：

1.最底層的Paddle Lite：是百度飛槳深度學習平臺提供的開源推理引擎，能夠提供CPU、GPU等多種環境下進行推理。

2. 中間的LiteKitCore框架層：隔離了業務方對Paddle Lite的直接依賴，并向上層提供基本一致的OC、Java、C++ API，提供了基礎結構和數據類型的定義，并提供通用的工具集。

3. LiteKit業務層：根據各自不同的業務，封裝了人像分割、視頻超分、手勢識別等能力。LiteKit的能力將會不斷的擴充。

LiteKit的人像分割、視頻超分、手勢識別三大能力， 底層統一依賴LiteKitCore。目前LiteKitCore也同步進行了開源。LiteKitCore作為移動端AI能力部署工具，其職責主要是向下接管推理引擎，并向上提供統一的AI推理能力。

-移動端的AI開發者接入了LiteKitCore之后，不必再關心推理引擎的配置、模型的加載等復雜操作，LiteKit內部管理了推理引擎大部分復雜的配置，同時仍然支持使用者靈活的配置一些入模型地址等的關鍵參數。

-LiteKitCore向上對AI能力的開發者，提供了Java/ObjectiveC/C++三套接口，能大大降低端AI開發者的開發成本。

下面以C++接口接入CPU AI推理能力為例，簡單示范一下接入的流程:

-使用LiteKitCore創建AI推理引擎管理實例，不再需要關心模型的結構，推理引擎的使用方式，只需要通過LiteKitCore進行簡單的配置。

-使用AI推理能力的時候也不需要關心推理引擎具體如何調用，LiteKitCore提供方便使用的C++/Java/ObjectiveC API。

在開發不同業務的過程中，上層的業務配置根據不同業務場景設置，底層LiteKitCore部分代碼完全可以復用和移植，極大的降低了AI能力開發的工作量。

　展望

LiteKit作為飛槳的移動端部署工具，能夠快速的部署基于百度深度學習框架飛槳的輕量化推理引擎Paddle Lite的AI能力。能夠讓AI能力在任何APP中、任何場景下快速的工程化落地，可以讓同學們簡單的實現自己的AI特效。

LiteKit在不久的將來還會開放OCR等更多的能力，支持更多的業務場景。大家對LiteKit即將開放的能力，還有什么期待呢，如果有的話，就請點以下鏈接，填寫您對AI能力的需求吧：https://iwenjuan.baidu.com/?code=ap8fxl

相關鏈接

想進一步了解LiteKit的小伙伴，可以上Github點star并查看完整文檔及Demo

LiteKit GitHub地址：https://github.com/PaddlePaddle/LiteKit

　更多參考：

如果您想詳細了解更多關于端側AI部署的相關內容，可以多多關注飛槳Paddle Lite。Paddle Lite支持包括手機移動端和嵌入式端在內的端側場景，支持廣泛的硬件和平臺，是一個高性能、輕量級的深度學習推理引擎。除了和飛槳核心框架無縫對接外，也兼容支持其他訓練框架如TensorFlow、Caffe保存的模型(通過X2Paddle工具即可將其他格式的模型轉換成飛槳模型)。

Paddle Lite GitHub地址: https://github.com/PaddlePaddle/Paddle-Lite

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。