一. 业务背景
隐私清除是手机质检的重要一环，我们回收的手机在经过自动化质检完成后，会对手机进行隐私清除。
在进行隐私清除之前，需要确保手机退出云服务的帐号。例如 手机需要退出 ，华为、小米等手机都要退出对应的云服务。否则会造成隐私数据的泄漏的风险，也会让后续购买此手机的用户无法享受到云服务的功能。
因此，帐号检测是一项很重要的功能。本节以 手机的帐号检测是否退出为例，主要是针对华为、小米等有比较明显的特征的手机，通过图像预处理、OCR 进行识别。
我们的隐私清除工具是一个桌面端程序，运行在 系统上。
对于 手机，桌面工具通过 adb 命令将隐私清除 App 安装到手机上java字符串相似度算法，然后二者通过 进行通信，做手机的隐私清除。
二. 设计思路
在做帐号检测这个功能之前，我尝试过很多办法来判断帐号是否退出，例如找相关的 adb 命令，或者对应厂商的 API，都没有很好的效果。经过不断摸索后，采用如下的方式：
这种方式在华为、小米手机上取得很好的效果。
三. 代码实现以及踩过的坑
核心代码
核心的代码使用 将上述所有过程串联起来，每一个过程是一个 map 操作，下面展示检测华为手机的帐号是否退出：
<pre class="language-kotlin">`object HuaweiDetect : IDetect {
val logger: Logger = LoggerFactory.getLogger(this.javaClass)
val list by lazy {
arrayOf("华为帐号、云空间、应用市场等"
,"华为帐号、付款与账单、云空间等"
,"华为帐号、云空间"
,"华为帐号、付款与账单")
}
override fun detectUserAccount(serialNumber:String,detail:String): Observable {
val file = File(detectAccountPath)
if (!file.exists()) {
file.mkdir()
}
val timeoutCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell settings put system screen_off_timeout 600000")
CommandExecutor.executeSync(timeoutCmd,appender = object : Appender {
override fun appendErrText(text: String) {
println(text)
}
override fun appendStdText(text: String) {
println(text)
}<p>
}).getExecutionResult()
val cmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell am start -S com.android.settings/.HWSettings")
val fileName = "${serialNumber}-${detail}.png"
return CommandExecutor.execute(cmd)
.asObservable()
.delay(2, TimeUnit.SECONDS)
.map {
val screencapCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber shell screencap -p /sdcard/$fileName")
CommandExecutor.executeSync(screencapCmd, appender = object : Appender {
override fun appendErrText(text: String) {
println(text)
}
override fun appendStdText(text: String) {
println(text)
}
}).getExecutionResult()
}
.map {
val pullCmd = CommandBuilder.buildSudoCommand("aihuishou","$adbLocation -s $serialNumber pull /sdcard/$fileName ${detectAccountPath}/${fileName}")
CommandExecutor.executeSync(pullCmd, appender = object : Appender {
override fun appendErrText(text: String) {
println(text)
}
override fun appendStdText(text: String) {
println(text)
}
}).getExecutionResult()
fileName
}
.map {
val input = File("$detectAccountPath/$it")
val image = ImageIO.read(input) 
val width = image.width
val height = image.height
return@map imageCutByRectangle(image, 0, 0, width, (height * 0.4).toInt())
}
.map { // [二值化][9]
binaryForHuawei(it)
}
.map{
val ocrValue = newTesseract().doOCR(it)
logger.info("ocrValue = $ocrValue")
ocrValue
}
.map { ocrValue->
if (ocrValue.contains("华为帐号、云空间、应用市场等")
|| ocrValue.contains("华为帐号、付款与账单、云空间等")
|| ocrValue.contains("华为帐号、云空间")
|| ocrValue.contains("华为帐号、付款与账单")) {
return@map true
} else {
val array = ocrValue.split("\n".toRegex())
array.map {
it.replace("\\s+".toRegex(),"")
}.toList().forEach{ s->
for (item in list) {
val d = levenshtein(s,item) // 字符串相似度比较
if (d>=0.7) {
return@map true
}
}
}
return@map false
}
}
}}
`</pre></p>
其中，() 用于裁剪图片
<pre class="language-kotlin">`/**
<p>
- 矩形裁剪，设定起始位置，裁剪宽度，裁剪长度
- 裁剪范围需小于等于图像范围
- @param image
- @param xCoordinate
- @param yCoordinate
- @param xLength
- @param yLength
- @return
*/
fun imageCutByRectangle(
image: BufferedImage,
xCoordinate: Int,
yCoordinate: Int,
xLength: Int,
yLength: Int): BufferedImage {
//判断x、y方向是否超过图像最大范围
var xLength = xLength
var yLength = yLength
if (xCoordinate + xLength >= image.width) {
xLength = image.width - xCoordinate
}
if (yCoordinate + yLength >= image.height) {
yLength = image.height - yCoordinate
}
val resultImage = BufferedImage(xLength, yLength, image.type)
for (x in 0 until xLength) {
for (y in 0 until yLength) {
val rgb = image.getRGB(x + xCoordinate, y + yCoordinate)
resultImage.setRGB(x, y, rgb)
}
}
return resultImage}
`</pre></p>
() 用于图像二值化。
图像二值化（ Image ）就是将图像上的像素点的灰度值设置为0或255java字符串相似度算法 Kotlin 、RxJava 以及传统的机器学习在手机质检上的应用，也就是将整个图像呈现出明显的黑白效果的过程。
在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。
<pre class="language-kotlin">`fun binaryForHuawei(bi: BufferedImage):BufferedImage = binary(bi)
<p>
/**
- 图像二值化操作
- @param bi
- @param thresh 二值化的阀值
- @return
*/
fun binary(bi: BufferedImage,thresh:Int = 225):BufferedImage {
// 获取当前图片的高,宽,ARGB
val h = bi.height
val w = bi.width
val rgb = bi.getRGB(0, 0)
val arr = Array(w) { IntArray(h) }
// 获取图片每一像素点的灰度值
for (i in 0 until w) {
for (j in 0 until h) {
// getRGB()返回默认的RGB颜色模型(十进制)
arr[i][j] = getImageRgb(bi.getRGB(i, j)) //该点的灰度值
}
}
val bufferedImage = BufferedImage(w, h, BufferedImage.TYPE_BYTE_BINARY) // 构造一个类型为预定义图像类型之一的 BufferedImage，TYPE_BYTE_BINARY（表示一个不透明的以字节打包的 1、2 或 4 位图像。）
for (i in 0 until w) {
for (j in 0 until h) {
if (getGray(arr, i, j, w, h) > thresh) {
val white = Color(255, 255, 255).rgb
bufferedImage.setRGB(i, j, white)
} else {
val black = Color(0, 0, 0).rgb
bufferedImage.setRGB(i, j, black)
}
}
}
return bufferedImage}
private fun getImageRgb(i: Int): Int {
val argb = Integer.toHexString(i) // 将十进制的颜色值转为十六进制
// argb分别代表透明,红,绿,蓝 分别占16进制2位
val r = argb.substring(2, 4).toInt(16) //后面参数为使用进制
val g = argb.substring(4, 6).toInt(16)
val b = argb.substring(6, 8).toInt(16)
return ((r + g + b) / 3)}
//自己加周围8个灰度值再除以9，算出其相对灰度值
private fun getGray(gray: Array, x: Int, y: Int, w: Int, h: Int): Int {
val rs = (gray[x][y]
+ (if (x == 0) 255 else gray[x - 1][y])
+ (if (x == 0 || y == 0) 255 else gray[x - 1][y - 1])
+ (if (x == 0 || y == h - 1) 255 else gray[x - 1][y + 1])
+ (if (y == 0) 255 else gray[x][y - 1])
+ (if (y == h - 1) 255 else gray[x][y + 1])
+ (if (x == w - 1) 255 else gray[x + 1][y])
+ (if (x == w - 1 || y == 0) 255 else gray[x + 1][y - 1])
+ if (x == w - 1 || y == h - 1) 255 else gray[x + 1][y + 1])
return rs / 9}
`</pre></p>
对于不同的手机，在处理二值化时需要使用不同的阀值，甚者采用不同的二值化算法。
下图分别展示了使用 adb 命令截系统设置页面的图，以及裁剪并经过二值化处理后的图片。
().doOCR(it) 是使用 来对二值化后的图片调用 OCR 算法进行文字内容的识别。
<pre class="language-kotlin">`fun newTesseract():Tesseract = Tesseract().apply {
val path = SystemConfig.TESS_DATA
this.setDatapath(path)
this.setLanguage("eng+chi_sim")
this.setOcrEngineMode(0)}
`</pre>
这里我们采用英文和中文的模型，目前只能识别中英文的内容。
对于识别出的内容可能会跟我们预期的有误差，最后采用 作为字符串相似度的比较。达到一定的值，我们会认为符合预期。
距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
踩过的坑
四.后续的规划
虽然上述的实现已经满足了大部分的需求java字符串相似度算法，但是只能处理中英文，并且算法模型需要部署在桌面端。我们已经开始着手深度学习的算法实现 OCR 的功能。
在下一阶段的工作中，将算法和模型都部署在云端。一方面减轻桌面端的压力，另一方面能够支持多种语言并提高文字识别率。