系统之家官网 网站地图| TAG标签| RSS订阅| 加入收藏

系统排行榜

Linux下怎么样将UTF8编码批量转换成GB2312编码

Linux下怎么样将UTF8编码批量转换成GB2312编码
更新时间:2024-09-09 12:34 系统大小: 系统类型:其他教程
授权方式: 系统语言: 系统位数:
系统品牌: 系统版本:

安全检测:

推荐星级:

详细介绍

UTF8编码和GB2312编码是不同的,在sqlplus中导入UTF8编码的sql脚本就会出现乱码错误,这个时候就需要将UTF8编码转换成GB2312编码,可是一个个的转换十分麻烦,下面记者就告诉你怎么样在Linux下将UTF8编码批量转换成GB2312编码。

背景

本人在用oracle的sqlplus批量导入UTF8编码的sql脚本时,因为不知道怎么样设置让sqlplus辨别UTF8格式,致使出现乱码、错行等错误,而使工作没办法继续,在谷歌无果的状况下只好想方法转换编码。

因为文件较多,手工转换太麻烦,于是想到用脚本批量转换,幸好网上有关脚本比较多,达成起来唯一的麻烦是UTF8的BOM标记。

内容:

代码如下:

#!/bin/bash

for loop in `find 。 -type f -name *.sql -print`do

echo $loop

mv -f $loop $loop.tmp

dos2unix $loop.tmp

file_check_utf8=file_check_utf8.log

sed -n 1l $loop.tmp 》$file_check_utf810. if grep ^\\357\\273\\277 $file_check_utf8 》/dev/null 2》111. then

echo UTF-8 BOM

sed -n -e 1s/^.。。// -e w intermediate.txt $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

rm -rf $loop.tmp

elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》118. then

echo UTF-8

iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

else

echo ANSI

mv -f $loop.tmp $loop

fi

rm -rf $file_check_utf8

#模拟unix2dos,需要文本文件最后一行需要有换行符28. sed -n -e s/$/\r/g -e w $loop.tmp $loop29. mv -f $loop.tmp $loop

done

#!/bin/bash

for loop in `find 。 -type f -name *.sql -print`do

echo $loop

mv -f $loop $loop.tmp

dos2unix $loop.tmp

file_check_utf8=file_check_utf8.log

sed -n 1l $loop.tmp 》$file_check_utf810. if grep ^\\357\\273\\277 $file_check_utf8 》/dev/null 2》111. then

echo UTF-8 BOM

sed -n -e 1s/^.。。// -e w intermediate.txt $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

rm -rf $loop.tmp

elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》118. then

echo UTF-8

iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

else

echo ANSI

mv -f $loop.tmp $loop

fi

rm -rf $file_check_utf8

#模拟unix2dos,需要文本文件最后一行需要有换行符28. sed -n -e s/$/\r/g -e w $loop.tmp $loop29. mv -f $loop.tmp $loop

done

讲解

1.处置UTF8的BOM,本人没找到好的方法,最后用sed+grep判断了一下,假如前三个字节是\\357\\273\\277,则文件一定是UTF8,用sed去掉这三个字节再转换

2.为了防止重复或者遗漏,脚本中用iconv对没BOM的文件尝试转换了一把,转换成功说明文件是UTF8,不然说明是ANSI也就是GB2312

3.关于最后的sed命令,那是由于本人的系统上没unix2dos命令,所以进行了模拟,目的是为了便捷自己在windows下查询和编辑

以上就是Linux下将UTF8编码批量转换成GB2312编码的办法介绍了,转换后就可以解决乱码等问题,可用命令镜像批量转换,你掌握了吗?

下载地址