背景
本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码。
由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记。
内容：
代码如下:
#!/bin/bash
for loop in `find . -type f -name “*.sql” -print`do
echo $loop
mv -f $loop $loop.tmp
dos2unix $loop.tmp
file_check_utf8=file_check_utf8.log
sed -n 1l $loop.tmp >$file_check_utf810. if grep ^\\357\\273\\277 $file_check_utf8 >/dev/null 2>&111. then
echo UTF-8 BOM
sed -n -e 1s/^…// -e w intermediate.txt $loop.tmp14. iconv -f UTF-8 -t GB2312-o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118. then
echo UTF-8
iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
else
echo ANSI
mv -f $loop.tmp $loop
fi
rm -rf $file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed -n -e s/$/\r/g -e w $loop.tmp $loop29. mv -f $loop.tmp $loop
done
#!/bin/bash
for loop in `find . -type f -name “*.sql” -print`do
echo $loop
mv -f $loop $loop.tmp
dos2unix $loop.tmp
file_check_utf8=file_check_utf8.log
sed -n 1l $loop.tmp >$file_check_utf810. if grep ^\\357\\273\\277 $file_check_utf8 >/dev/null 2>&111. then
echo UTF-8 BOM
sed -n -e 1s/^…// -e w intermediate.txt $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118. then
echo UTF-8
iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
else
echo ANSI
mv -f $loop.tmp $loop
fi
rm -rf $file_check_utf8
#模拟unix2dos，要求文本文件最后一行必须有换行符28. sed -n -e s/$/\r/g -e w $loop.tmp $loop29. mv -f $loop.tmp $loop
done解释
1.处理UTF8的BOM，本人没有找到好的办法，最后用sed＋grep判断了一下，如果前三个字节是\\357\\273\\277，则文件必定是UTF8，用sed去掉这三个字节再转换
2.为了避免重复或者遗漏，脚本中用iconv对没有BOM的文件尝试转换了一把，转换成功说明文件是UTF8，否则说明是ANSI也就是GB2312
3.关于最后的sed命令，那是因为本人的系统上没有unix2dos命令，所以进行了模拟，目的是为了方便自己在windows下查看和编辑
以上就是linux 批量转换UTF8到GB2312并处理UTF8的BOM标记 的方法，谢谢阅读，希望能帮到大家，请继续关注服务器之家，我们会努力分享更多优秀的文章。
声明： 猿站网有关资源均来自网络搜集与网友提供，任何涉及商业盈利目的的均不得使用，否则产生的一切后果将由您自己承担！ 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除，制止非法恶意传播，不对任何下载或转载者造成的危害负任何法律责任！也请大家支持、购置正版！ 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报，会员发帖仅代表会员个人观点，并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络，如有侵权烦请发送邮件至：2697268773@qq.com进行处理。