業(yè)務(wù)背景
業(yè)務(wù)需求要求開發(fā)一個(gè)異步上傳文件的接口，并支持上傳進(jìn)度的查詢。
需求分析
ZIP壓縮包中，包含一個(gè)csv文件和一個(gè)圖片文件夾，要求：解析csv數(shù)據(jù)存入mongo，將圖片文件夾中的圖片信息對(duì)應(yīng)上csv中的人員信息。
ZIP壓縮包解壓
使用golang自帶的 "archive/zip" 包解壓。
func decompressZip(filePath, dest string) (string, string, error) {
var csvName string
imageFolder := path.Base(filePath)
ext := path.Ext(filePath)
folderName := strings.TrimSuffix(imageFolder, ext)
src, err := os.Open(filePath)
if err != nil {
return "", "", err
}
defer src.Close()
zipFile, err := zip.OpenReader(src.Name())
if err != nil {
return "", "", err
}
defer zipFile.Close()
err = os.MkdirAll(path.Join(dest, folderName), os.ModePerm)
for _, innerFile := range zipFile.File {
info := innerFile.FileInfo()
if info.IsDir() {
continue
}
dst, err := os.Create(path.Join(dest, folderName, info.Name()))
if err != nil {
fmt.Println(err.Error())
continue
}
src, err := innerFile.Open()
if err != nil {
fmt.Println(err.Error())
continue
}
io.Copy(dst, src)
}
destPath, err := ioutil.ReadDir(path.Join(dest, folderName))
if err != nil {
return "", "", err
}
for _, v := range destPath {
if path.Ext(v.Name()) == ".csv" {
csvName = path.Join(dest, folderName, v.Name())
}
}
return folderName, csvName, nil
}
在這個(gè)解壓的過(guò)程中，壓縮包的樹結(jié)構(gòu)只能到2層
import.zip
┝┅┅import.csv
┖┅┅images
在解壓后，所有的文件都會(huì)在同一個(gè)目錄下，既images中的圖片會(huì)變成和.csv文件同級(jí)
驗(yàn)證csv文件編碼格式是否為UTF-8
func ValidUTF8(buf []byte) bool {
nBytes := 0
for i := 0; i len(buf); i++ {
if nBytes == 0 {
if (buf[i] 0x80) != 0 { //與操作之后不為0，說(shuō)明首位為1
for (buf[i] 0x80) != 0 {
buf[i] = 1 //左移一位
nBytes++ //記錄字符共占幾個(gè)字節(jié)
}
if nBytes 2 || nBytes > 6 { //因?yàn)閁TF8編碼單字符最多不超過(guò)6個(gè)字節(jié)
return false
}
nBytes-- //減掉首字節(jié)的一個(gè)計(jì)數(shù)
}
} else { //處理多字節(jié)字符
if buf[i]0xc0 != 0x80 { //判斷多字節(jié)后面的字節(jié)是否是10開頭
return false
}
nBytes--
}
}
return nBytes == 0
}
后續(xù)支持utf-8轉(zhuǎn)碼
這個(gè)utf8編碼判斷方法是網(wǎng)上down下來(lái)的，后續(xù)優(yōu)化一下
主邏輯
type LineWrong struct {
LineNumber int64 `json:"line_number"`
Msg string `json:"msg"`
}
func Import(/*自定義參數(shù)*/){
// decompress zip file to destination address
folder, csvName, err := Decompress(path.Join(constant.FolderPrefix, req.FilePath), dest)
if err != nil {
fmt.Println(err.Error())
}
// check if the file encoding is utf8
b, err := ioutil.ReadFile(csvName)
if err != nil {
fmt.Println(err.Error())
}
if !utils.ValidUTF8(b) {
fmt.Println(errors.New("數(shù)據(jù)編碼錯(cuò)誤，請(qǐng)使用utf-8格式csv！"))
}
// create goroutine to analysis data into mongodb
var wg sync.WaitGroup
wg.Add(1)
// used to interrupt goroutine
resultChan := make(chan error)
// used to record wrong row in csv
lW := make(chan []LineWrong)
go func(ctx *gin.Context, Name, csvPath, dir, folder string) {
defer wg.Done()
tidT, ciT, lwT, err := importCsv(ctx, Name, csvPath, dir, folder)
resultChan - err
if err != nil {
fmt.Println(err.Error())
}
lW - lwT
if len(lwT) == 0 {
importClassData(ctx, tidT, ciT)
}
}(ctx, req.Name, csvName, dest, folder)
err = -resultChan
lineWrong := -lW
close(lW)
···
}
// pre-analysis data in csv and through wrong data with line numbers and information
func importCsv()(){
···
}
// analysis data again and save data into mongodb, if is there any error,through them same as import()
func importClassData()(){
···
conn, err := connect()
if err != nil {
return err
}
defer conn.Close()
conn.Do("hset", taskId, "task_id", (curLine*100)/totalLines)
···
}
將錯(cuò)誤信息以channel接收，使用 package "sync" 的 sync.WaitGroup 控制異步協(xié)程。在入庫(kù)的過(guò)程中，將當(dāng)前的進(jìn)度存入redis。
查詢進(jìn)度接口
func QueryImport()(){
conn, err := connect()
if err != nil {
return nil, err
}
defer conn.Close()
progress, _ := conn.Do("hget", key, field)
if pro, ok := progress.([]uint8); ok {
ba := []byte{}
for _, b := range pro {
ba = append(ba, byte(b))
}
progress,_ = strconv.Atoi(string(ba))
}
return progress
}
從redis中取出來(lái)的數(shù)據(jù)是[]uint8類型數(shù)據(jù)，先斷言，然后轉(zhuǎn)類型返回。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:- golang實(shí)現(xiàn)的文件上傳下載小工具
- golang語(yǔ)言實(shí)現(xiàn)的文件上傳與文件下載功能示例
- Golang+Android基于HttpURLConnection實(shí)現(xiàn)的文件上傳功能示例
- golang簡(jiǎn)單獲取上傳文件大小的實(shí)現(xiàn)代碼
- Golang實(shí)現(xiàn)http文件上傳小功能的案例
