test/chatgpt/iotest/iotest.go

package main

import (
	"bytes"
	"encoding/base64"
	"flag"
	"fmt"
	"io/ioutil"
	"math"
	"math/rand"
	"os"
	"path"
	"path/filepath"
	"strconv"
	"sync/atomic"
	"time"

	"git.wecise.com/wecise/common/matrix/logger"
)

// 一个持续并发文件读写验证的程序
// 在指定目录下写入一些随机内容的文本文件
// 写入完成后读取并验证写入文件内容的正确性
// 验证正确后在指定的延时时间后将文件删除
// 文件尺寸可以在指定的范围内随机生成
// 所有可指定变量以命令行参数形式传入，并设有默认值
// 每秒在控制台输出验证成功的文件计数信息
// 验证内容不一致时保留文件不删除，提示验证失败的文件路径，程序结束。

func init() {
	logger.SetFormat("yyyy-MM-dd HH:mm:ss [pid] [level] msg", "\n")
	logger.SetRollingFile("", "iotest.log", -1, 1*1024*1024, math.MaxInt64, 1)
}

func writefile(filePath string, content []byte) (err error) {
	dir := path.Dir(filePath)
	f, e := os.Stat(dir)
	if os.IsNotExist(e) || !f.IsDir() {
		if err = os.MkdirAll(dir, os.ModePerm); err != nil {
			return
		}
	}
	// 写入文件
	err = ioutil.WriteFile(filePath, content, 0777)
	return
}

func readfile(filePath string) ([]byte, error) {
	return ioutil.ReadFile(filePath)
}

func main() {
	// 设置命令行参数
	rootPath := flag.String("root-path", "_test", "文件目录")
	delay := flag.Duration("delay", 30*time.Second, "删除延迟时间")
	concurLimit := flag.Int("concur-limit", 10, "最大并发数")
	fileSizeMin := flag.Int("file-size-min", 1024, "最小文件尺寸")
	fileSizeMax := flag.Int("file-size-max", 10240, "最大文件尺寸")
	flag.Parse()

	// 初始化随机数生成器
	rand.Seed(time.Now().UnixNano())

	type fileinfo struct {
		filepath string
		filesize int
		checksum uint64
		content  string
	}
	checkChan := make(chan *fileinfo, *concurLimit)

	logger.Info("开始验证")

	// 并发写入文件
	go func() {
		writeChan := make(chan struct{}, *concurLimit)
		for i := 0; ; i++ {
			// 并发控制
			writeChan <- struct{}{}
			go func(i int) {
				defer func() {
					<-writeChan
				}()
				// 随机生成文件名和文件内容
				dirName := strconv.Itoa(rand.Intn(100))
				fileName := strconv.Itoa(i) + ".txt"
				filePath := filepath.Join(*rootPath, dirName, fileName)
				fileBinarySize := (rand.Intn(*fileSizeMax-*fileSizeMin) + *fileSizeMin) / 4 * 3 // 二进制长度

				// 随机生成文件名和文件内容
				bs := make([]byte, fileBinarySize)
				rand.Read(bs)
				content := base64.RawURLEncoding.EncodeToString(bs)

				// 写入文件
				if err := writefile(filePath, []byte(content)); err != nil {
					logger.Error("写入文件", filePath, "失败：", err)
					return
				}

				// 写入完成
				checkChan <- &fileinfo{
					filepath: filePath,
					filesize: len(content),
					content:  content,
				}
			}(i)
		}
	}()

	var successCount int32

	// 并发验证和删除文件
	go func() {
		for fi := range checkChan {
			go func(fi *fileinfo) {
				// 读取文件
				content, err := readfile(fi.filepath)
				if err != nil {
					logger.Error("读取文件", fi.filepath, "失败：", err)
					return
				}

				// 验证文件内容是否正确
				expectedSize := fi.filesize
				if len(content) != expectedSize || !bytes.Equal(content, []byte(fi.content)) {
					logger.Error("验证失败", fi.filepath, fmt.Sprintf("文件内容与期望值不一致，写入内容为：\n%s\n读出内容为：\n%s", string(content), fi.content))
					os.Exit(1)
					return
				}

				// 验证成功，统计计数
				atomic.AddInt32(&successCount, 1)

				// 延迟删除文件
				time.AfterFunc(*delay, func() {
					if err := os.Remove(fi.filepath); err != nil {
						logger.Error("删除文件", fi.filepath, "失败：", err)
					}
				})
			}(fi)
		}
	}()

	t := time.NewTicker(2 * time.Second)
	for {
		select {
		case <-t.C:
			// 输出计数信息
			logger.Info("验证成功的文件数：", successCount)
		}
	}
}