婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Shell多線程操作及線程數(shù)控制實(shí)例

Shell多線程操作及線程數(shù)控制實(shí)例

熱門標(biāo)簽:佛山高德地圖標(biāo)注中心 地圖標(biāo)注超出范圍怎么辦 excel地址地圖標(biāo)注 百度地圖標(biāo)注圖標(biāo)更換 杭州機(jī)器人外呼系統(tǒng) 旅游地圖標(biāo)注大全 百度地圖的地圖標(biāo)注 東莞電銷機(jī)器人價格一覽表 陜西電銷卡外呼系統(tǒng)怎么安裝

前言

在業(yè)務(wù)開發(fā)過程中,經(jīng)常會在后臺寫一些shell腳本處理數(shù)據(jù),但估計很多人不知道shell腳本也可以支持多線程,而且非常簡單。本篇文章主要就是介紹shell實(shí)現(xiàn)多進(jìn)程以及進(jìn)程數(shù)量控制。

需求

為了更好的說明問題,我們結(jié)合例子講解,假設(shè)需求就是掃描url.txt文件,然后判斷里面的URL是否失效。url.txt文件的內(nèi)容是一行一個URL,如:

復(fù)制代碼 代碼如下:

http://www.baidu.com

http://www.google.com


https://www.jb51.net

單進(jìn)程實(shí)現(xiàn)

那么shell腳本scanUrl.sh可以這樣寫:

復(fù)制代碼 代碼如下:

#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done $1
echo "執(zhí)行結(jié)束"


那么可以執(zhí)行下面的命令掃描:
復(fù)制代碼 代碼如下:

/bin/sh scanUrl.sh url.txt

但這樣腳本執(zhí)行非常慢,一萬個URL幾個小時都掃描不完。

多進(jìn)程實(shí)現(xiàn)


改成多進(jìn)程實(shí)現(xiàn)非常簡單,只需要在do后面的大括號加 符號,在done后面加一個wait,表示父進(jìn)程等待子進(jìn)程退出后再退出

復(fù)制代碼 代碼如下:

#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}
done $1
wait
echo "執(zhí)行結(jié)束"


這樣就能多進(jìn)程并發(fā)執(zhí)行了,但有個問題是進(jìn)程會一下子非常多,幾百上千,超過系統(tǒng)限制報錯,下面我們就加上進(jìn)程數(shù)控制。

多進(jìn)程實(shí)現(xiàn)并控制進(jìn)程數(shù)

復(fù)制代碼 代碼如下:

#!/bin/bash
#允許的進(jìn)程數(shù)
THREAD_NUM=200
#定義描述符為9的管道
mkfifo tmp
exec 9>tmp
#預(yù)先寫入指定數(shù)量的換行符,一個換行符代表一個進(jìn)程
for ((i=0;i$THREAD_NUM;i++))
do
    echo -ne "\n" 1>9
done

if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

while read line
do
{
    #進(jìn)程控制
    read -u 9
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>9
    }
}
done $1
wait
echo "執(zhí)行結(jié)束"
rm tmp


上面的代碼就可以保證子進(jìn)程在指定數(shù)量了,其進(jìn)程控制原理是通過管道實(shí)現(xiàn)的,當(dāng)管道無內(nèi)容可讀時就不會執(zhí)行
復(fù)制代碼 代碼如下:

{
    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    #寫入一個換行符
    echo -ne "\n" 1>9
}

而且每個進(jìn)程執(zhí)行完成后都會向管道寫入一個換行符,從而保證進(jìn)程數(shù)是指定的。

這樣就能達(dá)到我們的目的了。

您可能感興趣的文章:
  • PowerShell多線程執(zhí)行前后臺作業(yè)的例子
  • Shell腳本實(shí)現(xiàn)把進(jìn)程負(fù)載均衡到多核CPU中
  • 自動殺掉占用較多CPU資源的Shell腳本

標(biāo)簽:朝陽 南充 青島 隨州 西藏 雅安 通遼 延邊

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Shell多線程操作及線程數(shù)控制實(shí)例》,本文關(guān)鍵詞  Shell,多,線程,操作,及,數(shù),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Shell多線程操作及線程數(shù)控制實(shí)例》相關(guān)的同類信息!
  • 本頁收集關(guān)于Shell多線程操作及線程數(shù)控制實(shí)例的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 墨玉县| 寿宁县| 新田县| 罗城| 澜沧| 博客| 渑池县| 房产| 白水县| 于都县| 石家庄市| 玛沁县| 左贡县| 桐城市| 房产| 汤原县| 康马县| 溧阳市| 虹口区| 宽城| 霍林郭勒市| 湟源县| 大石桥市| 诸暨市| 河津市| 甘肃省| 池州市| 慈溪市| 永顺县| 新宾| 扎兰屯市| 贡觉县| 峡江县| 婺源县| 山东省| 林西县| 云南省| 澎湖县| 贵定县| 红原县| 兴化市|