php+ajax導(dǎo)入大數(shù)據(jù)時產(chǎn)生的問題處理
來源:易賢網(wǎng) 閱讀:677 次 日期:2014-10-08 13:41:31
溫馨提示:易賢網(wǎng)小編為您整理了“php+ajax導(dǎo)入大數(shù)據(jù)時產(chǎn)生的問題處理”,方便廣大網(wǎng)友查閱!

遇到的問題就從先到后的一一說吧。

問題1 按照我最初的想法,先上傳文件再讀取文件。這里問題就來了,當(dāng)文件較大的時候上傳較慢,導(dǎo)致客戶看到的操作一直處于等待狀態(tài),不人性化。

處理辦法:我是這樣做的,大神有更好的辦法,求介紹。我先把文件上傳上去,然后把文件存到一個特定的文件夾就叫 import吧 ,然后返回一個這個文件名字。這樣就確保了文件是上傳成功的。并且我可以在他返回名字的這一步用js 給客戶一個提示。然后就是ajax去請求php讀取文件,插入數(shù)據(jù)庫??墒菃栴}來了。

問題2 當(dāng)我用ajax去請求php讀取文件并插入數(shù)據(jù)庫的時候,遇到一個問題,就是ajax請求總是在1min的時候,斷掉。我一想 ,這應(yīng)該是php的最大執(zhí)行時間max_execution_time的原因吧,結(jié)果我修改為300秒。還是這樣,那我就認(rèn)為會不會是apache的 最大get時間max_input_time呢,我就在代碼加一個 ini_set 結(jié)果,用ini_get 查看max_input_time,用ini_set設(shè)置無效,還是60秒,在網(wǎng)上查了很多資料,還是不知道為啥。有大神知道的,請給我回復(fù)下。菜鳥先謝過了。那沒辦法,我只能去服務(wù)器把php.ini配置修改了。經(jīng)理說不讓修改的,為了測試,偷偷改了--最后修改回來了。修改之后,測試,還是不行。還是到一分鐘 就執(zhí)行超時。真的很納悶。不知道什么原因。求指教。那沒辦法。

這種辦法行不通了,對一個5m的文件只能分行讀取了。然后就是對代碼的一通修改,分行讀取是這樣操作的,先ajax請求,然后每次讀取2000條 然后對這2000條數(shù)據(jù)進(jìn)行處理,插入數(shù)據(jù)庫(文章最后介紹一個好用的分行讀取函數(shù))。然后每次ajax執(zhí)行完,返回一個狀態(tài)符,和本次讀取到的行數(shù),然后下次接著讀。知道最后讀取完。這中間還遇到一個問題:就是當(dāng)我對每一行數(shù)據(jù)進(jìn)行查重的時候遇到的,是這樣的,我對得到的內(nèi)容進(jìn)行循環(huán),然后查一下每行是否存在,當(dāng)我判斷$count是否大于0 的時候,當(dāng)已存在的時候,我用continue,執(zhí)行下一次循環(huán)。但是當(dāng)我在導(dǎo)入10000條的時候,總是在8000條的時候報錯說 服務(wù)器內(nèi)部錯誤。很悶,不解問什么,結(jié)果只能用if else代替了。納悶。一個小提醒:插入數(shù)據(jù)庫的時候 不要一條一條的插入,最好這樣 inset into aaa(`xx`,`xxx`)values('111','111'),('222','222')。這樣 速度會快很多。

行號讀取函數(shù),splfileobject這個類庫真的很好用推薦。有知道我的問題的,求大神指教。

代碼如下:

function getfilelines($filename, $startline, $endline, $method = 'rb'){

$content = array();

$filename = data_path.ds.'import' . ds . $filename;

$count = $endline - $startline;

$fp = new splfileobject($filename, $method);

$fp->seek($startline); // 轉(zhuǎn)到第n行, seek方法參數(shù)從0開始計數(shù)

for ($ii = 0; $ii <= $count; ++$ii) {

$content[] = $fp->current(); // current()獲取當(dāng)前行內(nèi)容

$fp->next(); // 下一行

}

return array_filter($content); // array_filter過濾:false,null,''

}

更多信息請查看IT技術(shù)專欄

更多信息請查看網(wǎng)絡(luò)編程
易賢網(wǎng)手機(jī)網(wǎng)站地址:php+ajax導(dǎo)入大數(shù)據(jù)時產(chǎn)生的問題處理
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請考生以權(quán)威部門公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國考·省考課程試聽報名

  • 報班類型
  • 姓名
  • 手機(jī)號
  • 驗(yàn)證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 新媒體/短視頻平臺 | 手機(jī)站點(diǎn) | 投訴建議
工業(yè)和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網(wǎng)安備53010202001879號 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號:hfpxwx
咨詢QQ:1093837350(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報警專用圖標(biāo)