[C#搜片神器] 之P2P中DHT网络爬虫原理 – Miao31 – 博客园

昨天由于开源的时候没有注意运行环境,直接没有考虑下载BT种子文件时生成子文件夹,可能导致有的朋友运行没有结果,在此表示对支持开源的朋友道谦.另外也对源程序增加了一些说明,已经提交.

谢谢园子朋友的支持,已经找到个VPS进行测试,国外的服务器: http://www.sosobta.com  大家可以给提点意见…

开源地址:https://github.com/h31h31/H31DHTMgr

程序下载:H31DHT下载 继续阅读“[C#搜片神器] 之P2P中DHT网络爬虫原理 – Miao31 – 博客园”

6.4.2 postDelayed方法和removeCallbacks方法的使用(1) – 51CTO.COM

方法postDelayed的作用是延迟多少毫秒后开始运行,而removeCallbacks方法是删除指定的Runnable对象,使线程对象停止运行。

方法声明如下:

  1. public final boolean postDelayed (Runnable r, long delayMillis)

其中参数Runnable r在Handler对象所运行的线程中执行。

创建名称为handler2的Android项目,Main.java的核心代码如下: 继续阅读“6.4.2 postDelayed方法和removeCallbacks方法的使用(1) – 51CTO.COM”

基于Android中实现定时器的3种解决方法_Android_脚本之家

本人使用第二种,感觉比较好用。

在Android开发中,定时器一般有以下3种实现方法:
一、采用Handler与线程的sleep(long)方法
二、采用Handler的postDelayed(Runnable, long)方法
三、采用Handler与timer及TimerTask结合的方法
下面逐一介绍:
一、采用Handle与线程的sleep(long)方法
Handler主要用来处理接受到的消息。这只是最主要的方法,当然Handler里还有其他的方法供实现,有兴趣的可以去查API,这里不过多解释。
1. 定义一个Handler类,用于处理接受到的Message。
继续阅读“基于Android中实现定时器的3种解决方法_Android_脚本之家”

Android 中比 Timer 更好方法 – jincf2011的专栏 – 博客频道 – CSDN.NET

timer的重点在于两个重载,

timer.schedule(task,5000) 是表示5秒后执行且只执行一次的任务。

timer.schedule(task,1000,5000)表示 1 秒钟后执行,然后每隔 5 秒钟为周期进行 重复执行。

但是本人亲测,无论如何也没有让timer运行起来。换了handler.postDelayed这种方式,简洁好用强大自由。这种方式的重点在于触发周期性重复执行需要回调,结束回调需要写出正确的逻辑。 继续阅读“Android 中比 Timer 更好方法 – jincf2011的专栏 – 博客频道 – CSDN.NET”

Android 计时器Timer用法 – TerryXu – 博客园

本人实测,timer怎样都不起作用,可能是已被抛弃?

昨天晚上在写一个Android的计时器,开始认为很容易,用Java一般写法,结果发现计时器根本不能运行,但却不报任何错误,当时就呆在那了,不知道该怎么办了,后来在网上查了一下,Android考虑到线程安全问题,不允许在线程中执行UI线程(我的现在所知道,还有其他的限制发现中),在Android中,有一个很有意思的类:android.os.Handler,这个可以实现各处线程间的消息传递。
先看段代码,这个实例化了一个Handler,Handler可以通过Message在多个线程通讯,我这里做的是定时recLen加1,然后以一定的格式,显示到recTime上(UI线程上的操作)。 继续阅读“Android 计时器Timer用法 – TerryXu – 博客园”

C# this.Invoke()的作用与用法 – 扬帆起航的日志 – 网易博客

Invoke()的作用是:在应用程序的主线程上执行指定的委托。一般应用:在辅助线程中修改UI线程( 主线程 )中对象的属性时,调用this.Invoke();

 
在多线程编程中,我们经常要在工作线程中去更新界面显示,而在多线程中直接调用界面控件的方法是错误做法,Invoke 和 BeginInvoke 就是为了解决这个问题而出现的,使你在多线程中安全的更新界面显示

正确的做法是将工作线程中涉及更新界面的代码封装为一个方法,通过 Invoke 或者 BeginInvoke 去调用,两者的区别就是一个导致工作线程等待,而另外一个则不会。

继续阅读“C# this.Invoke()的作用与用法 – 扬帆起航的日志 – 网易博客”

c#各种Timer类的区别与用法介绍_C#教程_脚本之家

System.Threading.Timer 是一个简单的轻量计时器,它使用回调方法并由线程池线程提供服务。在必须更新用户界面的情况下,建议不要使用该计时器,因为它的回调不在用户界面线程上发生。在此类情况下,System.Windows.Threading.DispatcherTimer 是更好的选择,因为其事件是在用户界面线程上引发的。
多线程计时器
1:System.Threading.Timer
2:System.Timers.Timer

特殊目的的单线程计时器:
1:System.Windows.Forms.Timer(Windows Forms Timer)
2:System.Windows.Threading.DispatcherTimer(WPF timer);

多线程计时器比较强大,精确,而且可扩展性强;
单线程计时器比较安全,对于更新 Windows Forms controls或者WPF这种简单任务来说更方便。 继续阅读“c#各种Timer类的区别与用法介绍_C#教程_脚本之家”

实时下载速度的计算: – 云守护的专栏 – 博客频道 – CSDN.NET

所谓的实时下载速度也是按秒计算的,直接每秒计算一下当前下载量与上次记录的下载量便可得到从

上一秒到这一秒的下载数据量,这样实时下载速度就得出来了,至于剩余时间,可以将当前下载的数

据量与耗用的秒为单位的时间进行计算,然后通过需要下载的数据大小来预估剩余时间,公式这样:

剩余时间(秒)=须下载数据总大小/(当前耗用时间(秒)/当前下载大小)

然后把剩余时间转换一下格式就可以得到分钟、小时、天等信息了

 

在VC中我们可以这样弄: 继续阅读“实时下载速度的计算: – 云守护的专栏 – 博客频道 – CSDN.NET”

C#实现获取程序实时下载速度 代码_知行网

在C#网络编程中,一般都用WebClient类和FileStream类进行文件下载操作,有时可能需要显示下载的实时速度,而这两个类没有提供相关方法,是不是就不能实现了呢,很明显可以实现。俗话说自己动手丰衣足食,下面咱就开始动手吧~

首先,在下载文件的时候,我们不用DownloadFile()方法进行下载,用WebResponse的GetResponseStream()流进行下载,设一个临时储存变量用来保存不断接收的数据。再用一个额外的独立计时器来分别根据时间间隔和临时收到数据量做计算,临时数据接收量在速度计算后会清空。 继续阅读“C#实现获取程序实时下载速度 代码_知行网”

C#异步批量下载文件 – liger_zql – 博客园

实现原理:采用WebClient进行批量下载任务,简单的模拟迅雷下载效果!

废话不多说,先看掩饰效果:

具体实现步骤如下:

1.新建项目:WinBatchDownload

2.先建一个Windows窗体:FrmBatchDownload,加载事件FrmBatchDownload_Load

3.放置一个Button按钮:btnStartDownLoad,单机事件btnStartDownLoad_Click

4.放置一个DataGridView:dgvDownLoad.

5.具体代码如下: 继续阅读“C#异步批量下载文件 – liger_zql – 博客园”

C# 断点续传原理与实现 – xxxx7764332 – 博客园

在了解HTTP断点续传的原理之前,让我们先来了解一下HTTP协议,HTTP协议是一种基于tcp的简单协议,分为请求和回复两种。请求协议是由 客户机(浏览器)向服务器(WEB SERVER)提交请求时发送报文的协议。回复协议是由服务器(web server),向客户机(浏览器)回复报文时的协议。请求和回复协议都由头和体组成。头和体之间以一行空行为分隔。 继续阅读“C# 断点续传原理与实现 – xxxx7764332 – 博客园”

C# BackgroundWorker的使用 – 双人床 – 博客园

BackgroundWorker 可以用于启动后台线程。

主要的事件及参数:
1.DoWork——当执行BackgroundWorker.RunWorkerAsync方法时会触发该事件,并且传递DoWorkEventArgs参数;

2.RunWorkerCompleted——异步操作完成或中途终止会触发该事件。

如果需要提前终止执行后台操作,可以调用BackgroundWorker.CancelAsync方法。 继续阅读“C# BackgroundWorker的使用 – 双人床 – 博客园”

C#实现文件下载,支持断点续传,C#代码片段分享, – 脚本分享网

C#实现文件下载,支持断点续传。本文非常不错。

 

 

 

 

 

 

 

 

 

C#

 

 

 

view source

print?

using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.IO;
using System.Text;
using System.Net;
namespace simpleDemo
{
    
    class Program
    {
        /// <summary>
        /// 下载文件保留字
        /// </summary>
        public static string PERSIST_EXP = ".cdel";
        /// <summary> 
        public static void Main(string[] args)
        {
            string path = "D:\\aa.txt";
            string ec = getFileEncoding(path, "GB2312");
            print("coding: " + ec);
            // string content = fileReader(path, Encoding.GetEncoding(ec));
            // print(content);
            //fileWriter(path, "测试内容11", Encoding.GetEncoding(ec));
            string url = "http://www.XXX.com/20120920172200024.flv";
            string path1 = "D:\\aa1.flv";
            download(url, path1);
            //gapDownload(url, path1);
            //t(url);
           
        }
        public static void t(string url) {
            
            HttpWebRequest request = (System.Net.HttpWebRequest)HttpWebRequest.Create(url);
            //WebResponse response = httpClient.CreateGetHttpResponse(url, 3000, null, null);
            try {
                
                WebResponse response = request.GetResponse();
                WebHeaderCollection headers = response.Headers;
                print(response.ContentLength);
                request = (System.Net.HttpWebRequest)HttpWebRequest.Create(url);
                request.AddRange(11); //设置Range值
                WebResponse response1 = request.GetResponse();
                print(response1.ContentLength);
                foreach (string key in headers)
                {
                    print(key + "----- " + headers.Get(key));
                }
                string disposition = headers.Get("Content-Disposition");
                print(disposition);
            }catch(Exception e){
                print(e.Message);
            }
            //string fileName = disposition.Substring(disposition.IndexOf("\""));
            //print(fileName);
          
        }
        public static void download(string url, string path) {
            if (File.Exists(path))
            {
                print("文件己存在!是否重新下载?");
                return;
            }
            else {
                path = path + PERSIST_EXP;
                simpleDownload(url,path);//开始下载
            }  
        }
        /// <summary>
        /// 下载网络资源(支持断点续传)
        /// </summary>
        /// <param name="url"></param>
        /// <param name="path"></param>
        public static void simpleDownload(string url, string path)
        {
            HttpWebRequest request = httpClient.getWebRequest(url, 0);
            
            WebResponse response = null;
            FileStream writer = new FileStream(path, FileMode.OpenOrCreate, FileAccess.Write);
            long lStartPos = writer.Length; ;//当前文件大小
            long currentLength = 0;
            long totalLength = 0;//总大小
            
            if (File.Exists(path))//断点续传
            {
                response = request.GetResponse();
                long sTotal = response.ContentLength;
                if (sTotal == lStartPos) {
                    close(writer);
                    File.Move(path, path.Replace(PERSIST_EXP, ""));
                    print("下载完成!");
                    return;
                }
                request = httpClient.getWebRequest(url, (int)lStartPos);//设置Range值
                writer.Seek(lStartPos, SeekOrigin.Begin);//指针跳转
                response = request.GetResponse();
                totalLength = response.ContentLength + lStartPos; //总长度
                currentLength = lStartPos; //当前长度
            }
            else
            {
                response = request.GetResponse();
                totalLength = response.ContentLength;
            }
            Stream reader = response.GetResponseStream();
            byte[] buff = new byte[1024];
            int c = 0; //实际读取的字节数
            while ((c = reader.Read(buff, 0, buff.Length)) > 0)
            {
                currentLength += c;
                writer.Write(buff, 0, c);
                progressBar(currentLength, totalLength);//进度条
                writer.Flush();
            }
            close(writer);
            if (currentLength == totalLength)
            {
                File.Move(path, path.Replace(PERSIST_EXP, ""));
                print("下载完成!");
            }
         
            if (reader != null)
            {
                reader.Close();
                reader.Dispose();
                response.Close();
            }
        }
        private static void close(FileStream writer)
        {
            if (writer != null)
            {
                writer.Close();
                writer.Dispose();
            }
        }
        /// <summary>
        /// 进度条
        /// </summary>
        /// <param name="currentLength">当前长度</param>
        /// <param name="totalLength">总长度</param>
        public static void progressBar(Object currentLength, Object totalLength)
        {
            double aaa = System.Convert.ToDouble(currentLength);
            double bbb = System.Convert.ToDouble(totalLength);
            print(currentLength + "/" + totalLength + "__" + (aaa / bbb).ToString("0.00 %"));
        }
        /// <summary>
        /// 系统输出
        /// </summary>
        /// <param name="obj"></param>
        public static void print(Object obj){
            Console.WriteLine(obj);
        }
        public static void printStr(string[] str)
        {
            foreach (string d in str)
            {
                print(d);
            }
        }
        /// <summary>
        /// 文件写
        /// </summary>
        /// <param name="path">文件路径</param>
        /// <param name="content">要写入的内容</param>
        public static void fileWriter(string path,string content,Encoding encoding)
        {
            if (File.Exists(path))
            {
                StreamWriter sw = new StreamWriter(path, true, encoding);
                
                sw.WriteLine(content);
                sw.Flush();
                sw.Close();
            }
        }
        /// <summary>
        /// 读文件,返回内容
        /// </summary>
        /// <param name="path">文件路径</param>
        /// <param name="enCoding">默认编码格式</param>
        /// <returns></returns>
        public static string fileReader(string path,Encoding enCoding) {
            StringBuilder sb = new StringBuilder();
            if(enCoding == null){
                enCoding = Encoding.Default;
            }
            //读取文件
            StreamReader sr = new StreamReader(path, enCoding);
                string s = "";
                while ((s = sr.ReadLine()) != null)
                {
                    sb.AppendLine(s);
                }
                if(sr != null)
                    sr.Close();
            return sb.ToString();
        }
        /// <summary>
        /// 获取文件编码格式
        /// </summary>
        /// <param name="path">文件路径</param>
        /// <param name="defaultEncoding">默认编码</param>
        /// <returns></returns>
        public static string getFileEncoding(string path, string defaultEncoding) {
            string ed = defaultEncoding;
            if (File.Exists(path)) {
                FileStream fs = new FileStream(path, FileMode.Open);
                ed = GetEncoding(fs, defaultEncoding);
                if (fs != null)
                    fs.Close();  
            }
            return ed;
        }
        /// <summary>
        /// 取得一个文本文件流的编码方式。
        /// </summary>
        /// <param name="stream">文本文件流。</param>
        /// <param name="defaultEncoding">默认编码方式。当该方法无法从文件的头部取得有效的前导符时,将返回该编码方式。</param>
        /// <returns></returns>
        public static string GetEncoding(FileStream stream, string defaultEncoding)
        {
            string targetEncoding = defaultEncoding;
            if (stream != null && stream.Length >= 2)
            {
                //保存文件流的前4个字节
                byte byte1 = 0;
                byte byte2 = 0;
                byte byte3 = 0;
                byte byte4 = 0;
                //保存当前Seek位置
                long origPos = stream.Seek(0, SeekOrigin.Begin);
                stream.Seek(0, SeekOrigin.Begin);
                int nByte = stream.ReadByte();
                byte1 = Convert.ToByte(nByte);
                byte2 = Convert.ToByte(stream.ReadByte());
                if (stream.Length >= 3)
                {
                    byte3 = Convert.ToByte(stream.ReadByte());
                }
                if (stream.Length >= 4)
                {
                    byte4 = Convert.ToByte(stream.ReadByte());
                }
                //根据文件流的前4个字节判断Encoding
                //Unicode {0xFF, 0xFE};
                //BE-Unicode {0xFE, 0xFF};
                //UTF8 = {0xEF, 0xBB, 0xBF};
                if (byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe
                {
                    targetEncoding = Encoding.BigEndianUnicode.BodyName;
                }
                if (byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode
                {
                    targetEncoding = Encoding.Unicode.BodyName;
                }
                if (byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8
                {
                    targetEncoding = Encoding.UTF8.BodyName;
                }
                //恢复Seek位置
                stream.Seek(origPos, SeekOrigin.Begin);
            }
            return targetEncoding;
        }
    }
}
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.Net.Security;
using System.Security.Cryptography.X509Certificates;
using System.IO;
namespace simpleDemo
{
    /// <summary>
    /// 公用 Http 请求类
    /// </summary>
    class httpClient
    {
        /// <summary>
        /// 获取基础WebRequest
        /// </summary>
        /// <param name="url">请求地址</param>
        /// <param name="lStartPos">请求的开始位置</param>
        /// <returns></returns>
        public static HttpWebRequest getWebRequest(string url, int lStartPos)
        {
            HttpWebRequest request = null;
            try
            {
                request = (System.Net.HttpWebRequest)HttpWebRequest.Create(url);
                request.AddRange(lStartPos); //设置Range值
            }
            catch (Exception ex)
            {
                Program.print(ex.Message);
            }
            return request;
        }
    }
}
//该代码片段来自于: http://www.sharejs.com/codes/csharp/5646

来源URL:http://www.sharejs.com/codes/csharp/5646

HTTP Header 详解_知识库_博客园

HTTP(HyperTextTransferProtocol)即超文本传输协议,目前网页传输的的通用协议。HTTP协议采用了请求/响应模型,浏览器或其他客户端发出请求,服务器给与响应。就整个网络资源传输而言,包括message-header和message-body两部分。首先传递message- header,即http header消息http header 消息通常被分为4个部分:general  header, request header, response header, entity header。但是这种分法就理解而言,感觉界限不太明确。根据维基百科对http header内容的组织形式,大体分为Request和Response两部分。 继续阅读“HTTP Header 详解_知识库_博客园”

http断点续传原理:http头 Range、Content-Range – 无忧技术网

所谓断点续传,也就是要从文件已经下载的地方开始继续下载。在以前版本的 HTTP 协议是不支持断点的,HTTP/1.1 开始就支持了。一般断点下载时才用到 Range 和 Content-Range 实体头。

Range

用于请求头中,指定第一个字节的位置和最后一个字节的位置,一般格式:

Range:(unit=first byte pos)-[last byte pos]

Content-Range

用于响应头,指定整个实体中的一部分的插入位置,他也指示了整个实体的长度。在服务器向客户返回一个部分响应,它必须描述响应覆盖的范围和整个实体长度。一般格式:

Content-Range: bytes (unit first byte pos) – [last byte pos]/[entity legth]

请求下载整个文件:  继续阅读“http断点续传原理:http头 Range、Content-Range – 无忧技术网”

异常处理:必须使用适当的属性或方法修改此标头

在 .NET (v4.0)中,使用HttpWebRequest请求Web页面,当向HttpWebRequest的Headers的标头集合中添加Referer,Host这类HTTP标头(Header)时,会收到:System.ArgumentException: 必须使用适当的属性或方法修改此标头。这样的报错!

这个问题的引起在官方的说法是:

通常通过 WebRequest.Headers 或 WebResponse.Headers 访问 WebHeaderCollection 类。

某些公共标头被视为受限制的,它们或者直接由 API(如 Content-Type)公开,或者受到系统保护,不能被更改。

受限制的标头是: 继续阅读“异常处理:必须使用适当的属性或方法修改此标头”

c#必须使用适当的属性或方法修改此标头解决办法_IT技术学习网

本文描述c#中出现”必须使用适当的属性或方法修改此标头”错误的原因和解决办法。

在c#中使用httpwebrequest,webrequest类的时候,如果尝试对http请求的header进行设置,不管是使用set方法还是add方法,如我们设置header中的referer属性:

request.Headers.Set("Referer", "itjsxx.com");

request.Headers.Add(“Referer”, “itjsxx.com”);

都会报错:”必须使用适当的属性或方法修改此标头“。

原因:c#不允许您使用set和add方法来设置此类标头

c#已经提供了此类标头的专用属性,供您修改和设置此标头时使用。

header的名称和对应的属性设置方法如下: 继续阅读“c#必须使用适当的属性或方法修改此标头解决办法_IT技术学习网”