[태그:] <span>Crawling</span>

안녕하세요. 언제나 휴일에 언휴예요.

앞에서 네이버 개발자센터에서 제공하는 뉴스 검색 API를 이용한 뉴스 크롤링을 구현하였습니다.

이번 강의는 콘솔로 개발한 것을 클래스 라이브러리로 바꾸는 작업을 할 거예요.

소스 코드는 바뀌는 것이 없으며 public으로 접근 지정한 멤버에 XML 주석을 다는 부분에 차이가 있습니다.

자세한 사항은 동영상 강의를 참고하세요.

• News.cs

using System;
using System.Xml;

namespace 네이버_뉴스_크롤링_라이브러리_제작
{    
    ///
    /// News 클래스
    /// 
    public class News
    {
        ///
        /// 기사 제목
        /// 
        public string Title
        {
            get;
            private set;
        }
        ///
        /// 기사 url
        /// 
        public string OriginalLink
        {
            get;
            private set;
        }
        ///
        /// 네이버 사이트 기사 url
        /// 
        public string Link
        {
            get;
            private set;
        }
        ///
        /// 기사 본문
        /// 
        public string Description
        {
            get;
            private set;
        }
        ///
        /// 기사 게시일자
        /// 
        public DateTime Pubdate
        {
            get;
            private set;
        }
        ///
        /// News 생성자
        /// 
        ///기사 제목
        ///기사 url
        ///네이버 기사 url
        ///기사 본문
        ///기사 게시일자
        public News(string title, string olink, string link, string description, DateTime pubdate)
        {
            Title = title;
            OriginalLink = olink;
            Link = link;
            Description = description;
            Pubdate = pubdate;
        }
        ///
        /// News 개체 생성하는 정적 메서드
        /// 
        ///XML 노드(item)
        /// News 개체
        public static News Make(XmlNode xn)
        {
            try
            {
                string title = Strip(xn.SelectSingleNode("title").InnerText);
                string olink = xn.SelectSingleNode("originallink").InnerText;
                string link = xn.SelectSingleNode("link").InnerText;
                string description = Strip(xn.SelectSingleNode("description").InnerText);
                DateTime pubdate = DateTime.Parse(xn.SelectSingleNode("pubDate").InnerText);
                return new News(title, olink, link, description, pubdate);
            }
            catch
            {
                return null;
            }
        }
        ///
        /// Tag를 지워주는 메서드
        /// 
        ///태그 문자열
        /// Tag를 지운 문자열
        public static string Strip(string tagtext)
        {
            int s = tagtext.IndexOf("<");
            int e = tagtext.IndexOf(">");
            while (s < e)
            {
                string b = tagtext.Substring(0, s);
                string a = tagtext.Substring(e + 1);
                tagtext = b + a;
                s = tagtext.IndexOf("<");
                e = tagtext.IndexOf(">");
            }
            return tagtext;
        }
        ///
        /// ToString 메서드 재정의
        /// 
        /// 기사 제목
        public override string ToString()
        {
            return Title;
        }
    }
}

• NaverNews.cs

using System.Collections.Generic;
using System.IO;
using System.Net;
using System.Xml;

namespace 네이버_뉴스_크롤링_라이브러리_제작
{
    ///
    /// NaverNews 클래스
    /// 
    public class NaverNews
    {
        ///
        /// 검색 문자열  - 가져오기 및 설정하기
        /// 
        public string SRC
        {
            get;
            set;
        }
        ///
        /// 네이버 개발자센터 발급 - 애플리케이션 ID
        /// 
        public string ID
        {
            get;
            set;
        }
        ///
        /// 네이버 개발자센터 발급 - 애플리케이션 Secret
        /// 
        public string Secret
        {
            get;
            set;
        }
        ///
        /// 생성자
        /// 
        ///네이버 개발자 센터 발급 ID
        ///네이버 개발자 센터 발급 Secret
        public NaverNews(string id, string secret)
        {
            ID = id;
            Secret = secret;
        }
        ///
        /// 검색 메서드
        /// 
        ///검색 질의
        /// 기사 총 개수
        public int Find(string src)
        {
            SRC = src;
            Stream stream;
            string url = string.Format("https://openapi.naver.com/v1/search/news.xml?query={0}&sort=date", src);
            XmlDocument xdoc = MakeDocument(url, out stream);
            XmlNode node = xdoc.SelectSingleNode("rss");
            XmlNode n = node.SelectSingleNode("channel");
            int total = int.Parse(n.SelectSingleNode("total").InnerText);
            stream.Close();
            return total;
        }

        private XmlDocument MakeDocument(string url, out Stream stream)
        {
            WebRequest request = null;
            request = WebRequest.Create(url);
            request.Headers.Add("X-Naver-Client-Id", ID);
            request.Headers.Add("X-Naver-Client-Secret", Secret);

            WebResponse response = request.GetResponse();
            stream = response.GetResponseStream();
            XmlDocument xdoc = new XmlDocument();
            xdoc.Load(stream);
            return xdoc;
        }
        ///
        /// 뉴스 검색
        /// 
        ///시작 기사 번호
        ///검색할 기사 개수
        /// 뉴스 컬렉션
        public List FindNews(int start, int display)
        {
            Stream stream;
            string url = string.Format("https://openapi.naver.com/v1/search/news.xml?query={0}&sort=date&start={1}&display={2}"
                , SRC, start, display);
            XmlDocument xdoc = MakeDocument(url, out stream);
            XmlNode node = xdoc.SelectSingleNode("rss");
            XmlNode n = node.SelectSingleNode("channel");
            XmlNodeList xnl = n.SelectNodes("item");
            List nc = new List();
            News news;
            foreach (XmlNode xn in xnl)
            {
                news = News.Make(xn);
                if (news == null)
                {
                    break;
                }
                nc.Add(news);
            }
            stream.Close();
            return nc;
        }
    }
}